جاوا ۽ بگ ڊيٽا: ڇو بگ ڊيٽا پروجيڪٽ جاوا کان سواءِ نٿا ڪري سگهن

CodeGym تي اسان جي مضمونن ۾، اسان ڪڏهن به اهو ذڪر ڪندي نه ٿڪون ٿا ته جاوا، جيڪو هاڻي 25 سال آهي، نئين مقبوليت حاصل ڪري رهيو آهي ۽ ويجهي مستقبل ۾ شاندار امڪان آهي. ان جا ڪيترائي سبب آهن. انهن مان هڪ اهو آهي ته جاوا مکيه پروگرامنگ ٻولي آهي ڪيترن ئي رجحان واري آئي ٽي مارڪيٽ جي نچس ۾ جيڪي تيزيء سان مقبوليت حاصل ڪري رهيا آهن. The Internet of Things (IoT) ۽ وڏي ڊيٽا، گڏوگڏ ڪاروباري انٽيليجنس (BI)، ۽ حقيقي وقت جا تجزيا اڪثر ڪري جاوا لاءِ گہرے پيار ۽ نرم جذبات جي حوالي سان ذڪر ڪيا ويا آهن. تازو، اسان جاوا ۽ انٽرنيٽ جي شين جي وچ ۾ لاڳاپا ڳوليا ۽ ڳالهايو ته ڪيئن هڪ جاوا ڊولپر پنهنجي صلاحيتن کي هن جڳهه تي ترتيب ڏئي سگهي ٿو. ھاڻي اسان پنھنجو ڌيان ھڪ ٻئي سپر رجحان واري علائقي ڏانھن موڙيو ٿا - توھان ان جو اندازو لڳايو - پڻ جاوا سان پيار ڪري ٿو ۽ ان کان سواءِ رھي نٿو سگھي. تنهن ڪري، اڄ اسان وڏي ڊيٽا جي سلسلي ۾ هيٺ ڏنل سوالن جي ڳولا ڪنداسين: جاوا ڇو آهي، ۽ تنهن ڪري وفادار جاوا ڪوڊرز، پڻ هن جڳهه ۾ سپر مشهور آهن؟ وڏي ڊيٽا منصوبن ۾ جاوا ڪيئن استعمال ٿيندو آهي؟ هن جڳهه ۾ روزگار لاءِ قابليت حاصل ڪرڻ لاءِ توهان کي ڇا سکڻ گهرجي؟ ۽ وڏي ڊيٽا ۾ موجوده رجحانات ڇا آهن؟ ۽ انهن سڀني جي وچ ۾، اسان وڏي ڊيٽا تي دنيا جي اعلي ماهرن جي راء تي نظر ڪنداسين، جيڪي هومر سمپسن کي به وڏي ڊيٽا سان ڪم ڪرڻ چاهيندا.

https://ru.wikipedia.org/wiki/Homer_Goes_to_College

”مان چوندو رهيس ته ايندڙ ڏهن سالن ۾ سيڪسي نوڪري شماريدانن جي هوندي. ماڻهو سمجهن ٿا ته مان مذاق ڪري رهيو آهيان، پر ڪير اندازو لڳائي سگهندو ته ڪمپيوٽر انجنيئرن جي نوڪري 1990ع واري سيڪسي نوڪري هوندي؟

وڏي ڊيٽا سيارو کي فتح ڪري رهيو آهي

پر پهرين، ٿورڙي وڏي ڊيٽا بابت ۽ ڇو ته هي جڳهه ڪيريئر ٺاهڻ لاءِ ايترو واعدو ڪندڙ آهي. مختصر ۾، وڏي ڊيٽا غير معمولي، مسلسل، ۽ (سڀ کان اهم) تمام جلدي دنيا جي ڪمپنين جي ڪاروباري عملن ۾ پنهنجو رستو ٺاهيندي آهي. اهي ڪمپنيون، موڙ ۾، ڊيٽا سائنس جي ماهرن کي ڳولڻ تي مجبور ڪيو پيو وڃي (نه صرف پروگرامر، يقينا)، انهن کي اعلي تنخواه ۽ ٻين فائدن سان لالچ. فوربز جي مطابق، ڪاروبار تي وڏي ڊيٽا جو استعمال 2015 ۾ 17 سيڪڙو کان وڌي 2018 ۾ 59 سيڪڙو ٿي ويو. بگ ڊيٽا تيزي سان معيشت جي مختلف شعبن ۾ پکڙجي رهيو آهي، جن ۾ سيلز، مارڪيٽنگ، ريسرچ اينڊ ڊولپمينٽ، لاجسٽڪس ۽ بلڪل ٻيو سڀ ڪجهه شامل آهي. IBM جي تحقيق مطابق، هن شعبي ۾ پيشه ور ماڻهن لاءِ نوڪرين جو تعداد 2.7 تائين 2020 تائين اڪيلو آمريڪا ۾ ٿي ويندو. وعدو ڪندڙ؟ توهان شرط لڳايو.

وڏي ڊيٽا ۽ جاوا

هاڻي پوءِ ، ڇو وڏي ڊيٽا ۽ جاوا ۾ ايترو گهڻو عام آهي؟ شيء اها آهي ته وڏي ڊيٽا جا ڪيترائي مکيه اوزار جاوا ۾ لکيل آهن. وڌيڪ ڇا آهي، تقريبن اهي سڀئي اوزار اوپن سورس پروجيڪٽ آهن. هن جو مطلب اهو آهي ته اهي هر ڪنهن لاء دستياب آهن ۽ ان جي مطابق دنيا جي وڏين آئي ٽي ڪمپنين پاران فعال طور تي استعمال ڪيا ويا آهن. "وڏي حد تائين بگ ڊيٽا جاوا آهي. Hadoop ۽ Hadoop ماحولياتي نظام جو هڪ وڏو سيڪڙو جاوا ۾ لکيل آهي. Hadoop لاءِ اصلي MapReduce انٽرفيس جاوا آهي. تنهنڪري توهان آساني سان وڏي ڊيٽا ۾ منتقل ڪري سگهو ٿا صرف جاوا حل ٺاهيندي جيڪا مٿي تي هلندي آهي. Hadoop جي. هتي جاوا لائبريريون به آهن جهڙوڪ Cascading جيڪي ڪم کي آسان بڻائين ٿيون. جاوا پڻ شين کي ڊيبگ ڪرڻ لاءِ واقعي ڪارائتو آهي جيتوڻيڪ توهان Hive وانگر ڪجهه استعمال ڪندا آهيو. مارسين ميجران چيو ، هڪ ڊيٽا سائنسدان ۽ ايٽ ۾ ڊيٽا ڊولپمينٽ جو نائب صدر. "Beyond Hadoop، Storm جاوا ۽ اسپارڪ ۾ لکيل آهي (يعني: arguably hadoop ڪمپيوٽنگ جو مستقبل) اسڪالا ۾ آهي (جيڪو JVM تي هلندو آهي ۽ اسپارڪ وٽ جاوا انٽرفيس آهي) تنهن ڪري جاوا بگ ڊيٽا اسپيس جي وڏي فيصد کي ڍڪي ٿو، "ماهر شامل ڪيو. جئين توهان ڏسي سگهو ٿا، جاوا جو علم صرف وڏي ڊيٽا، انٽرنيٽ جي شين، مشين جي سکيا، ۽ ڪيترن ئي ٻين هنڌن ۾ ناقابل برداشت ٿي ويندي جيڪا مقبوليت حاصل ڪرڻ جاري رکي ٿي.

"هر ڪمپني وٽ پنهنجي مستقبل ۾ وڏي ڊيٽا آهي ۽ هر ڪمپني آخرڪار ڊيٽا جي ڪاروبار ۾ هوندي."

۽ ھاڻي ٿورڙو مٿي بيان ڪيل وڏن ڊيٽا ٽولز بابت، جيڪي جاوا ڊولپرز پاران وڏي پيماني تي استعمال ڪيا ويا آھن.

Apache Hadoop

Apache Hadoop وڏي ڊيٽا لاءِ بنيادي ٽيڪنالاجي مان هڪ آهي، ۽ اهو جاوا ۾ لکيل آهي. Hadoop Apache Software Foundation پاران منظم ڪيل افاديت، لائبريرين ۽ فريم ورڪ جو هڪ مفت، اوپن سورس سوٽ آهي. اصل ۾ اسپيبلبل، ورهايل، ۽ غلطي برداشت ڪندڙ ڪمپيوٽنگ جي لاءِ ٺاهي وئي، انهي سان گڏ مختلف معلومات جي وڏي مقدار کي محفوظ ڪرڻ، هڊوپ قدرتي طور تي ڪيترن ئي ڪمپنين لاءِ وڏي ڊيٽا جي بنيادي ڍانچي جو مرڪز بڻجي رهيو آهي. دنيا جي چوڌاري ڪمپنيون فعال طور تي ڳولي رهيا آهن Hadoop ماهر، ۽ جاوا هڪ اهم مهارت آهي جيڪو هن ٽيڪنالاجي کي ماهر ڪرڻ جي ضرورت آهي. Slashdot تي ڊولپرز جي مطابق ، 2019 ۾، ڪيتريون ئي وڏيون ڪمپنيون، جن ۾ JPMorgan Chase، پروگرامرز لاءِ ان جي رڪارڊ ٽوڙڻ واري تنخواه سان، فعال طور تي Hadoop جي ماهرن جي ڳولا ڪئي وئي Hadoop ورلڊ ڪانفرنس ۾، پر اتي به، اهي ضروري ماهرن سان ڪافي ماهر نه ڳولي سگهيا. صلاحيتون (خاص طور تي، Hadoop MapReduce پروگرامنگ ماڊل ۽ فريم ورڪ جي ڄاڻ). هن جو مطلب آهي ته هن فيلڊ ۾ تنخواه اڃا به وڌيڪ وڌي ويندي. ۽ اهي اڳ ۾ ئي تمام وڏا آهن. خاص طور تي، Business Insider جو اندازو آهي ته سراسري Hadoop ماهر جي قيمت $103,000 هر سال آهي، جڏهن ته وڏي ڊيٽا ماهرن جي سراسري قيمت هر سال $106,000 آهي. نوڪري ڪندڙ هدوپ ماهرن کي ڳولي رهيا آهن جاوا کي اجاگر ڪن ٿا هڪ اهم صلاحيتن مان هڪ ڪامياب روزگار لاءِ. Hadoop گهڻو وقت استعمال ڪيو ويو آهي يا نسبتا تازو متعارف ڪرايو ويو ڪيترن ئي وڏن ڪارپوريشنن، بشمول IBM، Microsoft، ۽ Oracle. هن وقت، Amazon، eBay، Apple، Facebook، General Dynamic ۽ ٻيون ڪمپنيون پڻ Hadoop ماهرن لاءِ ڪيتريون ئي پوزيشنون آهن.

"جتي ڊيٽا دونھون آهي، اتي ڪاروبار باهه آهي."

Apache Spark

Apache Spark هڪ ٻيو اهم وڏو ڊيٽا پليٽ فارم آهي جيڪو Hadoop جو هڪ سنگين مدمقابل آهي. رفتار، لچڪ، ۽ سهولت جي ڪري اها ڊولپرز کي پيش ڪري ٿي، Apache Spark SQL، Packet-switched and streamed data، ۽ مشين لرننگ ۾ وڏي پئماني تي ترقي لاءِ اهم ماحول بڻجي رهيو آهي. ورهايل وڏي ڊيٽا جي پروسيسنگ لاءِ فريم ورڪ جي طور تي، Apache Spark تمام گهڻو ڪم ڪري ٿو Hadoop MapReduce فريم ورڪ وانگر ۽ آهستي آهستي MapReduce کي وڏي ڊيٽا ۾ ان جي اوليت کي ڦري رهيو آهي. چمڪ ڪيترن ئي مختلف طريقن سان استعمال ڪري سگهجي ٿو. ان ۾ جاوا لاءِ هڪ API آهي، انهي سان گڏ ڪيتريون ئي ٻيون پروگرامنگ ٻوليون، جهڙوڪ اسڪالا، پٿون ۽ آر. اڄڪلهه، اسپارڪ وڏي پئماني تي بئنڪن، ٽيليڪميونيڪيشن ڪمپنين، ويڊيو گيم ڊولپرز، ۽ حتي حڪومتن پاران استعمال ڪيو ويندو آهي. قدرتي طور تي، آئي ٽي جايون جهڙوڪ ايپل، فيسبوڪ، آئي بي ايم ۽ مائڪروسافٽ اپاچي اسپارڪ کي پسند ڪن ٿا.

Apache Mahout

Apache Mahout Apache کان هڪ اوپن سورس جاوا مشين لرننگ لائبريري آهي. اهو هڪ اسپيبلبل مشين لرننگ ٽول آهي جيڪو هڪ يا وڌيڪ مشينن تي ڊيٽا کي پروسيس ڪري سگهي ٿو. مشين سکيا جا عمل جاوا ۾ لکيل آهن، ۽ ڪجهه حصا اپاچي هڊوپ تي ٺهيل آهن.

Apache طوفان

Apache Storm حقيقي وقت ۾ تقسيم ٿيل وهڪرو پروسيسنگ لاء هڪ فريم ورڪ آهي. طوفان لامحدود ڊيٽا اسٽريمز جي غلطي برداشت ڪرڻ واري پروسيسنگ کي آسان بڻائي ٿو ، حقيقي وقت ۾ ڇا ڪري رهيو آهي هيڊوپ ڊيٽا پيڪٽس لاءِ. طوفان ڪنهن به قطار واري نظام ۽ ڪنهن به ڊيٽابيس سسٽم سان ضم ٿي.

جاوا JFreeChart

Java JFreeChart هڪ اوپن سورس لائبريري آهي جيڪا جاوا ۾ ٺاهي وئي آهي ۽ جاوا تي ٻڌل ايپليڪيشنن ۾ استعمال لاءِ ٺهيل آهي مختلف قسم جا چارٽ ٺاهڻ لاءِ. حقيقت اها آهي ته ڊيٽا بصري وڏي ڊيٽا ڪاميابي سان تجزيو ڪرڻ لاء ڪافي اهم آهي. ڇاڪاڻ ته وڏي ڊيٽا ۾ ڊيٽا جي وڏي مقدار سان ڪم ڪرڻ شامل آهي، اهو رجحان کي سڃاڻڻ يا خام ڊيٽا کي ڏسڻ سان خاص نتيجن تي اچڻ ڏکيو ٿي سگهي ٿو. پر، جيڪڏهن ساڳيو ڊيٽا هڪ چارٽ ۾ ڏيکاريل آهي، اهو وڌيڪ سمجهي سگهجي ٿو. اهو نمونن کي ڳولڻ ۽ رابطي جي سڃاڻپ ڪرڻ آسان آهي. جيئن ته اهو ٿئي ٿو، جاوا JFreeChart وڏي ڊيٽا جي تجزيو لاءِ گراف ۽ چارٽ ٺاهڻ ۾ مدد ڪري ٿي.

ڊيپ لرننگ 4 جي

Deeplearning4j هڪ جاوا لائبريري آهي جيڪا مختلف قسم جا نيورل نيٽ ورڪ ٺاهڻ لاءِ استعمال ٿيندي آهي. Deeplearning4j جاوا ۾ لاڳو ٿئي ٿو ۽ JVM ۾ هلندو آهي. اهو Clojure سان پڻ مطابقت رکي ٿو ۽ اسڪالا ٻولي لاءِ هڪ API شامل آهي. Deeplearning4j ۾ شامل آھي ھڪڙي پابندي واري بولٽزمان مشين جو عمل، ڊيپ بيليف نيٽ ورڪ، ڊيپ آٽو انڪوڊر، اسٽيڪڊ ڊينوائيزنگ آٽو انڪوڊر، ريڪرسيو نيورل ٽينسر نيٽ ورڪ، Word2vec، doc2vec ۽ GloVe.

"ڊيٽا ڪاروبار لاء نئين خام مال بڻجي رهيا آهن."

2020 جي حد تي بگ ڊيٽا: تازو ترين رجحان

2020 وڏي ڊيٽا لاءِ تيزيءَ سان ترقي ۽ ارتقا جو هڪ ٻيو سال هجڻ گهرجي، مختلف شعبن ۾ ڪمپنين ۽ تنظيمن پاران وڏي ڊيٽا کي وڏي پيماني تي اپنائڻ سان گڏ. تنهن ڪري، اچو ته مختصر طور تي وڏي ڊيٽا ۾ رجحانات کي اجاگر ڪريون جيڪي ايندڙ سال اهم ڪردار ادا ڪن.

https://www.arnnet.com.au/slideshow/553034/pictures-our-10-favourite-techie-simpsons-episodes-moments/

شين جو انٽرنيٽ - وڏي ڊيٽا وڏي ٿي رهي آهي

شين جو انٽرنيٽ (IoT) ٿي سگهي ٿو آف موضوع وانگر، پر اهو معاملو ناهي. IoT جاري آهي "رجحان" جيئن اهو رفتار حاصل ڪري ٿو ۽ سڄي دنيا ۾ پکڙيل آهي. نتيجي طور، گهرن ۽ آفيسن ۾ نصب ٿيل "سمارٽ" ڊوائيسز جو تعداد پڻ وڌي رهيو آهي. جيئن انهن کي گهرجي، اهي ڊوائيس هر قسم جي ڊيٽا موڪلي رهيا آهن جتي وڃڻ جي ضرورت آهي. هن جو مطلب اهو آهي ته وڏي ڊيٽا جو حجم صرف وڌندو. ماهرن جي مطابق، ڪيترن ئي تنظيمن وٽ اڳ ۾ ئي تمام گهڻو ڊيٽا آهي، بنيادي طور تي IoT کان، جنهن کي اهي استعمال ڪرڻ لاء تيار نه آهن. 2020 ۾، هي ڊيٽا برفاني تباهي اڃا به وڏو ٿي ويندو. نتيجي طور، وڏي ڊيٽا منصوبن ۾ سيڙپڪاري پڻ تيزيء سان وڌي ويندي. ۽ ياد رکو، IoT پڻ جاوا جو تمام شوق آهي . ڪير ان سان پيار نٿو ڪري؟

ڊجيٽل ٽوئن

ڊجيٽل ٽوئن هڪ ٻيو دلچسپ اچڻ وارو رجحان آهي جيڪو سڌو سنئون انٽرنيٽ جي شين ۽ وڏي ڊيٽا سان لاڳاپيل آهي. ان جي مطابق، جاوا هتي ڪافي استعمال ڏسڻ ۾ ايندي. ڊجيٽل ٽوئن ڇا آهي؟ هي هڪ حقيقي شئي يا سسٽم جي ڊجيٽل نقل آهي. جسماني ڊوائيس جو هڪ ڊجيٽل اينالاگ اهو ممڪن بڻائي ٿو ته هڪ حقيقي اعتراض جي اندروني عملن، ٽيڪنيڪل خاصيتن، ۽ مداخلت ۽ ان جي ماحول جي اثر هيٺ رويي کي تخليق ڪرڻ. هڪ ڊجيٽل ٽوئن ڪم ڪندڙ حقيقي ڊوائيس ۾ وڏي تعداد ۾ سينسر کان سواءِ ڪم نٿو ڪري سگهي. 2020 تائين، اها اميد آهي ته عالمي سطح تي 20 بلين کان وڌيڪ ڳنڍيل سينسر هوندا جيڪي اربين ڊجيٽل ٽوئنز لاءِ معلومات منتقل ڪندا. 2020 ۾، هي رجحان رفتار حاصل ڪرڻ گهرجي ۽ سامهون اچڻ گهرجي.

ڊجيٽل تبديلي وڌيڪ ارادي ٿي ويندي.

ڪيترن سالن تائين، ڊجيٽل تبديلي جو ذڪر ڪيو ويو آهي هڪ اهم رجحان. پر ماهرن جو چوڻ آهي ته ڪيتريون ئي ڪمپنيون ۽ اعلي مينيجرز هڪ انتهائي مبہم سمجھ هئي ته جملي جو مطلب ڇا آهي. گھڻن لاءِ، ڊجيٽل تبديليءَ جو مطلب آھي ڊيٽا وڪڻڻ جا طريقا ڳولڻ جيڪي ڪمپني گڏ ڪري ٿي ان لاءِ نئين آمدني جا اسٽريم پيدا ڪرڻ لاءِ. 2020 تائين، وڌيڪ ۽ وڌيڪ ڪمپنيون محسوس ڪري رهيون آهن ته ڊجيٽل ٽرانسفارميشن سڀني کي پنهنجي ڪاروبار جي هر پاسو ۾ ڊيٽا کي صحيح طريقي سان استعمال ڪندي مقابلي ۾ فائدو حاصل ڪرڻ بابت آهي. ان جو مطلب اسان اميد ڪري سگهون ٿا ته ڪمپنيون ڊيٽا جي صحيح ۽ ڄاڻ واري استعمال سان لاڳاپيل منصوبن لاءِ بجيٽ وڌائينديون.

"اسان هڪ دور ۾ سست رفتار سان منتقل ڪري رهيا آهيون جتي بگ ڊيٽا شروعاتي نقطي آهي، نه آخر."

خلاصو

بگ ڊيٽا جاوا ڊولپرز لاءِ ڪيترائي موقعا سان گڏ سرگرمي جو هڪ ٻيو واقعي وڏو علائقو آهي. شين جي انٽرنيٽ کان علاوه، هي علائقو عروج تي آهي ۽ پروگرامرز ۽ ٻين ٽيڪنيڪل ماهرن جي سخت قلت جو شڪار آهي. تنهن ڪري هاڻي اهو وقت آهي انهن ڊگهن مضمونن کي پڙهڻ ۽ جاوا سکڻ شروع ڪرڻ جو!