Java والبيانات الضخمة: لماذا لا تستطيع مشاريع البيانات الضخمة الاستغناء عن Java

في مقالاتنا على CodeGym، لا نتعب أبدًا من الإشارة إلى أن Java، التي يبلغ عمرها الآن 25 عامًا، تتمتع بشعبية متجددة ولها آفاق مشرقة في المستقبل القريب. هناك عدة أسباب لذلك. أحدها هو أن Java هي لغة البرمجة الرئيسية في العديد من مجالات سوق تكنولوجيا المعلومات الرائجة التي تكتسب شعبية بسرعة. يتم ذكر إنترنت الأشياء (IoT) والبيانات الضخمة، بالإضافة إلى ذكاء الأعمال (BI) والتحليلات في الوقت الفعلي في أغلب الأحيان في سياق المودة العميقة والمشاعر الرقيقة تجاه Java. لقد استكشفنا مؤخرًا العلاقة بين Java وإنترنت الأشياء وتحدثنا عن كيف يمكن لمطور Java تخصيص مهاراته لتناسب هذا المجال. الآن نوجه انتباهنا إلى منطقة أخرى رائجة جدًا - كما خمنت - تحب أيضًا Java ولا تستطيع العيش بدونها. لذا، سنستكشف اليوم الأسئلة التالية المتعلقة بالبيانات الضخمة: لماذا تتمتع Java، وبالتالي مبرمجو Java المخلصون، بشعبية كبيرة أيضًا في هذا المجال؟ كيف يتم استخدام Java بالضبط في مشاريع البيانات الضخمة؟ ما الذي يجب أن تتعلمه لتكون مؤهلاً للعمل في هذا المجال؟ وما هي الاتجاهات الحالية في البيانات الضخمة؟ وبين كل هذا، سنلقي نظرة على آراء كبار الخبراء في العالم في مجال البيانات الضخمة، والتي من شأنها أن تجعل حتى هومر سيمبسون يرغب في العمل مع البيانات الضخمة.

https://ru.wikipedia.org/wiki/Homer_Goes_to_College

"أظل أقول إن الوظيفة المثيرة في السنوات العشر القادمة ستكون الإحصائيين. يعتقد الناس أنني أمزح، لكن من كان يظن أن مهندسي الكمبيوتر سيكونون الوظيفة المثيرة في التسعينيات؟"

البيانات الضخمة تغزو الكوكب

ولكن أولاً، القليل عن البيانات الضخمة ولماذا يعد هذا التخصص واعدًا جدًا لبناء مستقبل مهني. باختصار، البيانات الضخمة تشق طريقها بلا هوادة، وبشكل ثابت، (والأهم من ذلك) بسرعة كبيرة، إلى العمليات التجارية للشركات في جميع أنحاء العالم. وتضطر هذه الشركات بدورها إلى العثور على متخصصين في علوم البيانات (وليس فقط المبرمجين بالطبع)، لإغرائهم برواتب عالية وامتيازات أخرى. وفقًا لمجلة فوربس، ارتفع استخدام البيانات الضخمة في الشركات من 17% في عام 2015 إلى 59% في عام 2018. وتنتشر البيانات الضخمة بسرعة في مختلف قطاعات الاقتصاد، بما في ذلك المبيعات والتسويق والبحث والتطوير والخدمات اللوجستية وكل شيء آخر. ووفقا لبحث أجرته شركة آي بي إم، فإن عدد الوظائف للمحترفين في هذا المجال سيتجاوز 2.7 مليون وظيفة بحلول عام 2020 في الولايات المتحدة وحدها. واعدة؟ تتحدى.

البيانات الضخمة وجافا

الآن، لماذا هناك الكثير من القواسم المشتركة بين البيانات الضخمة وجافا؟ الحقيقة هي أن العديد من الأدوات الرئيسية للبيانات الضخمة مكتوبة بلغة Java. علاوة على ذلك، فإن جميع هذه الأدوات تقريبًا هي مشاريع مفتوحة المصدر. وهذا يعني أنها متاحة للجميع وبالتالي يتم استخدامها بشكل نشط من قبل أكبر شركات تكنولوجيا المعلومات حول العالم. "إلى حد كبير، البيانات الضخمة هي Java. تتم كتابة Hadoop ونسبة كبيرة من نظام Hadoop البيئي بلغة Java. واجهة MapReduce الأصلية لـ Hadoop هي Java. لذلك يمكنك الانتقال بسهولة إلى البيانات الضخمة ببساطة عن طريق إنشاء حلول Java التي تعمل في الأعلى Hadoop. وهناك أيضًا مكتبات Java مثل Cascading مما يجعل المهمة أسهل. كما أن Java مفيدة حقًا لتصحيح الأخطاء حتى إذا كنت تستخدم شيئًا مثل Hive." قال مارسين مجران، عالم البيانات ونائب رئيس تطوير البيانات في شركة Eight. "بعيدًا عن Hadoop، تمت كتابة Storm بلغة Java وSpark (على سبيل المثال: مستقبل حوسبة hadoop) موجود في Scala (الذي يعمل على JVM وSpark لديه واجهة Java). لذلك تغطي Java نسبة كبيرة من مساحة البيانات الضخمة، يضيف الخبير. كما ترون، فإن المعرفة بـ Java لن تكون قابلة للاستبدال ببساطة في البيانات الضخمة، وإنترنت الأشياء، والتعلم الآلي، والعديد من المجالات الأخرى التي لا تزال تكتسب شعبية.

"كل شركة لديها بيانات كبيرة في مستقبلها، وكل شركة سوف تعمل في نهاية المطاف في مجال البيانات."

والآن المزيد عن أدوات البيانات الضخمة المذكورة أعلاه والتي يستخدمها مطورو Java على نطاق واسع.

أباتشي هادوب

يعد Apache Hadoop أحد التقنيات الأساسية للبيانات الضخمة، وهو مكتوب بلغة Java. Hadoop عبارة عن مجموعة مجانية مفتوحة المصدر من الأدوات المساعدة والمكتبات وأطر العمل التي تديرها مؤسسة Apache Software Foundation. تم إنشاء Hadoop في الأصل للحوسبة القابلة للتطوير والموزعة والمتسامحة مع الأخطاء، بالإضافة إلى تخزين كميات هائلة من المعلومات المتنوعة، ومن الطبيعي أن يصبح حجر الزاوية في البنية التحتية للبيانات الضخمة للعديد من الشركات. تبحث الشركات في جميع أنحاء العالم بشكل نشط عن خبراء Hadoop، وتعد Java مهارة أساسية مطلوبة لإتقان هذه التكنولوجيا. وفقًا للمطورين على Slashdot ، في عام 2019، سعت العديد من الشركات الكبرى، بما في ذلك JPMorgan Chase، برواتبها القياسية للمبرمجين، بشكل نشط لخبراء Hadoop في مؤتمر Hadoop World، ولكن حتى هناك، لم يتمكنوا من العثور على عدد كافٍ من الخبراء ذوي المهارات اللازمة المهارات (خاصة معرفة نموذج وإطار برمجة Hadoop MapReduce). وهذا يعني أن الرواتب في هذا المجال سوف تنمو أكثر. وهم بالفعل كبيرون جدًا. على وجه الخصوص، يقدر Business Insider أن متوسط ​​تكلفة خبير Hadoop يبلغ 103000 دولار سنويًا، في حين أن متوسط ​​تكلفة متخصصي البيانات الضخمة هو 106000 دولار سنويًا. يسلط القائمون على التوظيف الذين يبحثون عن خبراء Hadoop الضوء على Java باعتبارها واحدة من أهم المهارات للتوظيف الناجح. لقد تم استخدام Hadoop منذ فترة طويلة أو تم تقديمه مؤخرًا نسبيًا من قبل العديد من الشركات الكبيرة، بما في ذلك IBM وMicrosoft وOracle. في الوقت الحالي، لدى Amazon وeBay وApple وFacebook وجنرال ديناميك وغيرها من الشركات أيضًا العديد من الوظائف لمتخصصي Hadoop.

"حيث يوجد دخان البيانات، يوجد حريق في الأعمال."

أباتشي سبارك

تعد Apache Spark منصة أخرى مهمة للبيانات الضخمة وهي منافس جدي لـ Hadoop. نظرًا للسرعة والمرونة والراحة التي يوفرها للمطورين، أصبح Apache Spark البيئة الرائدة للتطوير واسع النطاق في SQL والبيانات المتدفقة والمحولة بالحزم والتعلم الآلي. كإطار لمعالجة البيانات الضخمة الموزعة، يعمل Apache Spark كثيرًا مثل إطار عمل Hadoop MapReduce ويحرم MapReduce تدريجيًا من أولويته في البيانات الضخمة. يمكن استخدام سبارك بعدة طرق مختلفة. يحتوي على واجهة برمجة تطبيقات لـ Java، بالإضافة إلى العديد من لغات البرمجة الأخرى، مثل Scala وPython وR. واليوم، يتم استخدام Spark على نطاق واسع من قبل البنوك وشركات الاتصالات ومطوري ألعاب الفيديو وحتى الحكومات. وبطبيعة الحال، فإن عمالقة تكنولوجيا المعلومات مثل Apple وFacebook وIBM وMicrosoft يحبون Apache Spark.

أباتشي ماهوت

Apache Mahout هي مكتبة Java مفتوحة المصدر لتعلم الآلة من Apache. إنها أداة تعلم آلي قابلة للتطوير يمكنها معالجة البيانات على جهاز واحد أو أكثر. تتم كتابة تطبيقات التعلم الآلي بلغة Java، وبعض الأجزاء مبنية على Apache Hadoop.

عاصفة أباتشي

Apache Storm هو إطار عمل لمعالجة التدفق الموزع في الوقت الفعلي. تعمل Storm على تبسيط المعالجة المتسامحة مع الأخطاء لتدفقات البيانات غير المحدودة، والقيام في الوقت الفعلي بما يفعله Hadoop لحزم البيانات. يتكامل Storm مع أي نظام انتظار وأي نظام قاعدة بيانات.

جافا جي فري تشارت

Java JFreeChart هي مكتبة مفتوحة المصدر تم تطويرها في Java ومصممة للاستخدام في التطبيقات المستندة إلى Java لإنشاء مجموعة واسعة من المخططات. الحقيقة هي أن تصور البيانات مهم جدًا لتحليل البيانات الضخمة بنجاح. ونظرًا لأن البيانات الضخمة تتضمن التعامل مع كميات كبيرة من البيانات، فقد يكون من الصعب تحديد الاتجاهات أو حتى التوصل إلى استنتاجات معينة من خلال النظر في البيانات الأولية. ولكن، إذا تم عرض نفس البيانات في الرسم البياني، يصبح الأمر أكثر قابلية للفهم. من الأسهل العثور على الأنماط وتحديد الارتباطات. كما يحدث، يساعد Java JFreeChart في إنشاء الرسوم البيانية والمخططات لتحليل البيانات الضخمة.

التعلم العميق4j

Deeplearning4j هي ​​مكتبة Java تستخدم لبناء أنواع مختلفة من الشبكات العصبية. يتم تنفيذ Deeplearning4j في Java ويتم تشغيله في JVM. وهو متوافق أيضًا مع Clojure ويتضمن واجهة برمجة التطبيقات (API) للغة Scala. يتضمن Deeplearning4j تطبيقًا لآلة بولتزمان المقيدة، وشبكة المعتقدات العميقة، ووحدة التشفير التلقائي العميقة، ووحدة التشفير التلقائي المكدسة لتقليل الضوضاء، وشبكة الموتر العصبية العودية، وword2vec، وdoc2vec، وGloVe.

"أصبحت البيانات المادة الخام الجديدة للأعمال."

البيانات الضخمة على أعتاب عام 2020: أحدث الاتجاهات

يجب أن يكون عام 2020 عامًا آخر من النمو والتطور السريع للبيانات الضخمة، إلى جانب اعتماد البيانات الضخمة على نطاق واسع من قبل الشركات والمؤسسات في مختلف المجالات. لذا، دعونا نسلط الضوء بإيجاز على اتجاهات البيانات الضخمة التي ينبغي أن تلعب دورًا مهمًا في العام المقبل.

https://www.arnnet.com.au/slideshow/553034/pictures-our-10-favourite-techie-simpsons-episodes-moments/

إنترنت الأشياء - البيانات الضخمة تتزايد

قد يبدو إنترنت الأشياء (IoT) خارج الموضوع، ولكن هذا ليس هو الحال. تستمر إنترنت الأشياء في "الاتجاه" حيث تكتسب زخماً وتنتشر في جميع أنحاء العالم. وبالتالي، فإن عدد الأجهزة "الذكية" المثبتة في المنازل والمكاتب آخذ في الازدياد أيضًا. وكما ينبغي لها، ترسل هذه الأجهزة جميع أنواع البيانات إلى حيث تريد. وهذا يعني أن حجم البيانات الضخمة سوف ينمو فقط. وفقًا للخبراء، تمتلك العديد من المؤسسات بالفعل الكثير من البيانات، خاصة من إنترنت الأشياء، والتي ليست مستعدة جيدًا لاستخدامها. وفي عام 2020، سوف يصبح هذا السيل من البيانات أكبر. وبالتالي، فإن الاستثمارات في مشاريع البيانات الضخمة ستزداد بسرعة أيضًا. وتذكر أن إنترنت الأشياء أيضًا مغرم جدًا بـ Java . من لا يحبها؟

التوائم الرقمية

يعد التوائم الرقمية اتجاهًا قادمًا آخر مثيرًا للاهتمام ويرتبط ارتباطًا مباشرًا بإنترنت الأشياء والبيانات الضخمة. وفقًا لذلك، ستشهد Java قدرًا كبيرًا من الاستخدام هنا. ما هو التوأم الرقمي؟ هذه نسخة طبق الأصل رقمية من كائن أو نظام حقيقي. يتيح التناظر الرقمي لجهاز مادي إمكانية محاكاة العمليات الداخلية والخصائص التقنية والسلوك لكائن حقيقي تحت تأثير التداخل وبيئته. لا يمكن للتوأم الرقمي أن يعمل بدون عدد كبير من أجهزة الاستشعار الموجودة في الجهاز الحقيقي والتي تعمل بالتوازي. بحلول عام 2020، من المتوقع أن يكون هناك على مستوى العالم أكثر من 20 مليار جهاز استشعار متصل ينقل المعلومات لمليارات التوائم الرقمية. وفي عام 2020، من المفترض أن يكتسب هذا الاتجاه زخماً وأن يأتي إلى الواجهة.

سيصبح التحول الرقمي أكثر تعمدا.

لعدة سنوات، تم ذكر التحول الرقمي باعتباره اتجاهًا مهمًا. لكن الخبراء يقولون إن العديد من الشركات وكبار المديرين لديهم فهم غامض للغاية لما تعنيه هذه العبارة. بالنسبة للكثيرين، كان التحول الرقمي يعني إيجاد طرق لبيع البيانات التي تجمعها الشركة من أجل توليد مصادر إيرادات جديدة. بحلول عام 2020، ستدرك المزيد والمزيد من الشركات أن التحول الرقمي يدور حول خلق ميزة تنافسية من خلال استخدام البيانات بشكل صحيح في كل جانب من جوانب أعمالها. وهذا يعني أنه يمكننا أن نتوقع أن تقوم الشركات بزيادة ميزانيات المشاريع المتعلقة بالاستخدام الصحيح والمستنير للبيانات.

"نحن نتحرك ببطء نحو عصر حيث البيانات الضخمة هي نقطة البداية، وليس النهاية."

ملخص

تعد البيانات الضخمة مجالًا هائلاً آخر من مجالات النشاط مع الكثير من الفرص لمطوري Java. وبالإضافة إلى إنترنت الأشياء، فإن هذا المجال مزدهر ويعاني من نقص حاد في المبرمجين وغيرهم من الخبراء التقنيين. حان الوقت الآن للتوقف عن قراءة هذه المقالات الطويلة والبدء في تعلم Java!