Java dan Data Besar: mengapa projek Data Besar tidak boleh dilakukan tanpa Java

Dalam artikel kami tentang CodeGym, kami tidak jemu menyebut bahawa Java, yang kini berusia 25 tahun, menikmati populariti yang diperbaharui dan mempunyai prospek yang cemerlang dalam masa terdekat. Terdapat beberapa sebab untuk ini. Salah satunya ialah Java adalah bahasa pengaturcaraan utama dalam beberapa niche pasaran IT yang sedang berkembang pesat yang semakin popular. Internet Perkara (IoT) dan data besar, serta perisikan perniagaan (BI), dan analisis masa nyata paling kerap disebut dalam konteks kasih sayang yang mendalam dan perasaan lembut untuk Java. Baru-baru ini, kami meneroka hubungan antara Java dan Internet of thingsdan bercakap tentang bagaimana pembangun Java boleh menyesuaikan kemahirannya dengan niche ini. Kini kami mengalihkan perhatian kami kepada satu lagi kawasan yang sangat popular yang — anda rasa — juga menyukai Java dan tidak boleh hidup tanpanya. Jadi, hari ini kita akan meneroka soalan berikut berhubung dengan data besar: mengapa Java, dan oleh itu pengekod Java yang setia, juga sangat popular dalam niche ini? bagaimana sebenarnya Java digunakan dalam projek data besar? apakah yang perlu anda pelajari untuk melayakkan diri untuk bekerja dalam bidang ini? dan apakah trend semasa dalam data besar? Dan di antara semua ini, kita akan melihat pendapat pakar terkemuka dunia tentang data besar, yang akan membuatkan Homer Simpson mahu bekerja dengan data besar.

https://ru.wikipedia.org/wiki/Homer_Goes_to_College

"Saya terus mengatakan pekerjaan seksi dalam sepuluh tahun akan datang adalah ahli statistik. Orang fikir saya bergurau, tetapi siapa sangka bahawa jurutera komputer akan menjadi pekerjaan seksi pada tahun 1990-an?"

Data besar menakluki planet ini

Tetapi pertama, sedikit tentang data besar dan mengapa niche ini sangat menjanjikan untuk membina kerjaya. Ringkasnya, data besar tidak dapat dielakkan, berterusan, dan (paling penting) sangat cepat memasuki proses perniagaan syarikat di seluruh dunia. Syarikat-syarikat tersebut, sebaliknya, terpaksa mencari profesional sains data (bukan hanya pengaturcara, sudah tentu), memikat mereka dengan gaji tinggi dan faedah lain. Menurut Forbes, penggunaan data besar di perniagaan meningkatdaripada 17% pada 2015 kepada 59% pada 2018. Data besar merebak dengan pantas ke pelbagai sektor ekonomi, termasuk jualan, pemasaran, penyelidikan dan pembangunan, logistik dan semua yang lain. Menurut penyelidikan oleh IBM, bilangan pekerjaan untuk profesional dalam bidang ini akan melebihi 2.7 juta menjelang 2020 di Amerika Syarikat sahaja. menjanjikan? Anda bertaruh.

Data besar dan Java

Sekarang, mengapa data besar dan Java mempunyai banyak persamaan? Masalahnya ialah banyak alat utama untuk data besar ditulis dalam Java. Lebih-lebih lagi, hampir semua alatan ini adalah projek sumber terbuka. Ini bermakna bahawa ia tersedia untuk semua orang dan sewajarnya digunakan secara aktif oleh syarikat IT terbesar di seluruh dunia. "Sebahagian besar Data Besar ialah Java. Hadoop dan peratusan besar ekosistem Hadoop ditulis dalam Java. Antara muka asli MapReduce untuk Hadoop ialah Java. Jadi anda boleh dengan mudah beralih ke data besar hanya dengan membina penyelesaian Java yang berjalan di atas daripada Hadoop. Terdapat juga perpustakaan Java seperti Cascading yang memudahkan kerja. Java juga sangat berguna untuk menyahpepijat perkara walaupun anda menggunakan sesuatu seperti Hive." berkataMarcin Mejran, seorang saintis data dan naib presiden pembangunan data di Eight. "Selain Hadoop, Storm ditulis dalam Java dan Spark (iaitu: boleh dikatakan masa depan pengkomputeran hadoop) adalah dalam Scala (yang berjalan pada JVM dan Spark mempunyai antara muka Java). Jadi Java meliputi peratusan besar ruang Data Besar, "tambah pakar itu. Seperti yang anda lihat, pengetahuan tentang Java tidak akan digantikan dalam data besar, Internet of things, pembelajaran mesin dan beberapa niche lain yang terus mendapat populariti.

"Setiap syarikat mempunyai data besar pada masa depannya dan setiap syarikat akhirnya akan berada dalam perniagaan data."

Dan kini sedikit lagi tentang alat data besar yang disebutkan di atas, yang digunakan secara meluas oleh pembangun Java.

Apache Hadoop

Apache Hadoop ialah salah satu teknologi asas untuk data besar, dan ia ditulis dalam Java. Hadoop ialah suite sumber terbuka percuma bagi utiliti, perpustakaan dan rangka kerja yang diuruskan oleh Yayasan Perisian Apache. Pada asalnya dicipta untuk pengkomputeran berskala, diedarkan dan tahan kesalahan, serta menyimpan sejumlah besar pelbagai maklumat, Hadoop secara semula jadi menjadi pusat infrastruktur data besar untuk banyak syarikat. Syarikat di seluruh dunia sedang giat mencari pakar Hadoop, dan Java ialah kemahiran utama yang diperlukan untuk menguasai teknologi ini. Menurut pemaju di Slashdot, pada 2019, banyak syarikat besar, termasuk JPMorgan Chase, dengan gaji yang memecahkan rekod untuk pengaturcara, secara aktif mencari pakar Hadoop di persidangan Hadoop World, tetapi walaupun di sana, mereka tidak dapat mencari pakar yang mencukupi dengan kemahiran yang diperlukan (terutamanya, pengetahuan model dan rangka kerja pengaturcaraan Hadoop MapReduce). Maknanya gaji dalam bidang ini akan bertambah lagi. Dan mereka sudah sangat besar. Khususnya, Business Insider menganggarkan bahawa purata pakar Hadoop berharga $103,000 setahun, manakala kos purata pakar data besar ialah $106,000 setahun. Perekrut yang mencari pakar Hadoop menyerlahkan Java sebagai salah satu kemahiran terpenting untuk pekerjaan yang berjaya. Hadoop telah lama digunakan atau diperkenalkan baru-baru ini oleh banyak syarikat besar, termasuk IBM, Microsoft, dan Oracle. Pada masa ini,

"Di mana terdapat asap data, terdapat kebakaran perniagaan."

Apache Spark

Apache Spark ialah satu lagi platform data besar penting yang merupakan pesaing serius Hadoop. Disebabkan oleh kelajuan, fleksibiliti dan kemudahan yang ditawarkannya kepada pembangun, Apache Spark menjadi persekitaran utama untuk pembangunan berskala besar dalam SQL, data bertukar paket dan distrim serta pembelajaran mesin. Sebagai rangka kerja untuk pemprosesan data besar yang diedarkan, Apache Spark berfungsi sama seperti rangka kerja Hadoop MapReduce dan secara beransur-ansur merompak MapReduce daripada keutamaannya dalam data besar. Spark boleh digunakan dalam pelbagai cara. Ia mempunyai API untuk Java, serta beberapa bahasa pengaturcaraan lain, seperti Scala, Python dan R. Hari ini, Spark digunakan secara meluas oleh bank, syarikat telekomunikasi, pembangun permainan video, dan juga kerajaan. Sememangnya, gergasi IT seperti Apple, Facebook, IBM dan Microsoft menyukai Apache Spark.

Apache Mahout

Apache Mahout ialah perpustakaan pembelajaran mesin Java sumber terbuka daripada Apache. Ia ialah alat pembelajaran mesin berskala yang boleh memproses data pada satu atau lebih mesin. Pelaksanaan pembelajaran mesin ditulis dalam Java, dan beberapa bahagian dibina pada Apache Hadoop.

Apache Storm

Apache Storm ialah rangka kerja untuk pemprosesan strim teragih dalam masa nyata. Ribut memudahkan pemprosesan toleransi kesalahan bagi strim data tanpa had, melakukan dalam masa nyata apa yang Hadoop lakukan untuk paket data. Storm berintegrasi dengan mana-mana sistem beratur dan mana-mana sistem pangkalan data.

Java JFreeChart

Java JFreeChart ialah perpustakaan sumber terbuka yang dibangunkan di Java dan direka bentuk untuk digunakan dalam aplikasi berasaskan Java untuk mencipta pelbagai jenis carta. Hakikatnya ialah visualisasi data agak penting untuk berjaya menganalisis data besar. Oleh kerana data besar melibatkan kerja dengan jumlah data yang besar, mungkin sukar untuk mengenal pasti arah aliran atau bahkan membuat kesimpulan tertentu dengan melihat data mentah. Tetapi, jika data yang sama dipaparkan dalam carta, ia menjadi lebih mudah difahami. Lebih mudah untuk mencari corak dan mengenal pasti korelasi. Seperti yang berlaku, Java JFreeChart membantu membuat graf dan carta untuk analisis data besar.

Pembelajaran mendalam4j

Deeplearning4j ialah perpustakaan Java yang digunakan untuk membina pelbagai jenis rangkaian saraf. Deeplearning4j dilaksanakan dalam Java dan berjalan dalam JVM. Ia juga serasi dengan Clojure dan termasuk API untuk bahasa Scala. Deeplearning4j termasuk pelaksanaan mesin Boltzmann terhad, rangkaian kepercayaan mendalam, pengekod auto dalam, pengekod auto penyah tindanan, rangkaian tensor saraf rekursif, word2vec, doc2vec dan GloVe.

"Data menjadi bahan mentah baharu untuk perniagaan."

Data Besar pada ambang 2020: arah aliran terkini

2020 sepatutnya menjadi satu lagi tahun pertumbuhan pesat dan evolusi untuk data besar, bersama-sama dengan penggunaan data besar yang meluas oleh syarikat dan organisasi dalam pelbagai bidang. Jadi, mari kita serlahkan secara ringkas trend dalam data besar yang sepatutnya memainkan peranan penting pada tahun hadapan.

https://www.arnnet.com.au/slideshow/553034/pictures-our-10-favourite-techie-simpsons-episodes-moments/

Internet of things — data besar semakin besar

Internet Perkara (IoT) mungkin kelihatan seperti di luar topik, tetapi ini tidak berlaku. IoT terus "trend" apabila ia mendapat momentum dan merebak ke seluruh dunia. Akibatnya, bilangan peranti "pintar" yang dipasang di rumah dan pejabat juga semakin meningkat. Seperti yang sepatutnya, peranti ini menghantar semua jenis data ke mana ia perlu pergi. Ini bermakna volum data besar hanya akan berkembang. Menurut pakar, banyak organisasi sudah mempunyai banyak data, terutamanya dari IoT, yang mereka tidak bersedia untuk menggunakannya. Pada tahun 2020, runtuhan data ini akan menjadi lebih besar. Akibatnya, pelaburan dalam projek data besar juga akan meningkat dengan pesat. Dan ingat, IoT juga sangat menyukai Java . Siapa yang tidak menyukainya?

Kembar digital

Kembar digital ialah satu lagi aliran menarik yang akan datang yang berkaitan secara langsung dengan Internet Perkara dan data besar. Sehubungan itu, Java akan melihat sedikit penggunaan di sini. Apakah kembar digital? Ini ialah replika digital objek atau sistem sebenar. Analog digital bagi peranti fizikal membolehkan untuk mensimulasikan proses dalaman, ciri teknikal dan tingkah laku objek sebenar di bawah pengaruh gangguan dan persekitarannya. Kembar digital tidak boleh beroperasi tanpa sejumlah besar penderia dalam peranti sebenar yang berfungsi secara selari. Menjelang 2020, dijangkakan terdapat lebih 20 bilion penderia bersambung di seluruh dunia yang menghantar maklumat untuk berbilion kembar digital. Pada tahun 2020, trend ini sepatutnya mendapat momentum dan menjadi perhatian.

Transformasi digital akan menjadi lebih disengajakan.

Selama beberapa tahun, transformasi digital telah disebut sebagai trend penting. Tetapi pakar mengatakan bahawa banyak syarikat dan pengurus atasan mempunyai pemahaman yang sangat kabur tentang maksud frasa tersebut. Bagi kebanyakan orang, transformasi digital bermakna mencari cara untuk menjual data yang dikumpul oleh syarikat untuk menjana aliran pendapatan baharu. Menjelang 2020, semakin banyak syarikat menyedari bahawa transformasi digital adalah mengenai mewujudkan kelebihan daya saing dengan menggunakan data dengan betul dalam setiap aspek perniagaan mereka. Ini bermakna kita boleh menjangkakan bahawa syarikat akan meningkatkan belanjawan untuk projek yang berkaitan dengan penggunaan data yang betul dan termaklum.

"Kami bergerak perlahan ke era di mana Data Besar adalah titik permulaan, bukan penamat."

Ringkasan

Data besar ialah satu lagi bidang aktiviti yang sangat besar dengan banyak peluang untuk pembangun Java. Selain Internet of Things, kawasan ini berkembang pesat dan mengalami kekurangan pengaturcara dan pakar teknikal yang lain. Jadi kini tiba masanya untuk berhenti membaca artikel panjang ini dan mula belajar Java!