A CodeGymről szóló cikkeinkben nem fáradunk el megemlíteni, hogy a most 25 éves Java újra népszerűségnek örvend, és a közeljövőben ragyogó kilátások vannak. Ennek több oka is van. Az egyik az, hogy a Java a fő programozási nyelv számos felkapott IT-piaci rést, amelyek gyorsan egyre népszerűbbek. A dolgok internete (IoT) és a big data, valamint az üzleti intelligencia (BI) és a valós idejű elemzés a Java iránti mély szeretettel és gyengéd érzelmekkel összefüggésben kerül említésre leggyakrabban. Nemrég feltártuk a Java és a dolgok internete közötti kapcsolatotés arról beszélt, hogy egy Java fejlesztő hogyan tudja ehhez a réshez szabni tudását. Most egy másik szuper felkapott területre irányítjuk figyelmünket, amely – kitaláltad – szintén szereti a Java-t, és nem tud nélküle élni. Tehát ma a következő kérdéseket vizsgáljuk meg a big data kapcsán: miért olyan népszerű a Java, és ezért a hűséges Java kódolók is ebben a résben? pontosan hogyan használják a Java-t big data projektekben? mit kell megtanulnia ahhoz, hogy alkalmas legyen az állásra ebben a résben? és mik a jelenlegi trendek a big data terén? És mindezek között megnézzük a világ legnagyobb big data szakértőinek véleményét, amitől még Homer Simpson is szívesen dolgozna a big data segítségével.
"Folyton azt mondom, hogy a következő tíz évben a statisztikusok lesznek a szexi munkák. Az emberek azt hiszik, viccelek, de ki gondolta volna, hogy a számítógépes mérnökök lettek volna az 1990-es évek szexi munkája?"
A nagy adatok meghódítják a bolygót
De először egy kicsit a big data-ról és arról, hogy miért olyan ígéretes ez a rést a karrierépítés szempontjából. Röviden: a big data menthetetlenül, folyamatosan és (ami a legfontosabb) nagyon gyorsan bekerül a vállalatok üzleti folyamataiba szerte a világon. Azok a cégek viszont arra kényszerülnek, hogy adattudományi szakembereket keressenek (természetesen nemcsak programozókat), magas fizetésekkel és egyéb juttatásokkal csábítva őket. A Forbes szerint nőtt a big data használata a vállalkozásoknála 2015-ös 17%-ról 2018-ra 59%-ra. A big data gyorsan terjed a gazdaság különböző ágazataira, beleértve az értékesítést, a marketinget, a kutatás-fejlesztést, a logisztikát és minden mást. Az IBM kutatása szerint csak az Egyesült Államokban 2020-ra meghaladja a 2,7 milliót az ezen a területen dolgozó szakemberek munkahelyeinek száma. Biztató? Fogadj.
Big data és Java
Akkor most miért van annyi közös a big data és a Java között? Az a helyzet, hogy a big data főbb eszközei közül sok Java nyelven íródott. Ráadásul ezeknek az eszközöknek szinte mindegyike nyílt forráskódú projekt. Ez azt jelenti, hogy mindenki számára elérhetőek, és ennek megfelelően a világ legnagyobb informatikai vállalatai aktívan használják őket. "A Big Data nagyrészt Java. A Hadoop és a Hadoop ökoszisztéma nagy százaléka Java nyelven van írva. A Hadoop natív MapReduce felülete a Java. Így egyszerűen áttérhet a nagy adatokra, ha a tetején futó Java megoldásokat készít. Vannak olyan Java-könyvtárak is, mint a Cascading, amelyek megkönnyítik a munkát. A Java nagyon hasznos a dolgok hibakereséséhez, még akkor is, ha olyasmit használ, mint a Hive." mondottMarcin Mejran adattudós és a Nyolc adatfejlesztési alelnöke. "A Hadoopon túl a Storm Java nyelven íródott, és a Spark (azaz vitathatatlanul a hadoop számítástechnika jövője) Scalában van (amely a JVM-en fut, a Spark pedig Java interfésszel rendelkezik). Tehát a Java a Big Data tér hatalmas százalékát fedi le, – teszi hozzá a szakértő. Amint láthatja, a Java ismerete egyszerűen pótolhatatlan lesz a big data, a dolgok internete, a gépi tanulás és számos más, egyre népszerűbb rést illetően.
"Minden vállalatnak vannak nagy adatai a jövőben, és végül minden vállalat az adatüzletágban lesz."
És most egy kicsit bővebben a fent említett big data eszközökről, amelyeket széles körben használnak a Java fejlesztők.
Apache Hadoop
Az Apache Hadoop a big data egyik alapvető technológiája, és Java nyelven íródott. A Hadoop egy ingyenes, nyílt forráskódú segédprogramok, könyvtárak és keretrendszerek, amelyeket az Apache Software Foundation kezel. Az eredetileg méretezhető, elosztott és hibatűrő számítástechnikára, valamint hatalmas mennyiségű különféle információ tárolására készült Hadoop természetesen sok vállalat számára a big data infrastruktúra központi elemévé válik. A vállalatok világszerte aktívan keresnek Hadoop-szakértőket, és a Java kulcsfontosságú készség, amelyre szükség van e technológia elsajátításához. A Slashdot fejlesztői szerint2019-ben számos nagyvállalat, köztük a programozók rekordot döntő fizetésével rendelkező JPMorgan Chase is aktívan keresett Hadoop-szakértőket a Hadoop World konferencián, de még ott sem találtak elegendő szakértelemmel (főleg tudással) rendelkező szakembert. a Hadoop MapReduce programozási modell és keretrendszer). Ez azt jelenti, hogy a fizetések ezen a területen még jobban nőnek. És már nagyon nagyok. A Business Insider becslése szerint egy átlagos Hadoop-szakértő 103 000 dollárba kerül évente, míg a big data specialisták átlagos költsége 106 000 dollár évente. A Hadoop-szakértőket kereső toborzók a Java-t a sikeres foglalkoztatás egyik legfontosabb készségeként emelik ki. A Hadoop-ot régóta használják vagy viszonylag nemrégiben vezették be számos nagyvállalat, köztük az IBM, a Microsoft és az Oracle. Pillanatnyilag,
"Ahol adatfüst van, ott üzleti tűz van."
Apache Spark
Az Apache Spark egy másik fontos big data platform, amely a Hadoop komoly versenytársa. A fejlesztőknek kínált sebességnek, rugalmasságnak és kényelemnek köszönhetően az Apache Spark az SQL, a csomagkapcsolt és streamelt adatok, valamint a gépi tanulás nagyléptékű fejlesztésének vezető környezetévé válik. Az elosztott nagy adatfeldolgozás keretrendszereként az Apache Spark hasonlóan működik a Hadoop MapReduce keretrendszerhez, és fokozatosan megfosztja a MapReduce-tól a big data-ban való elsőbbséget. A Spark sokféleképpen használható. Van benne Java API, valamint számos más programozási nyelv, például a Scala, a Python és az R. Manapság a Sparkot széles körben használják bankok, távközlési cégek, videojáték-fejlesztők és még a kormányok is. Természetesen az olyan IT-óriások, mint az Apple, a Facebook, az IBM és a Microsoft, szeretik az Apache Sparkot.
Apache Mahout
Az Apache Mahout egy nyílt forráskódú Java gépi tanulási könyvtár az Apache-tól. Ez egy méretezhető gépi tanulási eszköz, amely egy vagy több gépen képes adatokat feldolgozni. A gépi tanulási megvalósítások Java nyelven íródnak, és egyes részei Apache Hadoop-ra épülnek.
Apache Storm
Az Apache Storm egy keretrendszer az elosztott adatfolyam-feldolgozáshoz valós időben. A Storm leegyszerűsíti a korlátlan adatfolyamok hibatűrő feldolgozását, valós időben végrehajtva azt, amit a Hadoop az adatcsomagoknál. A Storm bármely sorbaállító rendszerrel és adatbázisrendszerrel integrálható.
Java JFreeChart
A Java JFreeChart egy Java nyelven kifejlesztett nyílt forráskódú könyvtár, amelyet Java-alapú alkalmazásokban való használatra terveztek diagramok széles skálájának létrehozására. Az a tény, hogy az adatvizualizáció nagyon fontos a nagy adatok sikeres elemzéséhez. Mivel a big data nagy mennyiségű adattal dolgozik, a nyers adatok alapján nehéz lehet trendeket azonosítani, vagy akár konkrét következtetéseket levonni. De ha ugyanazok az adatok jelennek meg egy diagramon, akkor érthetőbbé válik. Könnyebb megtalálni a mintákat és azonosítani az összefüggéseket. Megtörténik, hogy a Java JFreeChart segít grafikonok és diagramok létrehozásában a nagy adatok elemzéséhez.
Mélytanulás4j
A Deeplearning4j egy Java könyvtár, amelyet különféle típusú neurális hálózatok felépítésére használnak. A Deeplearning4j Java nyelven van megvalósítva, és a JVM-ben fut. A Clojure-ral is kompatibilis, és tartalmaz egy API-t a Scala nyelvhez. A Deeplearning4j egy korlátozott Boltzmann-gép, mélyhitű hálózat, mély autoencoder, halmozott zajtalanító autoencoder, rekurzív neurális tenzorhálózat, word2vec, doc2vec és GloVe megvalósítását tartalmazza.
"Az adatok az üzleti élet új nyersanyagává válnak."
Big Data 2020 küszöbén: a legfrissebb trendek
2020 a nagy adatok gyors növekedésének és fejlődésének újabb éve lesz, valamint a nagy adatok széles körben történő alkalmazását a különböző területeken működő vállalatok és szervezetek. Tehát röviden emeljük ki a big data trendjeit, amelyek jövőre fontos szerepet fognak játszani.
A dolgok internete (IoT) nem témának tűnik, de ez nem így van. Az IoT továbbra is „trend” , miközben lendületet vesz és elterjed az egész világon. Ebből következően az otthonokba és irodákba telepített „okos” eszközök száma is növekszik. Ahogy kell, ezek az eszközök mindenféle adatot küldenek, ahová kell. Ez azt jelenti, hogy a big data mennyisége csak nőni fog. Szakértők szerint sok szervezet már most is sok olyan adattal rendelkezik, elsősorban az IoT-ből, amelyek felhasználására nincs kellően felkészülve. 2020-ban ez az adatlavina még nagyobb lesz. Következésképpen a big data projektekbe történő beruházások is gyorsan növekedni fognak. És ne feledje, az IoT is nagyon szereti a Java-t . Ki nem szereti?
Digitális ikrek
A digitális ikrek egy másik érdekes közelgő trend, amely közvetlenül kapcsolódik a tárgyak internetéhez és a nagy adathalmazokhoz. Ennek megfelelően a Java elég sok hasznot fog látni itt. Mi az a digitális iker? Ez egy valós objektum vagy rendszer digitális másolata. Egy fizikai eszköz digitális analógja lehetővé teszi egy valós objektum belső folyamatainak, műszaki jellemzőinek és viselkedésének szimulálását az interferencia és környezete hatására. A digitális ikerpár nem tud működni anélkül, hogy a valódi eszközben nagy számú érzékelő ne működne párhuzamosan. 2020-ra várhatóan több mint 20 milliárd összekapcsolt érzékelő lesz a világon, amely digitális ikrek milliárdjainak továbbítja az információkat. 2020-ban ennek a tendenciának fel kell lendülnie és előtérbe kerülnie.
A digitális átalakulás szándékosabb lesz.
A digitális átalakulást évek óta fontos trendként emlegetik. A szakértők azonban azt mondják, hogy sok vállalat és felsővezető rendkívül homályosan értette, mit is jelent ez a kifejezés. Sokak számára a digitális átalakulás azt jelentette, hogy megtalálják a módját a vállalat által gyűjtött adatok értékesítésének, hogy új bevételi forrásokat generáljanak. 2020-ra egyre több vállalat ismeri fel, hogy a digitális átalakulás arról szól, hogy versenyelőnyt teremtsenek az adatok megfelelő felhasználásával üzleti tevékenységük minden területén. Ez azt jelenti, hogy számíthatunk arra, hogy a vállalatok megnövelik költségvetésüket az adatok helyes és tájékozott felhasználásával kapcsolatos projektekre.
"Lassan egy olyan korszakba lépünk, ahol a Big Data a kiindulópont, nem a vég."
Összegzés
A Big Data egy másik igazán hatalmas tevékenységi terület, amely számos lehetőséget kínál a Java fejlesztők számára. A tárgyak internete mellett ez a terület virágzik, és akut hiányt szenved a programozókból és más műszaki szakértőkből. Tehát itt az ideje, hogy ne olvassa tovább ezeket a hosszú cikkeket, és kezdje el a Java tanulását!
A dolgok internete (IoT) és a big data, valamint az üzleti intelligencia (BI) és a valós idejű elemzés a Java iránti mély szeretettel és gyengéd érzelmekkel összefüggésben kerül említésre leggyakrabban. Nemrég feltártuk a Java és a dolgok internete közötti kapcsolatotés arról beszélt, hogy egy Java fejlesztő hogyan tudja ehhez a réshez szabni tudását. Most egy másik szuper felkapott területre irányítjuk figyelmünket, amely – kitaláltad – szintén szereti a Java-t, és nem tud nélküle élni. Tehát ma a következő kérdéseket vizsgáljuk meg a big data kapcsán: miért olyan népszerű a Java, és ezért a hűséges Java kódolók is ebben a résben? pontosan hogyan használják a Java-t big data projektekben? mit kell megtanulnia ahhoz, hogy alkalmas legyen az állásra ebben a résben? és mik a jelenlegi trendek a big data terén? És mindezek között megnézzük a világ legnagyobb big data szakértőinek véleményét, amitől még Homer Simpson is szívesen dolgozna a big data segítségével. 
GO TO FULL VERSION