Java en Big Data: waarom Big Data-projecten niet zonder Java kunnen

In onze artikelen over CodeGym worden we nooit moe te vermelden dat Java, dat nu 25 jaar oud is, een hernieuwde populariteit geniet en schitterende vooruitzichten heeft in de nabije toekomst. Hiervoor zijn verschillende redenen. Een daarvan is dat Java de belangrijkste programmeertaal is in verschillende trending IT-marktniches die snel aan populariteit winnen. Het Internet of Things (IoT) en big data, evenals business intelligence (BI) en real-time analyse worden het vaakst genoemd in de context van diepe genegenheid en tedere gevoelens voor Java. Onlangs hebben we de relatie tussen Java en het internet der dingen onderzochten sprak over hoe een Java-ontwikkelaar zijn of haar vaardigheden kan afstemmen op deze niche. Nu richten we onze aandacht op een ander super trending gebied dat - je raadt het al - ook van Java houdt en niet zonder kan. Dus vandaag zullen we de volgende vragen met betrekking tot big data onderzoeken: waarom is Java, en dus trouwe Java-codeerders, ook super populair in deze niche? hoe wordt Java precies gebruikt in big data-projecten? wat moet je leren om gekwalificeerd te zijn voor werk in deze niche? en wat zijn de huidige trends in big data? En tussendoor kijken we naar de meningen van 's werelds beste experts over big data, waardoor zelfs Homer Simpson met big data zou willen werken.

https://ru.wikipedia.org/wiki/Homer_Goes_to_College

"Ik blijf zeggen dat de sexy baan in de komende tien jaar statistici zal zijn. Mensen denken dat ik een grapje maak, maar wie had gedacht dat computeringenieurs de sexy baan van de jaren negentig zouden zijn geweest?"

Big data verovert de planeet

Maar eerst iets over big data en waarom deze niche zo veelbelovend is voor het opbouwen van een carrière. Kortom, big data vindt onverbiddelijk, gestaag en (het belangrijkste) zeer snel zijn weg naar de bedrijfsprocessen van bedrijven over de hele wereld. Die bedrijven worden op hun beurt gedwongen om professionals op het gebied van datawetenschap te vinden (niet alleen programmeurs natuurlijk), en lokken ze met hoge salarissen en andere voordelen. Volgens Forbes is het gebruik van big data bij bedrijven toegenomenvan 17% in 2015 tot 59% in 2018. Big data verspreidt zich snel naar verschillende sectoren van de economie, waaronder verkoop, marketing, onderzoek en ontwikkeling, logistiek en al het andere. Volgens onderzoek van IBM zal het aantal banen voor professionals op dit gebied in 2020 alleen al in de Verenigde Staten de 2,7 miljoen overschrijden. Veelbelovend? Zeker weten.

Big data en Java

Waarom hebben big data en Java dan zoveel gemeen? Het punt is dat veel van de belangrijkste tools voor big data in Java zijn geschreven. Bovendien zijn bijna al deze tools open source-projecten. Dit betekent dat ze voor iedereen beschikbaar zijn en daarom actief worden gebruikt door de grootste IT-bedrijven over de hele wereld. "Big data is voor een groot deel Java. Hadoop en een groot percentage van het Hadoop-ecosysteem zijn geschreven in Java. De native MapReduce-interface voor Hadoop is Java. U kunt dus gemakkelijk naar big data gaan door eenvoudigweg Java-oplossingen te bouwen die daarop draaien van Hadoop. Er zijn ook Java-bibliotheken zoals Cascading die het werk gemakkelijker maken. Java is ook erg handig voor het debuggen van dingen, zelfs als je zoiets als Hive gebruikt.' gezegdMarcin Mejran, datawetenschapper en vice-president dataontwikkeling bij Eight. "Naast Hadoop is Storm geschreven in Java en Spark (dat wil zeggen: misschien wel de toekomst van hadoop computing) in Scala (dat draait op de JVM en Spark heeft een Java-interface). Java dekt dus een enorm percentage van de Big Data-ruimte, ' voegt de deskundige eraan toe. Zoals u kunt zien, zal kennis van Java simpelweg onvervangbaar zijn in big data, het internet der dingen, machine learning en verschillende andere niches die aan populariteit blijven winnen.

"Elk bedrijf heeft in de toekomst big data en elk bedrijf zal uiteindelijk in de databusiness zitten."

En nu iets meer over de eerder genoemde big data-tools, die veel worden gebruikt door Java-ontwikkelaars.

Apache Hadoop

Apache Hadoop is een van de fundamentele technologieën voor big data en is geschreven in Java. Hadoop is een gratis, open source suite van hulpprogramma's, bibliotheken en frameworks die wordt beheerd door de Apache Software Foundation. Oorspronkelijk gemaakt voor schaalbaar, gedistribueerd en fouttolerant computergebruik en voor het opslaan van enorme hoeveelheden verschillende informatie, wordt Hadoop natuurlijk het middelpunt van de big data-infrastructuur voor veel bedrijven. Bedrijven over de hele wereld zijn actief op zoek naar Hadoop-experts en Java is een essentiële vaardigheid die nodig is om deze technologie onder de knie te krijgen. Volgens ontwikkelaars op Slashdot, in 2019 zochten veel grote bedrijven, waaronder JPMorgan Chase, met zijn recordbrekende salarissen voor programmeurs, actief naar Hadoop-experts op de Hadoop World-conferentie, maar zelfs daar konden ze niet genoeg experts vinden met de nodige vaardigheden (met name kennis van het Hadoop MapReduce-programmeermodel en -framework). Dit betekent dat de salarissen in dit vakgebied nog meer zullen groeien. En ze zijn al erg groot. In het bijzonder schat Business Insider dat de gemiddelde Hadoop-expert $ 103.000 per jaar kost, terwijl de gemiddelde kosten van big data-specialisten $ 106.000 per jaar bedragen. Recruiters die op zoek zijn naar Hadoop-experts benadrukken Java als een van de belangrijkste vaardigheden voor succesvol werk. Hadoop wordt al lang gebruikt of is relatief recent geïntroduceerd door veel grote bedrijven, waaronder IBM, Microsoft en Oracle. Momenteel,

"Waar datarook is, is business fire."

Apache vonk

Apache Spark is een ander belangrijk big data-platform dat een serieuze concurrent is van Hadoop. Vanwege de snelheid, flexibiliteit en het gemak dat het ontwikkelaars biedt, wordt Apache Spark de leidende omgeving voor grootschalige ontwikkeling in SQL, pakketgeschakelde en gestreamde data en machine learning. Als een raamwerk voor gedistribueerde big data-verwerking werkt Apache Spark veel op het Hadoop MapReduce-framework en berooft het geleidelijk aan MapReduce van zijn primaat in big data. Spark kan op veel verschillende manieren worden gebruikt. Het heeft een API voor Java, evenals verschillende andere programmeertalen, zoals Scala, Python en R. Tegenwoordig wordt Spark veel gebruikt door banken, telecommunicatiebedrijven, ontwikkelaars van videogames en zelfs overheden. Natuurlijk houden IT-reuzen als Apple, Facebook, IBM en Microsoft van Apache Spark.

Apache Mahout

Apache Mahout is een open source Java machine learning-bibliotheek van Apache. Het is een schaalbare machine learning-tool die gegevens op een of meer machines kan verwerken. De machine learning-implementaties zijn geschreven in Java en sommige delen zijn gebouwd op Apache Hadoop.

Apache Storm

Apache Storm is een raamwerk voor gedistribueerde stroomverwerking in realtime. Storm vereenvoudigt fouttolerante verwerking van onbeperkte datastromen en doet in realtime wat Hadoop doet voor datapakketten. Storm kan worden geïntegreerd met elk wachtrijsysteem en elk databasesysteem.

Java JFreeChart

Java JFreeChart is een open source-bibliotheek die is ontwikkeld in Java en is ontworpen voor gebruik in op Java gebaseerde toepassingen om een ​​breed scala aan grafieken te maken. Feit is dat datavisualisatie vrij belangrijk is voor het succesvol analyseren van big data. Omdat bij big data met grote hoeveelheden gegevens wordt gewerkt, kan het moeilijk zijn om trends te identificeren of zelfs tot bepaalde conclusies te komen door naar de onbewerkte gegevens te kijken. Maar als dezelfde gegevens in een grafiek worden weergegeven, wordt het begrijpelijker. Het is gemakkelijker om patronen te vinden en correlaties te identificeren. Het is namelijk zo dat Java JFreeChart helpt bij het maken van grafieken en diagrammen voor big data-analyse.

Diep leren4j

Deeplearning4j is een Java-bibliotheek die wordt gebruikt om verschillende soorten neurale netwerken te bouwen. Deeplearning4j is geïmplementeerd in Java en draait in de JVM. Het is ook compatibel met Clojure en bevat een API voor de Scala-taal. Deeplearning4j omvat een implementatie van een beperkte Boltzmann-machine, een diep geloofsnetwerk, een diepe autoencoder, een gestapelde denoising autoencoder, een recursief neuraal tensornetwerk, word2vec, doc2vec en GloVe.

"Data worden de nieuwe grondstof voor het bedrijfsleven."

Big Data op de drempel van 2020: de nieuwste trends

2020 zou opnieuw een jaar moeten worden van snelle groei en evolutie voor big data, samen met een brede acceptatie van big data door bedrijven en organisaties op verschillende gebieden. Laten we daarom kort de trends in big data belichten die volgend jaar een belangrijke rol zouden moeten spelen.

https://www.arnnet.com.au/slideshow/553034/pictures-our-10-favourite-techie-simpsons-episodes-moments/

Internet der dingen — big data wordt steeds groter

Het Internet of Things (IoT) lijkt misschien off-topic, maar dat is niet het geval. Het IoT blijft "trend" terwijl het aan kracht wint en zich over de hele wereld verspreidt. Bijgevolg groeit ook het aantal "slimme" apparaten in woningen en kantoren. Zoals het hoort, sturen deze apparaten allerlei soorten gegevens waar ze heen moeten. Dit betekent dat de hoeveelheid big data alleen maar zal groeien. Volgens experts hebben veel organisaties al veel data, voornamelijk van het IoT, waar ze niet goed op voorbereid zijn. In 2020 zal deze datalawine nog groter worden. Hierdoor zullen ook investeringen in big data projecten snel toenemen. En vergeet niet dat het IoT ook dol is op Java . Wie houdt er niet van?

Digitale tweeling

Digital twins zijn een andere interessante opkomende trend die rechtstreeks verband houdt met het internet der dingen en big data. Dienovereenkomstig zal Java hier behoorlijk wat gebruik van maken. Wat is een digitale tweeling? Dit is een digitale replica van een echt object of systeem. Een digitale analoog van een fysiek apparaat maakt het mogelijk om de interne processen, technische kenmerken en het gedrag van een echt object te simuleren onder invloed van interferentie en zijn omgeving. Een digitale tweeling kan niet functioneren zonder een groot aantal sensoren in het echte apparaat die parallel werken. Verwacht wordt dat er tegen 2020 wereldwijd meer dan 20 miljard verbonden sensoren zullen zijn die informatie doorgeven aan miljarden digitale tweelingen. In 2020 zou deze trend in een stroomversnelling moeten komen en op de voorgrond treden.

Digitale transformatie zal meer intentioneel worden.

Al enkele jaren wordt digitale transformatie genoemd als een belangrijke trend. Maar experts zeggen dat veel bedrijven en topmanagers een uiterst vaag begrip hadden van wat de uitdrukking eigenlijk betekent. Voor velen betekende digitale transformatie het vinden van manieren om de gegevens die het bedrijf verzamelt te verkopen om zo nieuwe inkomstenstromen te genereren. Tegen 2020 beseffen steeds meer bedrijven dat digitale transformatie draait om het creëren van een concurrentievoordeel door data op de juiste manier te gebruiken in elk aspect van hun bedrijf. Dit betekent dat we kunnen verwachten dat bedrijven budgetten zullen verhogen voor projecten die te maken hebben met correct en geïnformeerd gebruik van data.

"We gaan langzaam een ​​tijdperk binnen waarin Big Data het startpunt is, niet het einde."

Samenvatting

Big data is een ander echt enorm werkterrein met veel kansen voor Java-ontwikkelaars. Naast het internet der dingen is dit gebied booming en kampt het met een acuut tekort aan programmeurs en andere technische experts. Dus nu is het tijd om te stoppen met het lezen van deze lange artikelen en Java te gaan leren!