CodeGym에 대한 기사에서 우리는 이제 25년이 된 Java가 새로운 인기를 누리고 있으며 가까운 장래에 밝은 전망을 가지고 있다고 언급하는 것을 지치지 않습니다. 이에 대한 몇 가지 이유가 있습니다. 그 중 하나는 Java가 빠르게 인기를 얻고 있는 여러 최신 IT 시장 틈새 시장의 주요 프로그래밍 언어라는 것입니다. 사물인터넷(IoT)과 빅데이터, 비즈니스 인텔리전스(BI), 실시간 분석은 자바에 대한 깊은 애정과 여운의 맥락에서 가장 많이 언급된다. 최근 자바와 사물인터넷의 관계에 대해 알아보았습니다.Java 개발자가 자신의 기술을 이 틈새 시장에 맞출 수 있는 방법에 대해 이야기했습니다. 이제 우리는 Java를 사랑하고 그것 없이는 살 수 없는 또 다른 슈퍼 트렌드 영역에 관심을 돌립니다. 그래서 오늘 우리는 빅 데이터와 관련하여 다음과 같은 질문을 탐구할 것입니다. Java, 따라서 충성도 높은 Java 코더가 이 틈새 시장에서 매우 인기 있는 이유는 무엇입니까? 빅 데이터 프로젝트에서 Java가 정확히 어떻게 사용됩니까? 이 틈새 시장에서 취업 자격을 갖추려면 무엇을 배워야 합니까? 빅 데이터의 현재 추세는 무엇입니까? 그리고 그 사이에 호머 심슨도 빅데이터로 작업하고 싶게 만드는 세계 최고의 빅데이터 전문가들의 의견을 살펴보겠습니다.
"앞으로 10년 동안 가장 섹시한 직업은 통계학자가 될 것이라고 계속 말하고 있습니다. 사람들은 내가 농담이라고 생각하지만 컴퓨터 엔지니어가 1990년대의 섹시한 직업이 될 것이라고 누가 짐작이나 했겠습니까?"
빅 데이터가 지구를 정복하고 있다
하지만 먼저 빅 데이터에 대해 조금 알아보고 왜 이 틈새 시장이 경력을 쌓는 데 유망한지 살펴보겠습니다. 요컨대, 빅 데이터는 거침없이 꾸준히 그리고 (가장 중요한 것은) 전 세계 기업의 비즈니스 프로세스에 매우 빠르게 침투하고 있습니다. 이들 회사는 차례로 데이터 과학 전문가(물론 프로그래머뿐만 아니라)를 찾아야 하고 높은 급여와 기타 특전으로 그들을 유인하고 있습니다. Forbes에 따르면 기업의 빅 데이터 사용이 증가했습니다.2015년 17%에서 2018년 59%로 증가했습니다. 빅 데이터는 판매, 마케팅, 연구 개발, 물류 및 기타 모든 것을 포함하여 경제의 다양한 부문으로 빠르게 확산되고 있습니다. IBM의 연구에 따르면 이 분야의 전문가 일자리 수는 2020년까지 미국에서만 270만 개를 초과할 것입니다. 약속? 물론이지.
빅데이터와 자바
그렇다면 왜 빅데이터와 자바는 공통점이 많은 것일까? 문제는 빅 데이터를 위한 많은 주요 도구가 Java로 작성되었다는 것입니다. 게다가 이러한 도구는 거의 모두 오픈 소스 프로젝트입니다. 이는 모든 사람이 사용할 수 있으므로 전 세계 최대 IT 회사에서 적극적으로 사용하고 있음을 의미합니다. "대부분의 빅 데이터는 Java입니다. Hadoop과 Hadoop 생태계의 상당 부분이 Java로 작성되었습니다. Hadoop의 기본 MapReduce 인터페이스는 Java입니다. 따라서 위에서 실행되는 Java 솔루션을 빌드하기만 하면 빅 데이터로 쉽게 이동할 수 있습니다. 작업을 더 쉽게 만들어주는 Cascading과 같은 Java 라이브러리도 있습니다. Java는 또한 Hive와 같은 것을 사용하더라도 디버깅에 정말 유용합니다." 말했다데이터 과학자이자 Eight의 데이터 개발 부사장인 Marcin Mejran. "Hadoop을 넘어 Storm은 Java로 작성되었으며 Spark(즉, Hadoop 컴퓨팅의 미래)는 Scala(JVM에서 실행되고 Spark에는 Java 인터페이스가 있음)에 있습니다. 따라서 Java는 빅 데이터 공간의 막대한 비율을 차지합니다. "라고 전문가는 덧붙입니다. 보시다시피 Java에 대한 지식은 빅 데이터, 사물 인터넷, 기계 학습 및 계속해서 인기를 얻고 있는 여러 틈새 분야에서 대체할 수 없습니다.
"모든 회사는 미래에 빅 데이터를 가지고 있으며 모든 회사는 결국 데이터 비즈니스에 종사하게 될 것입니다."
이제 Java 개발자가 널리 사용하는 앞서 언급한 빅 데이터 도구에 대해 조금 더 알아보겠습니다.
아파치 하둡
Apache Hadoop은 빅 데이터를 위한 기본 기술 중 하나이며 Java로 작성되었습니다. Hadoop은 Apache Software Foundation에서 관리하는 무료 오픈 소스 유틸리티, 라이브러리 및 프레임워크 제품군입니다. 원래 확장 가능하고 분산되고 내결함성 있는 컴퓨팅을 위해 만들어졌으며 막대한 양의 다양한 정보를 저장하는 Hadoop은 자연스럽게 많은 기업의 빅 데이터 인프라의 중심이 되고 있습니다. 전 세계 기업들은 Hadoop 전문가를 적극적으로 찾고 있으며 Java는 이 기술을 마스터하는 데 필요한 핵심 기술입니다. Slashdot의 개발자 에 따르면, 2019년 JP모건 체이스를 비롯한 많은 대기업에서 프로그래머 연봉이 역대급으로 하둡 월드 컨퍼런스에서 하둡 전문가를 적극적으로 구했지만 그곳에서도 필요한 기술(특히 지식)을 갖춘 전문가를 충분히 찾지 못했다. Hadoop MapReduce 프로그래밍 모델 및 프레임워크). 이것은이 분야의 급여가 더욱 증가한다는 것을 의미합니다. 그리고 그들은 이미 매우 큽니다. 특히 Business Insider는 평균 Hadoop 전문가의 연간 비용이 $103,000인 반면 빅 데이터 전문가의 평균 비용은 연간 $106,000인 것으로 추정합니다. Hadoop 전문가를 찾는 채용 담당자는 Java를 성공적인 고용을 위한 가장 중요한 기술 중 하나로 강조합니다. Hadoop은 IBM, Microsoft 및 Oracle을 비롯한 많은 대기업에서 오랫동안 사용되었거나 비교적 최근에 도입되었습니다. 현재,
"데이터 연기가 있는 곳에 비즈니스 화재가 있습니다."
아파치 스파크
Apache Spark는 Hadoop의 심각한 경쟁자인 또 다른 중요한 빅 데이터 플랫폼입니다. 개발자에게 제공되는 속도, 유연성 및 편의성으로 인해 Apache Spark는 SQL, 패킷 전환 및 스트리밍 데이터, 머신 러닝의 대규모 개발을 위한 선도적인 환경이 되고 있습니다. 분산형 빅 데이터 처리를 위한 프레임워크인 Apache Spark는 Hadoop MapReduce 프레임워크와 매우 유사하게 작동하며 점차적으로 MapReduce의 빅 데이터 우위를 빼앗고 있습니다. 스파크는 다양한 방식으로 사용될 수 있습니다. Scala, Python 및 R과 같은 여러 다른 프로그래밍 언어뿐만 아니라 Java용 API가 있습니다. 오늘날 Spark는 은행, 통신 회사, 비디오 게임 개발자, 심지어 정부에서도 널리 사용됩니다. 당연히 Apple, Facebook, IBM 및 Microsoft와 같은 IT 거대 기업은 Apache Spark를 좋아합니다.
아파치 머하웃
Apache Mahout은 Apache의 오픈 소스 Java 기계 학습 라이브러리입니다. 하나 이상의 기계에서 데이터를 처리할 수 있는 확장 가능한 기계 학습 도구입니다. 기계 학습 구현은 Java로 작성되었으며 일부 부분은 Apache Hadoop에 구축되었습니다.
아파치 스톰
Apache Storm은 실시간 분산 스트림 처리를 위한 프레임워크입니다. Storm은 Hadoop이 데이터 패킷에 대해 수행하는 작업을 실시간으로 수행하여 무제한 데이터 스트림의 내결함성 처리를 단순화합니다. Storm은 모든 대기열 시스템 및 모든 데이터베이스 시스템과 통합됩니다.
자바 JFreeChart
Java JFreeChart는 Java로 개발되고 Java 기반 응용 프로그램에서 다양한 차트를 생성하는 데 사용하도록 설계된 오픈 소스 라이브러리입니다. 사실 빅데이터를 성공적으로 분석하기 위해서는 데이터 시각화가 상당히 중요합니다. 빅 데이터는 많은 양의 데이터로 작업하기 때문에 원시 데이터를 보고 추세를 파악하거나 특정 결론에 도달하기 어려울 수 있습니다. 그러나 동일한 데이터를 차트로 표시하면 더 이해하기 쉽습니다. 패턴을 찾고 상관 관계를 식별하는 것이 더 쉽습니다. 공교롭게도 Java JFreeChart는 빅 데이터 분석을 위한 그래프와 차트를 생성하는 데 도움이 됩니다.
딥러닝4j
Deeplearning4j는 다양한 유형의 신경망을 구축하는 데 사용되는 Java 라이브러리입니다. Deeplearning4j는 Java로 구현되며 JVM에서 실행됩니다. 또한 Clojure와 호환되며 Scala 언어용 API를 포함합니다. Deeplearning4j에는 제한된 볼츠만 머신, 심층 신뢰 네트워크, 심층 오토인코더, 누적 노이즈 제거 오토인코더, 재귀 신경 텐서 네트워크, word2vec, doc2vec 및 GloVe의 구현이 포함됩니다.
"데이터는 비즈니스의 새로운 원재료가 되고 있습니다."
2020년을 맞이하는 빅 데이터: 최신 트렌드
2020년은 다양한 분야의 기업과 조직에서 빅데이터의 광범위한 채택과 함께 빅데이터의 급속한 성장과 진화의 또 다른 해가 될 것입니다. 따라서 내년에 중요한 역할을 해야 할 빅 데이터의 트렌드를 간략하게 살펴보겠습니다.
사물 인터넷(IoT)은 주제에서 벗어난 것처럼 보일 수 있지만 그렇지 않습니다. IoT는 추진력을 얻고 전 세계로 확산되면서 계속해서 "트렌드"를 이어가고 있습니다. 결과적으로 가정과 사무실에 설치된 "스마트" 장치의 수도 증가하고 있습니다. 당연히 이러한 장치는 필요한 모든 종류의 데이터를 전송합니다. 이는 빅 데이터의 양이 증가할 것이라는 것을 의미합니다. 전문가들에 따르면 많은 조직이 이미 많은 데이터를 보유하고 있으며 주로 IoT에서 데이터를 사용할 준비가 잘 되어 있지 않습니다. 2020년에는 이러한 데이터 사태가 더욱 커질 것입니다. 결과적으로 빅 데이터 프로젝트에 대한 투자도 빠르게 증가할 것입니다. 그리고 IoT도 Java를 매우 좋아한다는 점 을 기억하십시오 . 누가 그것을 좋아하지 않습니까?
디지털 트윈
디지털 트윈은 사물 인터넷 및 빅 데이터와 직접적으로 관련된 또 다른 흥미로운 트렌드입니다. 따라서 Java는 여기에서 꽤 많이 사용됩니다. 디지털 트윈이란 무엇입니까? 이것은 실제 개체 또는 시스템의 디지털 복제입니다. 물리적 장치의 디지털 아날로그를 사용하면 실제 개체의 내부 프로세스, 기술적 특성 및 간섭 및 해당 환경의 영향을 받는 동작을 시뮬레이션할 수 있습니다. 디지털 트윈은 병렬로 작동하는 실제 장치의 수많은 센서 없이는 작동할 수 없습니다. 2020년까지 전 세계적으로 수십억 개의 디지털 트윈에 대한 정보를 전송하는 200억 개 이상의 연결된 센서가 있을 것으로 예상됩니다. 2020년에는 이러한 추세가 탄력을 받아 대두될 것입니다.
디지털 트랜스포메이션은 더욱 의도적일 것입니다.
수년 동안 디지털 트랜스포메이션은 중요한 트렌드로 언급되었습니다. 그러나 전문가들은 많은 기업과 최고 경영진이 이 문구가 의미하는 바를 극도로 모호하게 이해하고 있다고 말합니다. 많은 사람들에게 디지털 혁신이란 새로운 수익원을 창출하기 위해 회사가 수집한 데이터를 판매하는 방법을 찾는 것을 의미했습니다. 2020년까지 점점 더 많은 기업이 비즈니스의 모든 측면에서 데이터를 적절하게 사용하여 경쟁 우위를 창출하는 것이 디지털 혁신의 전부라는 사실을 깨닫고 있습니다. 이는 기업이 정확하고 정보에 입각한 데이터 사용과 관련된 프로젝트에 대한 예산을 늘릴 것으로 예상할 수 있음을 의미합니다.
"우리는 빅데이터가 끝이 아닌 출발점이 되는 시대로 천천히 들어가고 있습니다."
요약
빅 데이터는 Java 개발자에게 많은 기회가 있는 또 하나의 엄청난 활동 영역입니다. 사물 인터넷 외에도 이 분야는 호황을 누리고 있으며 프로그래머 및 기타 기술 전문가의 극심한 부족으로 어려움을 겪고 있습니다. 이제 이 긴 기사 읽기를 중단하고 Java 학습을 시작할 때입니다!
사물인터넷(IoT)과 빅데이터, 비즈니스 인텔리전스(BI), 실시간 분석은 자바에 대한 깊은 애정과 여운의 맥락에서 가장 많이 언급된다. 최근 자바와 사물인터넷의 관계에 대해 알아보았습니다.Java 개발자가 자신의 기술을 이 틈새 시장에 맞출 수 있는 방법에 대해 이야기했습니다. 이제 우리는 Java를 사랑하고 그것 없이는 살 수 없는 또 다른 슈퍼 트렌드 영역에 관심을 돌립니다. 그래서 오늘 우리는 빅 데이터와 관련하여 다음과 같은 질문을 탐구할 것입니다. Java, 따라서 충성도 높은 Java 코더가 이 틈새 시장에서 매우 인기 있는 이유는 무엇입니까? 빅 데이터 프로젝트에서 Java가 정확히 어떻게 사용됩니까? 이 틈새 시장에서 취업 자격을 갖추려면 무엇을 배워야 합니까? 빅 데이터의 현재 추세는 무엇입니까? 그리고 그 사이에 호머 심슨도 빅데이터로 작업하고 싶게 만드는 세계 최고의 빅데이터 전문가들의 의견을 살펴보겠습니다. 
GO TO FULL VERSION