빅 데이터: 반드시 알아야 할 도구와 기술
게시 됨: 2018-03-09또한 모든 도메인이나 산업(이름만 지정하면 됩니다!)이 빅 데이터 를 잘 활용 하여 운영을 개선할 수 있는 방법도 보았습니다 . 조직은 이 사실을 깨닫고 적절한 인력을 온보딩하고 올바른 도구 와 기술 로 무장시키며 빅 데이터 를 이해하려고 노력하고 있습니다.
점점 더 많은 조직이 이 사실을 인지함에 따라 데이터 과학 시장도 함께 더욱 빠르게 성장하고 있습니다. 모두가 이 파이 조각을 원합니다. 이는 빅 데이터 도구 와 기술의 엄청난 성장을 가져왔습니다.
유튜브 영상을 보세요.
이 기사에서는 빅 데이터의 대세에 뛰어들 때 도구 키트에 포함해야 하는 올바른 도구 와 기술에 대해 설명합니다. 이러한 도구에 익숙해지면 앞으로 있을 인터뷰에도 도움이 될 것입니다.
목차
하둡 생태계
방에 있는 코끼리를 언급하지 않고는 빅 데이터 에 대해 이야기할 수 없습니다 (말장난!) – Hadoop. '고가용성 분산 객체 지향 플랫폼'의 약어인 Hadoop은 기본적으로 유지 관리, 자가 치유, 오류 처리 및 대규모 데이터 세트 보호에 사용되는 프레임워크입니다. 그러나 수년에 걸쳐 Hadoop은 관련 도구 의 전체 에코시스템을 포괄했습니다 . 뿐만 아니라 대부분의 상용 빅 데이터 솔루션은 Hadoop을 기반으로 합니다.
일반적인 Hadoop 플랫폼 스택은 HDFS, Hive, HBase 및 Pig로 구성됩니다.
HDFS
Hadoop 분산 파일 시스템의 약자입니다. Hadoop을 위한 파일 스토리지 시스템으로 생각할 수 있습니다. HDFS는 대규모 데이터 세트의 배포 및 저장을 처리합니다.
맵리듀스
MapReduce를 사용하면 대규모 데이터 세트를 병렬로 빠르게 처리할 수 있습니다. 아주 짧은 시간에 많은 데이터를 처리하려면 단순히 더 많은 직원을 고용해야 한다는 간단한 아이디어를 따릅니다. 일반적인 MapReduce 작업은 Map과 Reduce의 두 단계로 처리됩니다. "Map" 단계는 처리를 위한 쿼리를 Hadoop 클러스터의 다양한 노드에 보내고 "Reduce" 단계는 모든 결과를 수집하여 단일 값으로 출력합니다. MapReduce는 작업 예약, 작업 모니터링 및 실패한 작업 재실행을 처리합니다.
하이브
Hive는 쿼리 언어를 MapReduce 명령으로 변환하는 데이터 웨어하우징 도구입니다. 페이스북에서 시작했습니다. Hive 사용의 가장 좋은 점은 Hive가 기존 SQL과 유사한 구문을 가진 HQL(Hive Query Language)을 사용하기 때문에 개발자가 기존 SQL 지식을 사용할 수 있다는 것입니다.
HBase
HBase는 비정형 데이터를 실시간으로 처리하고 Hadoop 위에서 실행되는 열 기반 DBMS입니다. SQL은 구조화된 데이터를 처리하지 않기 때문에 HBase에서 쿼리하는 데 사용할 수 없습니다. 이를 위해 Java가 선호되는 언어입니다. HBase는 실시간으로 대용량 데이터 세트를 읽고 쓰는 데 매우 효율적입니다.
돼지
Pig는 Yahoo!에서 시작한 고급 절차적 프로그래밍 언어입니다. 그리고 2007년에 오픈 소스가 되었습니다. 이상하게 들릴지 모르지만, 여러분이 던진 모든 유형의 데이터를 처리할 수 있기 때문에 Pig라고 불립니다!
불꽃
Apache Spark는 빅 데이터 처리 를 위한 가장 빠른 엔진이므로 이 목록에서 특별히 언급할 가치가 있습니다. Amazon, Yahoo!, eBay 및 Flipkart를 비롯한 주요 업체에서 사용하고 있습니다. Spark로 구동되는 모든 조직 을 살펴보십시오 .
Spark는 메모리 내에서 최대 100배 더 빠르게 프로그램을 실행할 수 있고 디스크에서 10배 더 빠르게 프로그램을 실행할 수 있게 해주므로 여러 면에서 Hadoop보다 구식입니다. 
이는 Hadoop 이 도입된 의도를 보완합니다. 대용량 데이터셋을 다룰 때 가장 우려되는 부분 중 하나가 처리 속도이기 때문에 각 쿼리 실행 사이의 대기 시간을 줄여야 했다. 그리고 Spark는 스트리밍, 그래프 처리, 기계 학습 및 SQL 지원을 위한 내장 모듈 덕분에 정확히 그렇게 합니다. 또한 가장 일반적인 프로그래밍 언어인 Java, Python 및 Scala를 지원합니다.
Spark를 도입한 주요 동기는 Hadoop의 계산 프로세스 속도를 높이는 것이었습니다. 그러나 그것을 후자의 연장으로 보아서는 안 된다. 실제로 Spark는 저장 및 처리라는 두 가지 주요 목적으로만 Hadoop을 사용합니다. 그 외에는 꽤 독립형 도구입니다.
NoSQL
기존 데이터베이스(RDBMS)는 행과 열을 정의하여 구조화된 방식으로 정보를 저장합니다. 저장되는 데이터가 비정형 또는 반정형이 아니기 때문에 가능합니다. 그러나 우리가 빅 데이터 처리에 대해 이야기할 때 우리 는 대부분 구조화되지 않은 데이터 세트에 대해 이야기하고 있습니다. 이러한 데이터 세트에서는 S (구조)가 여기에 존재하지 않기 때문에 SQL을 사용한 쿼리가 작동하지 않습니다. 이를 처리하기 위해 NoSQL 데이터베이스가 있습니다.
NoSQL 데이터베이스는 비정형 데이터 저장을 전문으로 하고 빠른 데이터 검색을 제공하도록 구축되었습니다. 그러나 기존 데이터베이스와 동일한 수준의 일관성을 제공하지 않습니다. 그렇다고 데이터를 탓할 수는 없습니다.
가장 널리 사용되는 NoSQL 데이터베이스에는 MongoDB, Cassandra, Redis 및 Couchbase가 있습니다. 최고의 RDBMS 공급업체인 Oracle과 IBM도 NoSQL 데이터베이스 사용량이 급증한 것을 확인한 후 이제 NoSQL 데이터베이스를 제공합니다.
데이터 레이크
데이터 레이크는 지난 몇 년 동안 사용량이 지속적으로 증가했습니다. 그러나 많은 사람들은 여전히 Data Lakes가 데이터 웨어하우스를 다시 방문한 것이라고 생각하지만 사실이 아닙니다. 둘 사이의 유일한 유사점은 둘 다 데이터 저장소 리포지토리라는 것입니다. 솔직히 말해서, 그게 다야. 
Data Lake는 필요할 때까지 다양한 소스에서 다양한 형식으로 방대한 양의 원시 데이터를 보유하는 스토리지 리포지토리로 정의할 수 있습니다. 데이터 웨어하우스는 계층적 폴더 구조로 데이터를 저장하지만 Data Lakes의 경우에는 그렇지 않다는 점에 유의해야 합니다. Data Lakes는 플랫 아키텍처를 사용하여 데이터 세트를 저장합니다.
많은 기업이 빅 데이터 액세스 처리를 단순화하기 위해 Data Lakes로 전환하고 있습니다. Data Lakes는 저장하기 전에 데이터를 처리하는 데이터 웨어하우스와 달리 수집된 데이터를 자연 상태로 저장합니다. 그래서 "호수"와 "창고"라는 은유가 적절합니다. 데이터를 물로 보는 경우 데이터 레이크는 여과되지 않고 자연적인 형태로 물을 저장하는 워터 레이크로 생각할 수 있고 데이터 웨어하우스는 병에 저장되어 선반에 보관되는 물이라고 생각할 수 있습니다.
인메모리 데이터베이스
모든 컴퓨터 시스템에서 RAM 또는 랜덤 액세스 메모리는 처리 속도를 높이는 역할을 합니다. 유사한 철학을 사용하여 메모리 내 데이터베이스가 개발되어 시스템을 데이터로 가져오는 대신 데이터를 시스템으로 이동할 수 있습니다. 이것이 본질적으로 의미하는 바는 데이터를 메모리에 저장하면 처리 시간이 상당히 단축된다는 것입니다. 모든 데이터가 인메모리에 저장되므로 데이터 가져오기 및 검색이 더 이상 어렵지 않습니다.
그러나 실제로 매우 큰 데이터 세트를 처리하는 경우 모든 데이터 세트를 메모리 내로 가져오는 것은 불가능합니다. 그러나 일부를 메모리에 유지하고 처리한 다음 추가 처리를 위해 다른 부분을 메모리에 가져올 수 있습니다. 이를 돕기 위해 Hadoop은 처리 속도를 높이기 위해 온디스크 및 인메모리 데이터베이스를 모두 포함하는 여러 도구 를 제공합니다.
마무리…
이 기사에서 제공하는 목록은 " 빅 데이터 도구 및 기술의 포괄적인 목록"이 결코 아닙니다. 대신 "반드시 알아야 할" 빅 데이터 도구 및 기술에 중점을 둡니다. 빅 데이터 분야 는 지속적으로 발전하고 있으며 새로운 기술은 매우 빠르게 오래된 기술을 뒤엎고 있습니다. Finch, Kafka, Nifi, Samza 등과 같은 Hadoop-Spark 스택 외에도 더 많은 기술이 있습니다. 이러한 도구 는 딸꾹질 없이 원활한 결과를 제공합니다. 이들 각각에는 고유한 사용 사례가 있지만 작업을 시작하기 전에 기사에서 언급한 사례를 알고 있는 것이 중요합니다.
빅 데이터에 대해 더 알고 싶다면 PG 디플로마 빅 데이터 소프트웨어 개발 전문화 프로그램을 확인하세요. 이 프로그램은 실무 전문가를 위해 설계되었으며 7개 이상의 사례 연구 및 프로젝트를 제공하고 14개 프로그래밍 언어 및 도구, 실용적인 실습을 다룹니다. 워크샵, 400시간 이상의 엄격한 학습 및 최고의 기업과의 취업 지원.
세계 최고의 대학에서 온라인으로 소프트웨어 엔지니어링 학위 를 배우십시오 . 이그 제 큐 티브 PG 프로그램, 고급 인증 프로그램 또는 석사 프로그램을 획득하여 경력을 빠르게 추적하십시오.
