Hadoopエコシステムとコンポーネント：包括的なチュートリアル2022
公開: 2021-01-04Hadoopは、ビッグデータプロセスに使用されるオープンソースフレームワークです。 それは巨大で、多くのコンポーネントがあります。 これらのコンポーネントはそれぞれ、特定のビッグデータジョブのセットを実行します。 Hadoopの膨大なソリューションのコレクションにより、Hadoopは業界の定番となっています。 また、ビッグデータの専門家になりたい場合は、そのすべてのコンポーネントに精通している必要があります。
ただし、この記事では、これらすべてのコンポーネントについて説明しますので、心配しないでください。
目次
Hadoopコアコンポーネントとは何ですか？
Hadoopコアコンポーネントはそのパフォーマンスを管理し、エコシステムの他のセクションを使用する前にそれらについて学ぶ必要がありますか。 Hadoopのエコシステムは広大で、多くのツールで満たされています。 そのコアコンポーネントの別名はモジュールです。 主に次のものがあります
Hadoopコアコンポーネント：
1. HDFS
HDFSの完全な形式は、Hadoop分散ファイルシステムです。 これは、データストレージに関連するHadoopの最も重要なコンポーネントです。 HDFSを使用すると、分散ストレージデバイスのネットワークにデータを保存できます。 この保存されたデータを読み取り、それに応じて分析できるツールのセットがあります。 HDFSを使用すると、コンピューターのオペレーティングシステムに関係なく、データの取得を実行できます。 HDFSとそのアーキテクチャについてもっと読む。
オペレーティングシステムについて心配する必要がないため、新しいオペレーティングシステムに遭遇するたびにシステムを変更する必要がないため、生産性を高めて作業できます。 HDFSは、次のコンポーネントで構成されています。
- NameNode
- DataNode
- セカンダリNameNode
名前ノードは、HDFSでは「マスター」とも呼ばれます。 スレーブノードのメタデータを保存して、データストレージを追跡します。 何がどこに保存されているかがわかります。 マスターノードは、スレーブノードの状態も監視します。 データノードにタスクを割り当てることもできます。 データノードはデータを保存します。 データノードは、HDFSでは「スレーブ」とも呼ばれます。
スレーブノードは、マスターノードのヘルスステータスの要求に応答し、その状況を通知します。 スレーブノードがマスターノードのヘルスステータス要求に応答しない場合、マスターノードはそれが停止していることを報告し、そのタスクを別のデータノードに割り当てます。
ネームノードとスレーブノードとは別に、3番目のセカンダリネームノードがあります。 マスターノードへのバッファーです。 マスターノードがアクティブでない場合、データをFinalFSイメージに更新します。
2. MapReduce
MapReduceはHadoopの2番目のコアコンポーネントであり、MapとReduceの2つのタスクを実行できます。 Mapreduceは、ビッグデータの旅を簡単にすることができるトップのHadoopツールの1つです。 マッピングとは、データベースに存在するデータを読み取り、よりアクセスしやすく機能的な形式に転送することです。 マッピングにより、システムはその形式を変更することにより、分析にデータを使用できます。 次に、数学関数であるリダクションがあります。 分析を改善するために、マップされたデータを定義されたデータのセットに減らします。
キーと値のペアを解析し、機能のためにそれらをタプルに減らします。 MapReduceは、データの並べ替えやデータのフィルタリングなど、Hadoopの多くのタスクに役立ちます。 その2つのコンポーネントは連携して機能し、データの準備を支援します。 MapReduceは、ジョブの監視とスケジューリングも処理します。
これは、Hadoopエコシステムのコンピューターノードとして機能します。 主に、MapReduceは、ビッグデータタスクを小さなタスクのグループに分割します。 さまざまなプログラミング言語を使用できるため、MapReduceジョブを効率的に実行できます。 Python、C ++、さらにはJavaを使用してアプリケーションを作成できます。 高速でスケーラブルであるため、Hadoopエコシステムの重要なコンポーネントです。
3.ヤーン
YARNはYetAnotherResourceNegotiatorの略です。 Hadoopでのリソース管理を処理します。 リソース管理も重要なタスクです。 そのため、YARNはHadoopの重要なコンポーネントの1つです。 Hadoopのワークロードを監視および管理します。 YARNは非常にスケーラブルで機敏です。 これは、クラスター使用率の高度なソリューションを提供します。これは、もう1つの重要な利点です。 HadoopYARNアーキテクチャの詳細をご覧ください。
YARNは複数のコンポーネントで構成されています。 その中で最も重要なのはリソースマネージャーです。 リソースマネージャーは、Hadoopクラスター内のリソースを処理するための柔軟で汎用的なフレームワークを提供します。 リソースマネージャーの別名はマスターです。 ノードマネージャは、YARNのもう1つの重要なコンポーネントです。
アプリマネージャーとYARNのコンテナーのステータスを監視します。 すべてのデータ処理はコンテナー内で行われ、コンテナーがデータ処理タスクを実行するためにより多くのリソースを必要とする場合、アプリマネージャーはこのプロセスを管理します。アプリマネージャーはリソースマネージャーに同じことを要求します。
4. Hadoop Common
Apacheは、さまざまなモジュールで使用できるHadoopエコシステムに多くのライブラリとユーティリティを追加しました。 Hadoop Commonを使用すると、オペレーティングシステムの互換性やハードウェアの問題に直面することなく、コンピューターをHadoopネットワークに参加させることができます。 このコンポーネントはJavaツールを使用して、プラットフォームが必要なシステム内にデータを保存できるようにします。
システムに標準機能を提供するため、HadoopCommonという名前が付けられています。
役割に応じたHadoopコンポーネント
Hadoopコアコンポーネントについて見てきたので、他の部分について説明しましょう。 前述したように、Hadoopには膨大なツールのコレクションがあるため、Hadoopエコシステムでの役割に応じてツールを分割しました。 始めましょう：
データの保存
Zookeeper
Zookeeperは、Hadoopクラスターの命名規則、構成、同期、およびその他の情報を管理するのに役立ちます。 これは、エコシステムのオープンソースの集中型サーバーです。
HCatalog
HCatalogは、データをバイナリ形式で保存し、Hadoopでテーブル管理を処理します。 これにより、ユーザーはHIVEに保存されているデータを使用できるため、タスクにデータ処理ツールを使用できます。 Kerberosに基づく認証を実行でき、データの変換と解釈に役立ちます。
HDFS
HDFSについてはすでに説明しました。 HDFSはHadoop分散ファイルシステムの略で、Hadoopのデータストレージを処理します。 水平および垂直のスケーラビリティをサポートします。 フォールトトレラントであり、エラーが原因でデータを失った場合に備えてデータのコピーを保持するレプリケーションファクターを備えています。
実行エンジン
スパーク
Hadoopでのマイクロバッチ処理にはSparkを使用します。 ETLとリアルタイムのデータストリーミングを実行できます。 80人の高レベルのオペレーターをサポートできるため、非常に機敏です。 これはクラスターコンピューティングフレームワークです。 ApacheSparkアプリケーションの詳細をご覧ください。
MapReduce
この言語に依存しないモジュールを使用すると、複雑なデータを分析に使用できるデータに変換できます。 データのマッピングと削減を実行するため、データの並べ替えやフィルタリングなど、さまざまな操作を実行できます。 データのローカル処理も実行できます。
テズ
Tezを使用すると、複数のMapReduceタスクを同時に実行できます。 これは、データ処理とバッチ処理の実行を支援するデータ処理フレームワークです。 再構成を計画し、データフローに関する効果的な決定を下すのに役立ちます。 リソース管理に最適です。
データベース管理
インパラ
HadoopクラスターではImpalaを使用します。 Hiveのメタストアに参加して、必要な情報を共有することができます。 SQLインターフェイスの習得は簡単で、手間をかけずにビッグデータをクエリできます。
ハイブ
このHadoopコンポーネントの開発者はFacebookです。 これは、SQLと非常によく似たHiveQLを使用しており、データ分析、要約、クエリを実行できます。 インデックス作成により、Hiveはデータクエリのタスクを高速化します。
HBase
HBaseはデータの保存にHDFSを使用します。 これは、列に焦点を合わせたデータベースです。 これにより、NoSQLデータベースは、数十万（または数百万）の列と行を持つ可能性のある巨大なテーブルを作成できます。 データセットへの読み取りまたは書き込みアクセスが必要な場合は、HBaseを使用する必要があります。 FacebookはHBaseを使用してメッセージプラットフォームを実行します。
Apacheドリル
Apache Drillを使用すると、複数のデータセットを組み合わせることができます。 さまざまなNoSQLデータベースをサポートできるため、非常に便利です。 スケーラビリティが高く、多数のユーザーを簡単に支援できます。 これにより、SQLのようなすべての分析タスクを簡単に実行できます。 また、システム内のエンドツーエンドのセキュリティを維持するための認証ソリューションもあります。
抽象化
Apache Sqoop
Apache Sqoopを使用して、外部ソースからHDFSやHBaseなどのHadoopのデータストレージにデータをインポートできます。 これを使用して、Hadoopのデータストレージから外部データストアにデータをエクスポートすることもできます。 データを並行して転送するSqoopの機能により、リソースへの過度の負荷が軽減され、データを高効率でインポートまたはエクスポートできます。 Sqoopを使用してデータをコピーすることもできます。
アパッチピッグ
Yahooによって開発されたApachepigは、大規模なデータセットの分析に役立ちます。 必要なタスクをスムーズかつ効率的に実行するために、その言語であるPigLatinを使用しています。 膨大なデータセットを処理する必要がある場合は、Pigプログラムの構造を並列化できます。これにより、Pigはデータ分析の優れたソリューションになります。 詳細を理解するには、apachepigチュートリアルを利用してください。
データストリーミング
Flume
Flumeを使用すると、膨大な量のデータを収集できます。 収集したデータをHDFSに送信するデータ収集ソリューションです。 チャネル、ソース、そして最後にシンクの3つのセクションがあります。 Flumeには、データフローを実行するエージェントがいます。 このフローに存在するデータはイベントと呼ばれます。 Twitterは、ツイートのストリーミングにFlumeを使用しています。
カフカ
Apache Kafkaは、分散型パブリックメッセージング用の耐久性があり、高速で、スケーラブルなソリューションです。 LinkedInは、この強力なツールの開発の背後にあります。 トピック内のメッセージの大量のフィードを維持します。 多くの企業がデータストリーミングにKafkaを使用しています。 MailChimp、Airbnb、Spotify、FourSquareは、この強力なツールの著名なユーザーです。
詳細–Hadoopコンポーネント
このガイドでは、すべてのHadoopコンポーネントに簡単に触れて、Hadoopコンポーネントに完全に慣れるようにしました。 Hadoopコンポーネントとそのアーキテクチャについて詳しく知りたい場合は、有用なデータサイエンスの記事が満載のブログにアクセスすることをお勧めします。
ビッグデータについて詳しく知りたい場合は、ビッグデータプログラムのソフトウェア開発スペシャライゼーションのPGディプロマをチェックしてください。このプログラムは、働く専門家向けに設計されており、7つ以上のケーススタディとプロジェクトを提供し、14のプログラミング言語とツール、実践的なハンズオンをカバーしています。ワークショップ、トップ企業との400時間以上の厳格な学習と就職支援。
世界のトップ大学からオンラインでソフトウェア開発コースを学びましょう。 エグゼクティブPGプログラム、高度な証明書プログラム、または修士プログラムを取得して、キャリアを早急に進めましょう。