應屆生最常見的 Hadoop 管理員面試問題 [2022]

已發表: 2021-01-03

Hadoop 管理員被認為是業內收入最高的專業人士之一。 最重要的是，數據的收集和使用每天都呈指數級增長。 隨著這種增長，對能夠輕鬆使用 Hadoop 的人員的需求也在增加。 在本博客中，我們將向您介紹一些針對 Hadoop 專業人士的重要面試問題。

必須閱讀 Hadoop 面試問題和答案

Q1。 解釋Hadoop的一些行業應用。

答： Apache Hadoop，通常稱為 Hadoop，是一個開源編程階段，用於對大量信息進行適應性和傳播分析。 它對組織內產生的有組織和無組織信息進行快速、卓越和實用的調查。 今天幾乎所有的辦公室和領域都在使用它。

Hadoop的一些主要工業用途：

  • 監督道路上的交通。
  • 流媒體準備。
  • 內容管理和歸檔郵件。
  • 利用 Hadoop 集群準備囓齒動物大腦神經元體徵。
  • 欺詐識別。
  • 以階段為重點的促銷活動正在利用 Hadoop 捕獲和分解快照傳輸、交換、視頻和在線媒體信息。
  • 通過在線媒體階段監督內容、帖子、圖片和錄音。
  • 持續調查客戶信息以改善業務執行。
  • 公共領域領域，例如洞察力、守衛、數字保護和邏輯探索。
  • 獲得對非結構化信息的准入，例如，來自臨床小工具、專家筆記、臨床通信、臨床信息、實驗室結果、成像報告和貨幣信息的收益。

Q2。 將 Hadoop 與並行計算系統進行比較。

答： Hadoop 是一個分佈式記錄框架，允許您在遠程機器上存儲和處理海量信息，處理任何不需要的重複信息。

Hadoop 的本質優勢在於，由於信息存儲在稱為節點的幾個集線器中，因此更容易以適當的方式處理它。 每個集線器或節點都可以處理存儲在其上的信息，而不是投入精力一遍又一遍地移動信息。

令人驚訝的是，在 RDBMS 處理框架中，我們可以不斷地查詢信息。 但是，將信息存儲在表、記錄和部分中並不高效，尤其是當數據量很大時。

閱讀：如何成為 Hadoop 管理員？

Q3 列出可以運行 Hadoop 的不同模式。

A：獨立模式：Hadoop 的默認方法，它利用本地存儲框架來獲取輸入並給出輸出。 由於易於調試選項，此模式本質上是使用的，並且它不支持 HDFS。

mapred-site.xml、center site.xml 和 hdfs-site.xml 記錄不需要自定義設置。 這種模式比其他模式工作得快很多。

  • 偽分佈式模式（單節點集群） ：在這種模式下，對於我們之前談到的所有 3 條記錄，我們都需要單獨設置。 對於這種模式，所有守護進程都在一個節點上運行，沿著這些思路，主集線器和從集線器本質上是相同的。
  • 完全分佈式模式（Multi-hub Cluster） ：這種模式被定義為Hadoop的創建時期，其中信息被利用並分散在Hadoop集群上的幾個節點上。 單獨的集線器被分配為主和從。

Q4：解釋 InputSplit 和 HDFS 塊之間的主要區別。

答：塊可以定義為信息和數據的物理表示，而拆分是塊中存在的任何數據的邏輯表示。 Split 作為塊和映射器之間的橋樑。

假設我們有 2 個塊：

  • ii nnteell
  • 我買了

如果我們按照 map 的原則，它會從 ii 到 ll 讀取 Block 1，但在這種情況下不知道如何讀取 Block 2。 為了解決這個問題，我們需要一個塊 1 和塊 2 的邏輯包，可以很容易地作為一個塊讀取。 這就是斯普利特發揮作用的地方。

此外，split利用InputFormat形成一個key-value對，對reader進行多條記錄，進一步處理到map中，供InputSplit後續處理。 它還為我們提供了存儲的靈活性，使我們能夠增加拆分大小以減少正在形成的地圖的總數。

Q5：列舉一些在 Hadoop 中使用的常見輸入格式。

A： Hadoop 中主要有 3 種輸入格式：

  • 文本輸入格式：這在 Hadoop 中用作默認值。
  • 鍵值輸入格式：當文本文件被分成幾行時主要首選。
  • 順序文件輸入格式：主要用於順序讀取文件。

另請閱讀：Hadoop 項目理念和主題

Q6：列出任何 Hadoop 應用程序的主要組件。

答： Hadoop 的主要組件是-

  • 用於存儲數據的 HBase
  • Apache Flume、Sqoop、Chukwa – 用作數據集成組件
  • Ambari、Oozie 和 ZooKeeper——用於數據管理和監控的組件
  • Thrift 和 Avro – 數據序列化組件
  • Apache Mahout 和 Drill——用於數據智能目的
  • Hadoop 通用
  • 高密度文件系統
  • Hadoop MapReduce
  • 紗
  • 豬和蜂巢

問題 7： 什麼是“機架意識”？

答： Hadoop 中的 NameNode 使用 Rack Awareness 系統來決定塊及其副本在 Hadoop 組中的位置。 類似機架內的 DataNode 之間的流量受到機架定義的限制。 在這個系統中，一個塊的前兩個副本將存儲在一個機架中，第三個副本將存儲在不同的塊中。

結論

希望您喜歡我們關於Hadoop 管理員面試問題的博客。 但是，在面試之前掌握一套詳盡的 Hadoop 技能和知識非常重要。 您可以在此處參考我們博客上的一些重要 Hadoop 教程，

Hadoop 教程：學習大數據 Hadoop 2022 的終極指南

什麼是 Hadoop？ Hadoop、特性和用例簡介

如果您是數據愛好者並想了解更多關於大數據的信息，請查看我們的 PG 大數據軟件開發專業文憑課程。 該計劃專為當前員工而設計，包含 7 個以上的案例研究和項目。 它涵蓋 14 種編程語言和工具，最重要的是實用的實踐研討會，以及 400 多個小時的參與，但嚴格的學習和頂級公司的工作安置幫助。

從世界頂級大學在線學習軟件開發課程。 獲得行政 PG 課程、高級證書課程或碩士課程，以加快您的職業生涯。

今天就規劃你的職業生涯

IIIT Bangalore 大數據高級證書課程