Hakkında Bilmeniz Gereken En İyi 20 HDFS Komutu [222]

Yayınlanan: 2021-01-01

Hadoop, basit programlama modelleriyle büyük ölçekli veri kümelerinin toplu iş istasyonları üzerinde dağıtılmış olarak işlenmesini sağlayan bir Apache açık kaynak yapısıdır. En iyi ölçeklenebilirlik özelliklerine sahip çok sayıda bilgisayar kümesiyle dağıtılmış bir depolama ortamında çalışır. HDFS ve mimarisi hakkında daha fazlasını okuyun.

İçindekiler

HDFS'nin Hedefleri

1. Büyük Ölçekli Dağıtılmış Dosya Sistemi Sağlar

10 bin düğüm, 100 milyon dosya ve 10 PB

2. Toplu İşleme Optimizasyonu

Çok kapsamlı toplu kapasite sağlar

3. Mal Donanımını Varsayın

Donanım arızasını algılar ve onu kurtarır

Donanım arızalanırsa mevcut dosyayı tüketme olanakları

4. En İyi Akıllı İstemci Zekası Çözümü

Müşteri iskelelerin yerini bulabilir

İstemci, verilere doğrudan veri düğümlerinden erişebilir

5. Veri Tutarlılığı

İstemci mevcut dosyalara ekleme yapabilir

Bir Kez Yaz-Çok Oku erişim modelidir.

6. Parça Parça Dosya Çoğaltma ve Kullanılabilirlik

Dosyalar 128 MB blok boyutlarında çok düğümlü bloklarda bir mola olabilir ve yeniden kullanılabilir

7. Bellekteki Meta Veriler

Tüm Meta veriler ana bellekte saklanır

Meta-veri, dosyalar listesinde, bloklar listesinde ve veri düğümleri listesindedir.

İşlem günlükleri, dosya oluşturma ve dosya silme işlemlerini kaydeder

8. Veri-Doğruluk

Verileri doğrulamak ve dönüştürmek için sağlama toplamını kullanır.

İstemcisi, 512 bayt başına sağlama toplamını hesaplar. İstemci, verileri ve sağlama toplamını düğümlerden alır

Doğrulamalar başarısız olursa, istemci çoğaltma işlemini kullanabilir .

9. Veri Boru Hattı Süreci

İstemcisi, ilk düğümlerden yazmanın ilk adımına başlar

İlk veri düğümleri, verileri bir sonraki veri düğümüne boru hattına iletir.

Tüm modeller yazıldığında, istemci dosyaya bir sonraki bloğu yazmak için bir sonraki adıma geçer.

HDFS Mimarisi

Hadoop Dağıtılmış Dosya Sistemi (HDFS) bloklar halinde yapılandırılmıştır. HDFS mimarisi master/slave olarak tanımlanır. Ad düğümü ve veri düğümü, HDFS mimarisini oluşturur.

  1. Namenode: Dosya sistemi ad alanını yönetmek için bir ana sunucu olarak işlev görür ve ayrıca istemcilere doğru erişim yaklaşımını sağlar.
  • Belirli bir dosya için veri bloklarını içeren tüm veri düğümlerini sağlar. Bunun yardımıyla sistem başladığında, her seferinde veri düğümlerinden verileri geri yükler.
  • HDFS, dosya “açma, kapatma ve yeniden adlandırma” gibi yaygın işlemler ve hatta katalog için Namenode ile yürütülen bir dosya yöntemi ad alanını içerir.
  1. Datanode: HDFS kümesindeki ikinci teknik belirtimidir. Genellikle HDFS kümesindeki düğüm başına bir tane çalışır.
  • DataNode'lar, köleler gibi çalışan, her bilgisayarda bir küme modunda kalan ve orijinal depolamayı uygulayan yöntemlerdir. Müşteriler için istek sunar, okur ve yazarlar.

HDFS En İyi 20 Komut

İşte tüm HDFS komutlarının bir listesi :

1. HDFS kök dizinindeki tüm dosyaların listesini almak için

  • Komut: Kullanım: hdfs dfs [genel seçenekler] -ls [-c] [-h] [-q] [-R] [-t] [-S] [-u] [<yol>…]
  • Not: Burada, tıpkı genel Linux dosya sistemi gibi, kökten yolu seçin. Yeşil İşaretteki -h, önerilen şekilde insan tarafından okunabilir boyutlarda olduğunu gösterir. Blue Mark'taki -R, alt dizinlere uygulama yapmanın sayısız birinden farklı olduğunu gösterir.

2. Yardım

  • Komut: fs – yardım
  • Not: Tüm komutları yazdıran uzun çıktıyı yazdırır.

3. Tüm dosyaları tek bir dosyada bir katalogda birleştirin

  • Komut: hdfs dfs [genel seçenekler] -getmerge [-nl] <src> <localdst>
  • Not: Bu, yerel sistem dizininde tüm dosyaları bir kök dizinden taşıyan ve hepsini bir araya getiren yeni bir dosya oluşturur. Kırmızı ile işaretlenen -nl seçeneği, dosyalar arasında yeni satırları birleştirir. Bu komut yardımıyla, farklı bir işlem için küçük kayıtlardan oluşan bir koleksiyonu bir seçim içinde birleştirebilirsiniz.

4. Kayıt Dizini için Disk Kullanımını Megabayt Olarak Göster: /dir

  • Komut: hdfs dfs [genel seçenekler] -du [-s] [-h] <yol> …
  • Not: Mavi ile işaretlenmiş -h, size okunabilir bir boyut çıktısı verir, yani Gigabyte.

5. Bir dosya için çoğaltma faktörünü değiştirme

  • Komut: hadoop fs -setrep -w 1 /root/journaldev_bigdata/derby. kayıt
  • Not: Her Hadoop kümesinde çoğaltılabilen bir dosyaya göre sayılan çoğaltma faktörleri içindir.

6. Yerelden kopyala

  • Komut: hadoop fs -copyFromLocal derby.log /root/journaldev_bigdata
  • Not: Bu komut, bir dosyanın Yerel dosya Sisteminden Hadoop FS'ye kopyalanması içindir.

7.-rm -r

  • Komut: hadoop fs -rm -r /root/journaldev_bigdata
  • Not: rm-r komutu yardımıyla bir HDFS dizininin tamamını kaldırabiliriz.

8. Silmek

  • Komut: hadoop fs -expunge
  • Not: Bu silme, parçaları boş olarak gerçekleştirir.

9. fs -du

  • Komut: hadoop fs -du /root/journaldev_bigdata/
  • Not: Bu komut, bir dizindeki HDFS altındaki dosyaların disk kullanımına yardımcı olur.

10.mkdir

  • Komut: hadoop fs -mkdir /root/journaldev_bigdata
  • Not: Bu komut, dosyaların sağlığını kontrol etmek için kullanılır.

11. metin

  • Komut: hadoop fs -text <src>
  • Not: Bu komut, .“sample zip” dosyasını metin formatında görselleştirmek için kullanılır.

12. Durum

  • Komut: hadoop fs -stat [biçim] <yol>
  • Not: Bu stat komutu, dizinde bulunan 'test' dosyası hakkındaki bilgileri yazdırmak için kullanılır.

13. chmod : (Hadoop chmod Komut Kullanımı)

  • Komut: hadoop fs -chmod [-R] <mod> <yol>
  • Not : Bu komut “testfile” üzerinde dosya iznini değiştirmek için kullanılır.

14. Dosyaya ekle

  • Komut : hadoop fs -appendToFile <localsrc> <hedef>
  • Not: Bu komut, yerel dosya sistemindeki localfile1, localfile2'yi katalogda 'appendfile' olarak belirtilen dosyaya anında eklemek için kullanılabilir.
  1. sağlama toplamı
  • Komut: hadoop fs -checksum <src>
  • Not: Bu, sağlama toplamı bilgilerini döndüren kabuk komutudur.
  1. Saymak
  • Komut: hadoop fs -count [seçenekler] <yol>
  • Not : Bu komut, verilen dosyanın belirtilen yolundan dosya, dizin ve bayt sayısını saymak için kullanılır.
  1. Bulmak
  • Komut: hadoop fs -find <yol> … <ifade>
  • Not: Bu komut, belirtilen ifadeyle eşleşen tüm dosyaları bulmak için kullanılır .
  1. birleşmek
  • Komut: hadoop fs -getmerge <src> <localest>
  • Not: Bu komut “MergeFile to Local” için kullanılır.

19. dokunma

  • Komut : hadoop fs –touchz /dizin/dosyaadı
  • Not: Bu komut, 0 bayta karşılık gelen dosya boyutuna sahip HDFS'de bir dosya oluşturur.
  1. fs -ls
  • Komut : hadoop fs -ls
  • Not: Bu komut, varsayılan dizin altındaki kullanılabilir dosyaların ve alt dizinlerin bir listesini oluşturur.

Okuyun: Hadoop Ekosistemi ve Bileşenleri

Çözüm

Umarım bu makale , Hadoop dosya sisteminde işlemleri yürütmek için HDFS komutlarını anlamanıza yardımcı olmuştur . Makale, tüm temel HDFS komutlarını açıklamıştır .

Büyük Veri hakkında daha fazla bilgi edinmek istiyorsanız, çalışan profesyoneller için tasarlanmış ve 7+ vaka çalışması ve proje sağlayan, 14 programlama dili ve aracını kapsayan, pratik uygulamalı Büyük Veride Yazılım Geliştirme Uzmanlığı programında PG Diplomamıza göz atın çalıştaylar, en iyi firmalarla 400 saatten fazla titiz öğrenim ve işe yerleştirme yardımı.

Dünyanın En İyi Üniversitelerinden Online Yazılım Geliştirme Kursları öğrenin . Kariyerinizi hızlandırmak için Yönetici PG Programları, Gelişmiş Sertifika Programları veya Yüksek Lisans Programları kazanın.

Geleceğin Teknolojisinde Ustalaşın - Büyük Veri

IIIT Bangalore'den Büyük Veride Gelişmiş Sertifika Programı