20 Perintah HDFS Teratas Yang Harus Anda Ketahui [2022]

Diterbitkan: 2021-01-01

Hadoop adalah struktur open-source Apache yang memungkinkan pemrosesan terdistribusi dari kumpulan data skala besar melalui kumpulan workstation dengan pola pemrograman sederhana. Ini beroperasi di lingkungan penyimpanan terdistribusi dengan banyak kelompok komputer dengan fitur skalabilitas terbaik. Baca lebih lanjut tentang HDFS dan arsitekturnya.

Daftar isi

Tujuan HDFS

1. Ini Menyediakan Sistem File Terdistribusi Skala Besar

10k node, 100 juta file, dan 10 PB

2. Optimalisasi Pemrosesan Batch

Menyediakan kapasitas agregat yang sangat komprehensif

3. Asumsikan Perangkat Keras Komoditas

Ini mendeteksi kegagalan perangkat keras dan memulihkannya

Kemungkinan mengkonsumsi file yang ada jika perangkat keras gagal

4. Solusi Intelijen Klien Cerdas Terbaik

Klien dapat menemukan lokasi perancah

Klien dapat mengakses data langsung dari node data

5. Konsistensi Data

Klien dapat menambahkan ke file yang ada

Ini adalah model akses Tulis-sekali-Baca-banyak

6. Potongan Replikasi File dan Kegunaan

File dapat menjadi pemecah blok multi-simpul dalam ukuran blok 128 MB dan menggunakannya kembali

7. Meta-Data di Memori

Seluruh Meta-data disimpan di memori utama

Meta-data ada dalam daftar file, daftar blok, dan daftar data-node

Log transaksi, mencatat pembuatan file dan penghapusan file

8. Kebenaran Data

Ini menggunakan checksum untuk memvalidasi dan mengubah data.

Kliennya menghitung checksum per 512 byte. Klien mengambil data dan checksumnya dari node

Jika validasi gagal, klien dapat menggunakan proses replika .

9. Proses Pemipaan Data

Kliennya memulai langkah awal penulisan dari node pertama

Data-node pertama mengirimkan data ke node data berikutnya ke pipeline

Ketika semua model ditulis, klien melanjutkan ke langkah berikutnya untuk menulis blok berikutnya dalam file

Arsitektur HDFS

Hadoop Distributed File System (HDFS) disusun menjadi blok-blok. Arsitektur HDFS digambarkan sebagai master/slave. Namenode dan data node membentuk arsitektur HDFS.

  1. Namenode: Berfungsi sebagai server master untuk mengelola namespace sistem file dan juga menyediakan pendekatan akses yang tepat ke klien.
  • Ini menyediakan semua node data yang terdiri dari blok data untuk file tertentu. Dengan bantuan ini, ketika sistem dimulai, ia mengembalikan data dari node data setiap saat.
  • HDFS menggabungkan namespace metode file yang dieksekusi dengan Namenode untuk operasi umum seperti file "membuka, menutup, dan mengganti nama", dan bahkan untuk katalog.
  1. Datanode: Ini adalah spesifikasi teknik kedua di cluster HDFS. Biasanya bekerja satu per node di cluster HDFS.
  • DataNodes adalah metode yang bekerja seperti budak, tetap berada di setiap komputer dalam mode cluster, dan mengimplementasikan penyimpanan asli. Mereka melayani, membaca, dan menulis permintaan untuk klien.

20 Perintah Teratas HDFS

Berikut adalah daftar semua perintah HDFS :

1. Untuk mendapatkan daftar semua file di direktori root HDFS

  • Perintah: Penggunaan: hdfs dfs [opsi generik] -ls [-c] [-h] [-q] [-R] [-t] [-S] [-u] [<path>…]
  • Catatan: Di sini, pilih jalur dari root, seperti sistem file Linux pada umumnya. -h di Tanda Hijau menunjukkan bahwa itu dalam ukuran yang dapat dibaca manusia, seperti yang direkomendasikan. -R di Tanda Biru menunjukkan bahwa itu berbeda dari banyak satu untuk berlatih ke dalam subdirektori.

2. Bantuan

  • Perintah: fs – tolong
  • Catatan: Ini mencetak output panjang yang mencetak semua perintah

3. Gabungkan semua file ke dalam katalog dalam satu file

  • Perintah: hdfs dfs [opsi umum] -getmerge [-nl] <src> <localdst>
  • Catatan: Ini akan menghasilkan file baru di direktori sistem lokal yang membawa semua file dari direktori root dan menggabungkan semuanya. Opsi -nl, yang ditandai dengan warna Merah, menggabungkan baris baru di antara file. Dengan bantuan perintah ini, Anda dapat menggabungkan kumpulan catatan kecil dalam pilihan untuk operasi yang berbeda.

4. Tampilkan Penggunaan Disk dalam Megabyte untuk Daftar Direktori: /dir

  • Perintah: hdfs dfs [opsi generik] -du [-s] [-h] <path> …
  • Catatan: -h, yang ditandai dengan warna Biru memberi Anda ukuran keluaran yang dapat dibaca, yaitu Gigabytes.

5. Memodifikasi faktor replikasi untuk file

  • Perintah: hadoop fs -setrep -w 1 /root/journaldev_bigdata/derby. catatan
  • Catatan: Ini untuk faktor replikasi, yang dihitung berdasarkan file, yang dapat direplikasi di setiap cluster Hadoop.

6. salinDariLokal

  • Perintah: hadoop fs -copyFromLocal derby.log /root/journaldev_bigdata
  • Catatan: Perintah ini untuk menyalin file dari Sistem file Lokal ke Hadoop FS

7.-rm -r

  • Perintah: hadoop fs -rm -r /root/journaldev_bigdata
  • Catatan: Dengan bantuan perintah rm-r, kita dapat menghapus seluruh direktori HDFS

8. Hapus

  • Perintah: hadoop fs -penghapusan
  • Catatan: Penghapusan ini menjalankan fragmen kosong.

9. fs -du

  • Perintah: hadoop fs -du /root/journaldev_bigdata/
  • Catatan: Perintah ini membantu penggunaan disk file di bawah HDFS dalam direktori.

10.mkdir

  • Perintah: hadoop fs -mkdir /root/journaldev_bigdata
  • Catatan: Perintah ini digunakan untuk memeriksa kesehatan file.

11. teks

  • Perintah: hadoop fs -teks <src>
  • Catatan: Perintah ini digunakan untuk memvisualisasikan file .“sample zip” dalam format teks.

12. Status

  • Perintah: hadoop fs -stat [format] <path>
  • Catatan: Perintah stat ini digunakan untuk mencetak informasi tentang file 'test' yang ada di direktori.

13. chmod : (Penggunaan Perintah Hadoop chmod)

  • Perintah: hadoop fs -chmod [-R] <mode> <path>
  • Catatan : Perintah ini digunakan untuk mengubah hak akses file pada “testfile”.

14. tambahkanToFile

  • Perintah : hadoop fs -appendToFile <localsrc> <dest>
  • Catatan: Perintah ini dapat digunakan untuk menambahkan localfile1, localfile2 secara instan di sistem file lokal ke dalam file yang ditentukan sebagai 'appendfile' di katalog.
  1. Ceksum
  • Perintah: hadoop fs -checksum <src>
  • Catatan: Ini adalah perintah shell yang mengembalikan informasi checksum.
  1. Menghitung
  • Perintah: hadoop fs -count [opsi] <path>
  • Catatan : Perintah ini digunakan untuk menghitung jumlah file, direktori, dan byte dari jalur yang ditentukan dari file yang diberikan.
  1. Menemukan
  • Perintah: hadoop fs -find <path> … <expression>
  • Catatan: Perintah ini digunakan untuk menemukan semua file yang cocok dengan ekspresi yang disebutkan .
  1. bergabung
  • Perintah: hadoop fs -getmerge <src> <localdest>
  • Catatan: Perintah ini digunakan untuk “MergeFile into Local”.

19. sentuh

  • Perintah : hadoop fs –touchz /directory/filename
  • Catatan: Perintah ini menghasilkan file dalam HDFS dengan ukuran file yang sesuai dengan 0 byte.
  1. fs -ls
  • Perintah : hadoop fs -ls
  • Catatan: Perintah ini menghasilkan daftar file dan subdirektori yang tersedia di bawah direktori default.

Baca: Ekosistem & Komponen Hadoop

Kesimpulan

Semoga artikel ini membantu Anda memahami perintah HDFS untuk menjalankan operasi pada sistem file Hadoop. Artikel tersebut telah menjelaskan semua perintah dasar HDFS .

Jika Anda tertarik untuk mengetahui lebih banyak tentang Big Data, lihat Diploma PG kami dalam Spesialisasi Pengembangan Perangkat Lunak dalam program Big Data yang dirancang untuk para profesional yang bekerja dan menyediakan 7+ studi kasus & proyek, mencakup 14 bahasa & alat pemrograman, praktik langsung lokakarya, lebih dari 400 jam pembelajaran yang ketat & bantuan penempatan kerja dengan perusahaan-perusahaan top.

Pelajari Kursus Pengembangan Perangkat Lunak online dari Universitas top dunia. Dapatkan Program PG Eksekutif, Program Sertifikat Lanjutan, atau Program Magister untuk mempercepat karier Anda.

Kuasai Teknologi Masa Depan - Big Data

Program Sertifikat Tingkat Lanjut dalam Data Besar dari IIIT Bangalore