คำสั่ง HDFS 20 อันดับแรกที่คุณควรรู้เกี่ยวกับ [2022]

เผยแพร่แล้ว: 2021-01-01

Hadoop เป็นโครงสร้างโอเพ่นซอร์สของ Apache ที่ช่วยให้สามารถประมวลผลชุดข้อมูลขนาดใหญ่แบบกระจายผ่านแบทช์ของเวิร์กสเตชันด้วยรูปแบบการเขียนโปรแกรมอย่างง่าย มันทำงานในสภาพแวดล้อมการจัดเก็บข้อมูลแบบกระจายที่มีกลุ่มคอมพิวเตอร์จำนวนมากที่มีคุณสมบัติการปรับขนาดได้ดีที่สุด อ่านเพิ่มเติมเกี่ยวกับ HDFS และสถาปัตยกรรมของมัน

สารบัญ

เป้าหมายของ HDFS

1. ให้ระบบไฟล์แบบกระจายขนาดใหญ่

โหนด 10k, 100 ล้านไฟล์ และ 10 PB

2. การเพิ่มประสิทธิภาพของการประมวลผลแบบกลุ่ม

ให้ความจุรวมที่ครอบคลุมมาก

3. สมมติฮาร์ดแวร์สินค้า

ตรวจพบความล้มเหลวของฮาร์ดแวร์และกู้คืนได้

ความเป็นไปได้ของการใช้ไฟล์ที่มีอยู่หากฮาร์ดแวร์ล้มเหลว

4. โซลูชันอัจฉริยะไคลเอ็นต์อัจฉริยะที่ดีที่สุด

ลูกค้าสามารถค้นหาที่ตั้งของนั่งร้านได้

ลูกค้าสามารถเข้าถึงข้อมูลได้โดยตรงจากโหนดข้อมูล

5. ความสอดคล้องของข้อมูล

ลูกค้าสามารถต่อท้ายไฟล์ที่มีอยู่

เป็นโมเดลการเข้าถึงแบบเขียนครั้งเดียวอ่านจำนวนมาก

6. ส่วนของการจำลองแบบไฟล์และการใช้งาน

ไฟล์สามารถแบ่งในบล็อกหลายโหนดในบล็อกขนาด 128 MB และนำมาใช้ใหม่ได้

7. Meta-Data ในหน่วยความจำ

ข้อมูลเมตาทั้งหมดถูกเก็บไว้ในหน่วยความจำหลัก

Meta-data อยู่ในรายการไฟล์ รายการบล็อก และรายการ data-nodes

บันทึกการทำธุรกรรม มันบันทึกการสร้างไฟล์และการลบไฟล์

8. ความถูกต้องของข้อมูล

ใช้เช็คซัมเพื่อตรวจสอบและแปลงข้อมูล

ลูกค้าคำนวณเช็คซัมต่อ 512 ไบต์ ลูกค้าดึงข้อมูลและเช็คซัมจากโหนด

หากการตรวจสอบล้มเหลว ไคลเอ็นต์สามารถใช้ เรพพลิกาโปร เซสได้

9. กระบวนการวางระบบข้อมูล

ลูกค้าเริ่มขั้นตอนเริ่มต้นของการเขียนจากโหนดแรก

โหนดข้อมูลแรกส่งข้อมูลไปยังโหนดข้อมูลถัดไปไปยังไปป์ไลน์

เมื่อโมเดลทั้งหมดถูกเขียนขึ้น ไคลเอนต์จะไปยังขั้นตอนถัดไปเพื่อเขียนบล็อคถัดไปในไฟล์

สถาปัตยกรรม HDFS

Hadoop Distributed File System (HDFS) มีโครงสร้างเป็นบล็อก สถาปัตยกรรม HDFS ได้รับการอธิบายว่าเป็นสถาปัตยกรรมหลัก/รอง Namenode และ data node ประกอบขึ้นเป็น สถาปัตยกรรม HDFS

  1. Namenode: ทำหน้าที่เป็นเซิร์ฟเวอร์หลักสำหรับจัดการเนมสเปซระบบไฟล์ และยังให้แนวทางการเข้าถึงที่ถูกต้องแก่ลูกค้าอีกด้วย
  • มีโหนดข้อมูลทั้งหมดที่ประกอบด้วยบล็อคข้อมูลสำหรับไฟล์เฉพาะ ด้วยความช่วยเหลือนี้ เมื่อระบบเริ่มทำงาน ระบบจะกู้คืนข้อมูลจากโหนดข้อมูลทุกครั้ง
  • HDFS รวมเอาเนมสเปซวิธีการไฟล์ที่ดำเนินการด้วย Namenode สำหรับการดำเนินการทั่วไป เช่น ไฟล์ "การเปิด การปิด และการเปลี่ยนชื่อ" และแม้แต่สำหรับแค็ตตาล็อก
  1. Datanode: เป็นข้อกำหนดทางเทคนิคที่สองในคลัสเตอร์ HDFS โดยปกติจะใช้งานได้หนึ่งโหนดต่อโหนดในคลัสเตอร์ HDFS
  • DataNodes เป็นวิธีการที่ทำงานเหมือนทาส อยู่ในคอมพิวเตอร์แต่ละเครื่องในโหมดคลัสเตอร์ และใช้ที่เก็บข้อมูลดั้งเดิม พวกเขาให้บริการ อ่าน และเขียนคำขอสำหรับลูกค้า

คำสั่ง HDFS 20 อันดับแรก

นี่คือรายการ คำสั่ง HDFS ทั้งหมด :

1. ในการรับรายการไฟล์ทั้งหมดในไดเร็กทอรีราก HDFS

  • คำสั่ง: การใช้งาน: hdfs dfs [ตัวเลือกทั่วไป] -ls [-c] [-h] [-q] [-R] [-t] [-S] [-u] [<เส้นทาง>…]
  • หมายเหตุ: ที่นี่ เลือกเส้นทางจากรูท เช่นเดียวกับระบบไฟล์ Linux ทั่วไป -h ใน Green Mark แสดงว่าเป็นขนาดที่มนุษย์อ่านได้ ตามที่แนะนำ -R ใน Blue Mark แสดงให้เห็นว่าการฝึกฝนในไดเรกทอรีย่อยนั้นแตกต่างจากหลายๆ ครั้ง

2. ช่วยเหลือ

  • คำสั่ง: fs – help
  • หมายเหตุ: มันพิมพ์เอาต์พุตยาวซึ่งพิมพ์คำสั่งทั้งหมด

3. เชื่อมต่อไฟล์ทั้งหมดลงในแค็ตตาล็อกภายในไฟล์เดียว

  • คำสั่ง: hdfs dfs [ตัวเลือกทั่วไป] -getmerge [-nl] <src> <localdst>
  • หมายเหตุ: การดำเนินการนี้จะสร้างไฟล์ใหม่ในไดเร็กทอรีระบบภายในซึ่งมีไฟล์ทั้งหมดจากไดเร็กทอรีรากและต่อเข้าด้วยกัน -nl ตัวเลือกซึ่งถูกทำเครื่องหมายด้วยสีแดงรวมการขึ้นบรรทัดใหม่ระหว่างไฟล์ ด้วยความช่วยเหลือของคำสั่งนี้ คุณสามารถรวมคอลเลกชันของเรคคอร์ดขนาดเล็กภายในส่วนที่เลือกสำหรับการดำเนินการอื่นได้

4. แสดงการใช้งานดิสก์เป็นเมกะไบต์สำหรับ Register Directory: /dir

  • คำสั่ง: hdfs dfs [ตัวเลือกทั่วไป] -du [-s] [-h] <เส้นทาง> …
  • หมายเหตุ: -h ซึ่งทำเครื่องหมายด้วยสีน้ำเงินจะให้ผลลัพธ์ขนาดที่สามารถอ่านได้ เช่น กิกะไบต์

5. การปรับเปลี่ยนปัจจัยการจำลองแบบสำหรับไฟล์

  • คำสั่ง: hadoop fs -setrep -w 1 /root/journaldev_bigdata/derby. บันทึก
  • หมายเหตุ: ใช้สำหรับปัจจัยการจำลองแบบ ซึ่งนับโดยไฟล์ ซึ่งสามารถจำลองแบบได้ในแต่ละคลัสเตอร์ Hadoop

6. copyFromLocal

  • คำสั่ง: hadoop fs -copyFromLocal derby.log /root/journaldev_bigdata
  • หมายเหตุ: คำสั่งนี้ใช้สำหรับคัดลอกไฟล์จาก Local file System ไปยัง Hadoop FS

7.-rm -r

  • คำสั่ง: hadoop fs -rm -r /root/journaldev_bigdata
  • หมายเหตุ: ด้วยความช่วยเหลือของคำสั่ง rm-r เราสามารถลบไดเร็กทอรี HDFS ทั้งหมดได้

8. ล้างพิษ

  • คำสั่ง: hadoop fs -expunge
  • หมายเหตุ: การล้างข้อมูลนี้ดำเนินการแฟรกเมนต์ว่างเปล่า

9. fs -du

  • คำสั่ง: hadoop fs -du /root/journaldev_bigdata/
  • หมายเหตุ: คำสั่งนี้ช่วยในการใช้ดิสก์ของไฟล์ภายใต้ HDFS ในไดเร็กทอรี

10.mkdir

  • คำสั่ง: hadoop fs -mkdir /root/journaldev_bigdata
  • หมายเหตุ: คำสั่งนี้ใช้สำหรับตรวจสอบความสมบูรณ์ของไฟล์

11.text

  • คำสั่ง: hadoop fs -text <src>
  • หมายเหตุ: คำสั่งนี้ใช้เพื่อแสดงภาพไฟล์ . “sample zip” ในรูปแบบข้อความ

12. สเตตัส

  • คำสั่ง: hadoop fs -stat [format] <path>
  • หมายเหตุ: คำสั่ง stat นี้ใช้เพื่อพิมพ์ข้อมูลเกี่ยวกับไฟล์ 'test' ที่มีอยู่ในไดเร็กทอรี

13. chmod : (การใช้งานคำสั่ง Hadoop chmod)

  • คำสั่ง: hadoop fs -chmod [-R] <mode> <path>
  • หมายเหตุ : คำสั่งนี้ใช้สำหรับเปลี่ยนการอนุญาตไฟล์ใน “testfile”

14. ผนวกToFile

  • คำสั่ง : hadoop fs -appendToFile <localsrc> <dest>
  • หมายเหตุ: คำสั่งนี้สามารถใช้สำหรับการต่อท้าย localfile1, localfile2 ทันทีในระบบไฟล์ในเครื่องลงในไฟล์ที่ระบุเป็น 'appendfile' ในแค็ตตาล็อก
  1. เช็คซัม
  • คำสั่ง: hadoop fs -checksum <src>
  • หมายเหตุ: นี่คือคำสั่งเชลล์ที่ส่งคืนข้อมูลเช็คซัม
  1. นับ
  • คำสั่ง: hadoop fs -count [options] <path>
  • หมายเหตุ : คำสั่งนี้ใช้สำหรับนับจำนวนไฟล์ ไดเร็กทอรี และไบต์จากพาธที่ระบุของไฟล์ที่กำหนด
  1. หา
  • คำสั่ง: hadoop fs -find <path> … <expression>
  • หมายเหตุ: คำสั่งนี้ใช้สำหรับค้นหา ไฟล์ทั้งหมดที่ตรงกับนิพจน์ที่กล่าว ถึง
  1. getmerge
  • คำสั่ง: hadoop fs -getmerge <src> <localdest>
  • หมายเหตุ: คำสั่งนี้ใช้สำหรับ “MergeFile into Local”

19. ทัชซ

  • คำสั่ง : hadoop fs –touchz /directory/filename
  • หมายเหตุ: คำสั่งนี้สร้างไฟล์ใน HDFS โดยมีขนาดไฟล์เท่ากับ 0 ไบต์
  1. fs -ls
  • คำสั่ง : hadoop fs -ls
  • หมายเหตุ: คำสั่งนี้สร้างรายการไฟล์และไดเร็กทอรีย่อยที่พร้อมใช้งานภายใต้ไดเร็กทอรีเริ่มต้น

อ่าน: Hadoop ระบบนิเวศและส่วนประกอบ

บทสรุป

หวังว่าบทความนี้จะช่วยให้คุณเข้าใจ คำสั่ง HDFS เพื่อดำเนินการกับระบบไฟล์ Hadoop บทความนี้ได้อธิบาย คำสั่ง HDFS พื้นฐาน ทั้งหมด

หากคุณสนใจที่จะทราบข้อมูลเพิ่มเติมเกี่ยวกับ Big Data โปรดดูที่ PG Diploma in Software Development Specialization in Big Data program ซึ่งออกแบบมาสำหรับมืออาชีพที่ทำงานและมีกรณีศึกษาและโครงการมากกว่า 7 กรณี ครอบคลุมภาษาและเครื่องมือในการเขียนโปรแกรม 14 รายการ เวิร์กช็อป ความช่วยเหลือด้านการเรียนรู้และจัดหางานอย่างเข้มงวดมากกว่า 400 ชั่วโมงกับบริษัทชั้นนำ

เรียนรู้ หลักสูตรการพัฒนาซอฟต์แวร์ ออนไลน์จากมหาวิทยาลัยชั้นนำของโลก รับโปรแกรม Executive PG โปรแกรมประกาศนียบัตรขั้นสูง หรือโปรแกรมปริญญาโท เพื่อติดตามอาชีพของคุณอย่างรวดเร็ว

ปรมาจารย์ด้านเทคโนโลยีแห่งอนาคต - Big Data

โปรแกรมประกาศนียบัตรขั้นสูงด้าน Big Data จาก IIIT Bangalore