أهم 20 أمرًا لـ HDFS يجب أن تعرفها [2022]

نشرت: 2021-01-01

Hadoop هو هيكل مفتوح المصدر من Apache يتيح المعالجة الموزعة لمجموعات البيانات واسعة النطاق عبر مجموعات من محطات العمل ذات أنماط البرمجة البسيطة. تعمل في بيئة تخزين موزعة مع مجموعات عديدة من أجهزة الكمبيوتر مع أفضل ميزات قابلية التوسع. اقرأ المزيد عن HDFS وهيكلها.

جدول المحتويات

أهداف HDFS

1. يوفر نظام ملفات موزعة على نطاق واسع

10 آلاف عقدة و 100 مليون ملف و 10 بيتابايت

2. تحسين معالجة الدُفعات

يوفر سعة مجمعة شاملة للغاية

3. افترض أجهزة السلع الأساسية

يكتشف فشل الأجهزة ويستعيدها

احتمالات استهلاك الملف الموجود في حالة فشل الجهاز

4. أفضل حل ذكي لذكاء العميل

يمكن للعميل العثور على موقع السقالات

يمكن للعميل الوصول إلى البيانات مباشرة من عقد البيانات

5. اتساق البيانات

يمكن للعميل إلحاق الملفات الموجودة

إنه نموذج الوصول للكتابة مرة واحدة للقراءة عدة مرات

6. قطع من ملف النسخ المتماثل وقابلية الاستخدام

يمكن أن تكون الملفات كسرًا في كتل متعددة العقد في أحجام كتل 128 ميجا بايت وإعادة استخدامها

7. البيانات الوصفية في الذاكرة

يتم تخزين البيانات الوصفية بالكامل في الذاكرة الرئيسية

البيانات الوصفية موجودة في قائمة الملفات وقائمة الكتل وقائمة عقد البيانات

سجلات المعاملات ، تسجل إنشاء الملفات وحذف الملفات

8. صحة البيانات

يستخدم المجموع الاختباري للتحقق من صحة البيانات وتحويلها.

عميلها يحسب المجموع الاختباري لكل 512 بايت. يسترد العميل البيانات ومجموعها الاختباري من العقد

إذا فشلت عمليات التحقق من الصحة ، يمكن للعميل استخدام عملية النسخ المتماثل .

9. عملية ربط خطوط الأنابيب

يبدأ عميله الخطوة الأولى في الكتابة من العقد الأولى

تنقل عقد البيانات الأولى البيانات إلى عقدة البيانات التالية إلى خط الأنابيب

عندما تتم كتابة جميع النماذج ، ينتقل العميل إلى الخطوة التالية لكتابة الكتلة التالية في الملف

هندسة HDFS

نظام الملفات الموزعة Hadoop (HDFS) منظم في كتل. توصف بنية HDFS بأنها رئيسية / تابعة. يشكل Namenode وعقدة البيانات بنية HDFS.

  1. Namenode: يعمل كخادم رئيسي لإدارة مساحة اسم نظام الملفات ويوفر أيضًا طريقة الوصول الصحيحة للعملاء.
  • يوفر جميع عقد البيانات التي تتكون من كتل البيانات لملف معين. بمساعدة هذا ، عندما يبدأ النظام ، فإنه يستعيد البيانات من عقد البيانات في كل مرة.
  • يشتمل HDFS على مساحة اسم طريقة ملف يتم تنفيذها باستخدام Namenode للعمليات الشائعة مثل "فتح الملف وإغلاقه وإعادة تسميته" وحتى للكتالوج.
  1. Datanode: إنها المواصفات التقنية الثانية في مجموعة HDFS. يعمل عادةً واحدًا لكل عقدة في مجموعة HDFS.
  • DataNodes هي الطرق التي تعمل مثل العبيد ، وتبقى على كل كمبيوتر في وضع الكتلة ، وتنفذ التخزين الأصلي. إنهم يخدمون ويقرأون ويكتبون الطلبات للعملاء.

HDFS أهم 20 أمرًا

فيما يلي قائمة بجميع أوامر HDFS :

1. للحصول على قائمة بجميع الملفات الموجودة في الدليل الجذر لـ HDFS

  • الأمر: الاستخدام: hdfs dfs [خيارات عامة] -ls [-c] [-h] [-q] [-R] [-t] [-S] [-u] [<path> ...]
  • ملاحظة: هنا ، اختر المسار من الجذر ، تمامًا مثل نظام ملفات Linux العام. -h باللون الأخضر يُظهر أنه بأحجام يمكن للبشر قراءتها ، على النحو الموصى به. يظهر -R في Blue Mark أنه يختلف عن العديد من التدرب على الدلائل الفرعية.

2. مساعدة

  • الأمر: fs - help
  • ملاحظة: يقوم بطباعة الإخراج الطويل الذي يطبع جميع الأوامر

3. اربط جميع الملفات في كتالوج داخل ملف واحد

  • الأمر: hdfs dfs [خيارات عامة] -getmerge [-nl] <src> <localdst>
  • ملاحظة: سيؤدي هذا إلى إنشاء ملف جديد في دليل النظام المحلي والذي يحمل جميع الملفات من دليل جذر ويتسلسل معًا. يجمع الخيار -nl ، المميز باللون الأحمر ، بين الأسطر الجديدة بين الملفات. بمساعدة هذا الأمر ، يمكنك دمج مجموعة من السجلات الصغيرة ضمن تحديد لعملية مختلفة.

4. اعرض استخدام القرص بالميغابايت في دليل التسجيل: / dir

  • الأمر: hdfs dfs [خيارات عامة] -du [-s] [-h] <مسار> ...
  • ملاحظة: يمنحك الحرف -h المميز باللون الأزرق حجم إخراج مقروء ، أي غيغا بايت.

5. تعديل عامل النسخ لملف

  • الأمر: hadoop fs -setrep -w 1 / root / journalaldev_bigdata / derby. سجل
  • ملاحظة: إنه مخصص لعوامل النسخ ، والتي يتم حسابها بواسطة ملف ، والتي يمكن نسخها في كل مجموعة Hadoop.

6. CopyFromLocal

  • الأمر: hadoop fs -copyFromLocal derby.log / root / journalaldev_bigdata
  • ملاحظة: هذا الأمر مخصص لنسخ ملف من نظام الملفات المحلي إلى Hadoop FS

7.-rm -r

  • الأمر: hadoop fs -rm -r / root / journalaldev_bigdata
  • ملاحظة: بمساعدة الأمر rm-r ، يمكننا إزالة دليل HDFS بأكمله

8. امسح

  • الأمر: hadoop fs -expunge
  • ملاحظة: يؤدي هذا المسح إلى أجزاء فارغة.

9. fs -du

  • الأمر: hadoop fs -du / root / journalaldev_bigdata /
  • ملاحظة: يساعد هذا الأمر على استخدام القرص للملفات الموجودة ضمن HDFS في الدليل.

10- مقدر

  • الأمر: hadoop fs -mkdir / root / journalaldev_bigdata
  • ملاحظة: يستخدم هذا الأمر للتحقق من صحة الملفات.

11. النص

  • الأمر: hadoop fs -text <src>
  • ملاحظة: يستخدم هذا الأمر لتصور ملف "sample zip" بتنسيق نصي.

12. ستات

  • الأمر: hadoop fs -stat [format] <path>
  • ملاحظة: يتم استخدام أمر stat هذا لطباعة المعلومات حول ملف "الاختبار" الموجود في الدليل.

13. chmod: (Hadoop chmod Command Usage)

  • الأمر: hadoop fs -chmod [-R] <mode> <path>
  • ملاحظة : يستخدم هذا الأمر لتغيير إذن الملف على “testfile”.

14. appendToFile

  • الأمر : hadoop fs -appendToFile <localsrc> <dest>
  • ملاحظة: يمكن استخدام هذا الأمر لإلحاق localfile1 ، localfile2 فورًا في نظام الملفات المحلي بالملف المحدد باسم "appendfile" في الكتالوج.
  1. اختباري
  • الأمر: hadoop fs -checksum <src>
  • ملاحظة: هذا هو أمر shell الذي يُرجع معلومات المجموع الاختباري.
  1. عدد
  • الأمر: hadoop fs -count [options] <path>
  • ملاحظة : يستخدم هذا الأمر لحساب عدد الملفات والدلائل والبايت من المسار المحدد للملف المحدد.
  1. يجد
  • الأمر: hadoop fs - ابحث عن <path>… <expression>
  • ملاحظة: يستخدم هذا الأمر للبحث عن جميع الملفات التي تطابق التعبير المذكور .
  1. getmerge
  • الأمر: hadoop fs -getmerge <src> <localdest>
  • ملاحظة: يستخدم هذا الأمر لـ "MergeFile في Local".

19. تاتشز

  • الأمر : hadoop fs –touchz / directory / filename
  • ملاحظة: يقوم هذا الأمر بإنشاء ملف في HDFS بحجم ملف يقابل 0 بايت.
  1. fs -ls
  • الأمر : hadoop fs -ls
  • ملاحظة: يُنشئ هذا الأمر قائمة بالملفات والأدلة الفرعية المتاحة ضمن الدليل الافتراضي.

قراءة: نظام Hadoop البيئي ومكوناته

خاتمة

نأمل أن تساعدك هذه المقالة في فهم أوامر HDFS لتنفيذ العمليات على نظام ملفات Hadoop. وصفت المقالة جميع أوامر HDFS الأساسية .

إذا كنت مهتمًا بمعرفة المزيد عن البيانات الضخمة ، فراجع دبلومة PG في تخصص تطوير البرمجيات في برنامج البيانات الضخمة المصمم للمهنيين العاملين ويوفر أكثر من 7 دراسات حالة ومشاريع ، ويغطي 14 لغة وأدوات برمجة ، وتدريب عملي عملي ورش العمل ، أكثر من 400 ساعة من التعلم الصارم والمساعدة في التوظيف مع الشركات الكبرى.

تعلم دورات تطوير البرمجيات عبر الإنترنت من أفضل الجامعات في العالم. اربح برامج PG التنفيذية أو برامج الشهادات المتقدمة أو برامج الماجستير لتتبع حياتك المهنية بشكل سريع.

إتقان تكنولوجيا المستقبل - البيانات الضخمة

برنامج الشهادة المتقدم في البيانات الضخمة من معهد IIIT بنغالور