Hive vs Spark: الفرق بين Hive و Spark [2022]

أصبحت البيانات الضخمة جزءًا لا يتجزأ من أي منظمة. نظرًا لأن المزيد من المؤسسات تنشئ منتجات تربطنا بالعالم ، فإن كمية البيانات التي يتم إنشاؤها كل يوم تزداد بسرعة. يوجد أكثر من 4.4 مليار مستخدم للإنترنت حول العالم ويبلغ متوسط ​​البيانات التي تم إنشاؤها أكثر من 2.5 كوينتيليون بايت لكل شخص في يوم واحد. ولمعلوماتك ، هناك 18 صفراً في الكوينتيليون.

ستزداد هذه الأرقام بشكل كبير ، إن لم يكن أكثر ، في السنوات القادمة. لتحليل هذا الجزء الضخم من البيانات ، من الضروري استخدام أدوات عالية الكفاءة في الطاقة والسرعة. تعد Apache Hive و Apache Spark واحدة من أكثر الأدوات استخدامًا لمعالجة وتحليل مجموعات البيانات المقاسة إلى حد كبير. كلتا الأداتين مفتوحة المصدر للعالم ، بفضل الأعمال العظيمة لمؤسسة Apache Software Foundation.

اباتشي خلية

Apache Hive عبارة عن نظام أساسي لمستودع البيانات يوفر قراءة وكتابة وإدارة مجموعات البيانات الكبيرة التي يتم تخزينها في HDFS (نظام الملفات الموزعة Hadoop) وقواعد البيانات المختلفة التي يمكن دمجها مع Hadoop. إنه مبني على أعلى Hadoop ويوفر لغة استعلام تشبه SQL تسمى HQL أو HiveQL لاستعلام البيانات وتحليلها. يقوم بتحويل الاستعلامات إلى وظائف Map-Red أو Spark مما يزيد من الكفاءة الزمنية للنتائج. تعرف على المزيد حول خلية اباتشي.

ميزات الخلية

• بيئة سريعة وقابلة للتطوير وسهلة الاستخدام.
• Hadoop كمحرك التخزين الخاص به.
• لغة استعلام تشبه SQL تسمى HQL (لغة استعلام Hive).
• يمكن استخدامها لأنظمة OLAP (المعالجة التحليلية عبر الإنترنت).
• يدعم قواعد البيانات وأنظمة الملفات التي يمكن دمجها مع Hadoop.
• يدعم أنواعًا مختلفة من التخزين مثل Hbase و ORC وما إلى ذلك.

حدود الخلية

• ليست مثالية لأنظمة OLTP (معالجة المعاملات عبر الإنترنت).
• لا يدعم تحديث وحذف البيانات. على الرغم من أنه يدعم الكتابة فوق البيانات وفهمها.
• الاستعلامات الفرعية غير مدعومة في Hive.
• لا يدعم البيانات غير المهيكلة.

قراءة: إجابات أسئلة مقابلة الخلية الأساسية

اباتشي سبارك

يعد Apache Spark إطار عمل تحليليًا لمعالجة البيانات على نطاق واسع. يوفر واجهات برمجة تطبيقات عالية المستوى بلغات برمجة مختلفة مثل Java و Python و Scala و R لتسهيل استخدام وظائفه. كما أنه يدعم أدوات عالية المستوى مثل Spark SQL (لمعالجة البيانات المنظمة باستخدام SQL) ، و GraphX ​​(لمعالجة الرسوم البيانية) ، و MLlib (لتطبيق خوارزميات التعلم الآلي) ، والتدفق المهيكل (لمعالجة بيانات التدفق).

يمكن أن تعمل تطبيقات Spark أسرع بما يصل إلى 100 مرة من حيث الذاكرة وأسرع 10 مرات من حيث سرعة حساب القرص من Hadoop. يحقق هذا الأداء العالي من خلال إجراء عمليات وسيطة في الذاكرة نفسها ، وبالتالي تقليل عدد عمليات القراءة والكتابة على القرص.

ميزات Spark

• وظائف سهلة الاستخدام وسهلة المطورين.
• سرعة معالجة فائقة السرعة.
• دعم المكتبات المختلفة مثل GraphX ​​(معالجة الرسم البياني) و MLlib (التعلم الآلي) و SQL و Spark Streaming وما إلى ذلك.
• قابلية عالية للتوسع.
• دعم لغات متعددة مثل Python و R و Java و Scala.

حدود سبارك

• لا توجد عملية تحسين الكود التلقائي.
• عدم وجود نظام إدارة الملفات الخاص بها.
• عدد أقل من الخوارزميات في MLlib.
• يدعم معايير النافذة المستندة إلى الوقت فقط في Spark Streaming وليس معايير النافذة المستندة إلى السجل.
• استهلاك عالي للذاكرة لتنفيذ عمليات في الذاكرة.

اقرأ أيضًا: مواضيع وأفكار مشروع سبارك

الاختلافات بين Apache Hive و Apache Spark

1. الاستعمال : - Hive عبارة عن منصة مستودع بيانات موزعة يمكنها تخزين البيانات في شكل جداول مثل قواعد البيانات العلائقية بينما Spark عبارة عن منصة تحليلية تُستخدم لإجراء تحليلات البيانات المعقدة على البيانات الضخمة.
2. نظام إدارة الملفات : - يحتوي Hive على HDFS كنظام إدارة الملفات الافتراضي الخاص به بينما لا يأتي Spark مع نظام إدارة الملفات الخاص به. يجب أن تعتمد على FMS مختلفة مثل Hadoop و Amazon S3 وما إلى ذلك.
3. التوافق اللغوي : - يستخدم Apache Hive HiveQL لاستخراج البيانات. يدعم Apache Spark لغات متعددة لغرضه.
4. السرعة : - العمليات في Hive أبطأ من Apache Spark من حيث الذاكرة ومعالجة القرص حيث يعمل Hive أعلى Hadoop.
5. عمليات القراءة / الكتابة : - عدد عمليات القراءة / الكتابة في الخلية أكبر من عدد عمليات القراءة / الكتابة في Apache Spark. وذلك لأن Spark تؤدي عملياتها الوسيطة في الذاكرة نفسها.
6. استهلاك الذاكرة : - يعد Spark غالي الثمن من حيث الذاكرة مقارنة بـ Hive بسبب معالجته في الذاكرة.
7. المطور : - تم تطوير Apache Hive في البداية بواسطة Facebook ، والذي تم التبرع به لاحقًا لمؤسسة Apache Software Foundation. تم تطوير Apache Spark وصيانتها بواسطة Apache Software Foundation.
8. الوظائف : - يستخدم Apache Hive لإدارة مجموعات البيانات الكبيرة باستخدام HiveQL. لا يدعم أي وظائف أخرى. يوفر Apache Spark مكتبات متعددة لمهام مختلفة مثل معالجة الرسم البياني وخوارزميات التعلم الآلي ومعالجة الدفق وما إلى ذلك.
9. الإصدار الأولي : - تم إصدار Hive في البداية في عام 2010 بينما تم إصدار Spark في عام 2014.

خاتمة

تعد Apache Spark و Apache Hive أدوات أساسية للبيانات الضخمة والتحليلات. توفر Apache Hive وظائف مثل استخراج البيانات وتحليلها باستخدام استعلامات تشبه SQL. يعد Apache Spark بديلاً رائعًا لتحليلات البيانات الضخمة والأداء عالي السرعة.

كما أنه يدعم لغات برمجة متعددة ويوفر مكتبات مختلفة لأداء مهام مختلفة. كل من الأدوات لها مزاياها وعيوبها المذكورة أعلاه. يعتمد ذلك على أهداف المنظمات سواء لتحديد Hive أو Spark.

نظرًا لأن Spark مكلفة للغاية للذاكرة ، فإنها ستزيد من تكاليف الأجهزة لإجراء التحليل. ستكون الخلية مكلفة مؤقتًا إذا كانت مجموعات البيانات ضخمة للتحليل. نظرًا لأن كلتا الأداتين مفتوحة المصدر ، فستعتمد على مجموعات مهارات المطورين لتحقيق أقصى استفادة منها.

إذا كنت مهتمًا بمعرفة المزيد عن البيانات الضخمة ، فراجع دبلومة PG في تخصص تطوير البرمجيات في برنامج البيانات الضخمة المصمم للمهنيين العاملين ويوفر أكثر من 7 دراسات حالة ومشاريع ، ويغطي 14 لغة وأدوات برمجة ، وتدريب عملي عملي ورش العمل ، أكثر من 400 ساعة من التعلم الصارم والمساعدة في التوظيف مع الشركات الكبرى.

تعلم دورات تطوير البرمجيات عبر الإنترنت من أفضل الجامعات في العالم. اربح برامج PG التنفيذية أو برامج الشهادات المتقدمة أو برامج الماجستير لتتبع حياتك المهنية بشكل سريع.