ELK Stack دروس للمبتدئين: كل ما تريد أن تعرفه

مقدمة

يعتمد العالم اليوم على البيانات مما يعني أنه سواء كانت شركة صغيرة أو شركة كبيرة ، يتم إنتاج كمية هائلة من البيانات. يتم تخزين بيانات الأعمال وبيانات المبيعات وبيانات العملاء وبيانات المنتج ، ويتم تخزين الكثير من هذه البيانات في قواعد البيانات وخوادم الويب. داخل خوادم الويب ، يمكنك العثور على البيانات في سجلات خادم الويب. تحتوي هذه السجلات على بيانات أولية غير منظمة وقد يصعب فهمها.

نظرًا لأن هذه السجلات عادةً ما تتجاهلها الشركات الكبيرة ، فقد تفقد مسار المعلومات القيمة التي يمكن أن تساعدها في تعزيز أعمالها. وبالتالي ، من المهم التعامل مع كل بيانات السجل هذه. لكن تحليل السجل يمكن أن يكون مزعجًا بدون أداة مناسبة.

هنا يأتي دور ELK Stack.

تعرف على المزيد حول: Splunk Vs Elk: أيهما يجب أن تختار؟

ما هو ELK Stack؟

ELK Stack هي أداة قوية لتحليل السجلات وهي عبارة عن مزيج من ثلاث أدوات - Elasticsearch و Logstash و Kibana . إنها ثلاثة مشاريع مفتوحة المصدر ، لكنها تقدم معًا حل تحليل شامل للبحث في السجل وتصوره وتحليله . قد يتم إنشاء هذه السجلات من أنظمة مختلفة.

تساعدك حزمة البرامج هذه على أخذ البيانات من أي مصدر وتنسيق. يمكنك بعد ذلك إجراء البحث عن هذه البيانات وتحليلها وتصورها لتحديد الأنماط في الوقت الفعلي. بمساعدة التسجيل المركزي ، يمكنك تحديد مشاكل خادم الويب والتطبيقات. هذا يعني أنه يمكنك البحث عن جميع السجلات من منصة واحدة. يمكن أيضًا اكتشاف المشكلات في خوادم متعددة.

ELK Stack Tutorial: Architecture

دعونا نلقي نظرة فاحصة على بنية ELK Stack. المكونات كالتالي:

Elasticsearch

هذا هو قلب مكدس البرامج وهو أساسًا قاعدة بيانات NoSQL. تم إطلاقه في عام 2010 ويستند إلى محرك البحث Apache Lucene . هذه الأداة ، المشفرة في Java ، مفتوحة المصدر. يسمح لك محرك التحليلات القوي هذا بتخزين وتحليل وبحث أجزاء ضخمة من بيانات السجل. أفضل طريقة للحصول على البيانات من البحث في Elasticsearch هي باستخدام REST API الخاص بها.

بعض ميزاته الهامة هي:

• يخزن البيانات مركزيًا للبحث عنها بسرعة
• يقدم استعلامات متقدمة لتحليل البيانات بشكل أفضل
• يمكنك استخدامه لفهرسة البيانات غير المتجانسة
• يوفر البحث في الوقت الفعلي القريب ، مما يعني أنه يمكنك العثور على المستندات بعد فهرستها مباشرةً. لذلك ، يمكنك تحديث وإضافة المزيد من البيانات إلى المستندات في الوقت الفعلي.
• يقدم دعم تحديد الموقع الجغرافي ودعم متعدد اللغات
• استخدم واجهات برمجة التطبيقات متعددة المستندات للتعامل مع السجلات الفردية

بعض المكونات الهامة للبحث المرن هي:

• الفهرس - هي أقسام منطقية من المستندات لها خصائص متشابهة
• العقدة - هذا مثيل Elasticsearch
• Shard - يمكن تقسيم المؤشرات إلى شظايا أو قطع أفقية
• المستند - كائنات JSON التي هي وحدات تخزين ويتم تخزينها في فهرس Elasticsearch
• الكتلة - مجموعة من العقد

قراءة: 4 أنواع من تحليلات البيانات لتحسين قرار الأعمال

لوغستاش

هذه أداة تجلب مدخلات البيانات وتوفرها للبحث المرن. في البداية ، تم استخدامه لجمع وتدفق كميات كبيرة من البيانات من مصادر بيانات مختلفة. في وقت لاحق ، تم تضمينه في ELK Stack ، ثم قام بمعالجة رسائل السجل وتعزيزها وإرسالها إلى الوجهة.

يجعل Logstash البيانات التي تم جمعها متاحة لاستخدامها بشكل أكبر. كما أنه يساعد في تنظيف البيانات لاستخدامها لاحقًا ويمكن أن يدعم مجموعة كبيرة من أنواع البيانات. هناك نظام بيئي ضخم من المكونات الإضافية لـ Logstash ، يمكنك تحسين ميزاته. تتضمن بعض المكونات الإضافية الشائعة Github و file و exec و heartbeat و http و iMac.

تتكون من 3 مكونات رئيسية:

إدخال

يستخدم هذا لتمرير السجلات للمعالجة بحيث يمكن للجهاز فهمها. هناك أكثر من 50 ملحق إدخال لجمع البيانات ومعالجتها من قواعد البيانات والتطبيقات.

انتاج |

يتكون هذا من بيانات الإدخال لحقل الرسالة. يعتبر هذا هو صانع القرار للسجل الذي تمت معالجته بالفعل.

المرشحات

هذه هي الشروط التي يتم استخدامها لتنفيذ إجراء أو حدث. يتم التعامل مع الأحداث باستخدام قوائم الانتظار الداخلية.

كيبانا

هذه هي الأداة المستخدمة لتصور البيانات في ELK Stack. يمكنك استخدام هذا للبحث عن مؤشرات Elasticsearch وهي واجهة بسيطة تعتمد على المتصفح. باستخدام هذا ، يمكنك استكشاف كميات كبيرة من البيانات. يحتوي على لوحة معلومات شاملة تحتوي على العديد من الميزات مثل الرسوم البيانية والبيانات الجغرافية والمخططات. يمكن استخدام Kibana للبحث عن بيانات Elasticseach الموجودة في المؤشرات والتفاعل معها وعرضها. تعرف على المزيد حول تصور البيانات.

الميزات الهامة لـ Kibana هي كما يلي:

• يعمل على أنظمة التشغيل Windows و Mac و Linux
• يقدم تصورًا في الوقت الفعلي للبيانات المفهرسة
• يتم تشغيل هذا على Node.js وستحصل على الحزم الضرورية مع حزمة التثبيت
• يمكنه تصوير المعلومات التاريخية باستخدام المخططات والرسوم البيانية
• يمكنك تطوير وحفظ الرسوم البيانية الخاصة بك

يدق

عنصر آخر في بنية ELK هو Beats. هم مجموعة من شركات الشحن التي يتم تثبيتها على خوادم لجلب المقاييس وسجلات البيانات. تم ترميزه في لغة برمجة Go وهو أداة خفيفة الوزن. بعض أنواع Beats المختلفة هي:

• Filebeat: يجمع ملفات السجل
• Packetbeat: يجمع بيانات الشبكة
• Metricbeat: يجمع مقاييس الخدمة والنظام
• Winlogbeat: يتم استخدامه لتجميع ملفات سجل أحداث Windows

ELK Stack تعليمي: التثبيت

الآن ، وصلنا إلى القسم الأخير من البرنامج التعليمي ELK Stack . دعونا نرى الخطوات المطلوبة لتثبيت ELK Stack.

• قم بزيارة الموقع الرسمي لـ ELK Stack - https://www.elastic.co/downloads
• انقر لتنزيل Elasticsearch
• ثم ، انقر لتنزيل Logstash
• بعد ذلك قم بتنزيل Kibana
• ستحصل على ثلاثة مجلدات مضغوطة. قم بفك ضغطها واتبع التعليمات الموجودة على الموقع الرسمي لتنزيلها بشكل فردي.

خاتمة

يتم استخدام ELK Stack من قبل الشركات الشهيرة في جميع أنحاء العالم مثل Netflix و Medium و LinkedIn للتعامل مع بيانات السجل الخاصة بهم. هذا لأن الأداة تعمل بشكل رائع أثناء جمع البيانات من تطبيقات مختلفة وتقريبها في مثيل واحد. كما أنه مفيد جدًا في القياس الرأسي والأفقي. علاوة على ذلك ، فهو يدعم لغات متعددة مثل Python و Java و Perl و Ruby.

لذلك ، إذا كنت صاحب عمل تكافح للتعامل مع بيانات السجل الخاصة بك ، فإن ELK هو الحل. لفهم الأساسيات ، احتفظ بهذا البرنامج التعليمي ELK Stack في متناول يديك.

إذا كنت مهتمًا بمعرفة المزيد عن البيانات الضخمة ، فراجع دبلوم PG الخاص بـ upGrad & IIIT-B في تطوير البرامج الكامل المكدس المصمم للمهنيين العاملين ويقدم أكثر من 500 ساعة من التدريب الصارم ، وأكثر من 9 مشاريع ومهام ، IIIT- حالة الخريجين B ، ومشاريع التخرج العملية العملية والمساعدة في العمل مع الشركات الكبرى.