บทช่วยสอน ELK Stack สำหรับผู้เริ่มต้น: ทุกสิ่งที่คุณอยากรู้

บทนำ

โลกทุกวันนี้ขับเคลื่อนด้วยข้อมูล ซึ่งหมายความว่า ไม่ว่าจะเป็นการเริ่มต้นขนาดเล็กหรือองค์กรขนาดใหญ่ ข้อมูลจำนวนมหาศาลก็ถูกสร้างขึ้น ข้อมูลธุรกิจ ข้อมูลการขาย ข้อมูลลูกค้า และข้อมูลผลิตภัณฑ์ ข้อมูลเหล่านี้ส่วนใหญ่จัดเก็บไว้ในฐานข้อมูลและเว็บเซิร์ฟเวอร์ ภายในเว็บเซิร์ฟเวอร์ คุณสามารถค้นหาข้อมูลในบันทึกของเว็บเซิร์ฟเวอร์ บันทึกเหล่านี้มีข้อมูลดิบที่ไม่มีโครงสร้างและอาจเข้าใจยาก

เนื่องจากบันทึกเหล่านี้มักถูกละเลยโดยบริษัทขนาดใหญ่ พวกเขาอาจสูญเสียการติดตามข้อมูลอันมีค่าที่สามารถช่วยให้พวกเขาปรับปรุงธุรกิจของตนได้ ดังนั้น การจัดการข้อมูลบันทึกทั้งหมดนี้จึงเป็นสิ่งสำคัญ แต่ การวิเคราะห์บันทึก อาจสร้างปัญหาได้หากไม่มีเครื่องมือที่เหมาะสม

นี่คือที่มาของ ELK Stack

เรียนรู้เกี่ยวกับ: Splunk Vs Elk: คุณควรเลือกอันไหน?

ELK Stack คืออะไร?

ELK Stack เป็นเครื่องมือวิเคราะห์บันทึกที่ทรงพลังที่รวมเครื่องมือสามอย่างเข้าด้วยกัน – Elasticsearch , Logstash และ Kibana เป็นโครงการโอเพนซอร์ซสามโครงการ แต่ร่วมกันนำเสนอโซลูชันการวิเคราะห์แบบ end-to-end สำหรับการค้นหาบันทึก การแสดงภาพ และ การ วิเคราะห์ บันทึกเหล่านี้อาจถูกสร้างขึ้นจากระบบต่างๆ

สแต็คซอฟต์แวร์นี้ช่วยให้คุณนำข้อมูลจากแหล่งและรูปแบบใดก็ได้ จากนั้น คุณสามารถค้นหา วิเคราะห์ และแสดงภาพข้อมูลนี้เพื่อกำหนดรูปแบบได้แบบเรียลไทม์ ด้วยความช่วยเหลือของการบันทึกจากส่วนกลาง คุณสามารถระบุปัญหาของเว็บเซิร์ฟเวอร์และแอปพลิเคชันได้ ซึ่งหมายความว่าคุณสามารถค้นหาบันทึกทั้งหมดได้จากแพลตฟอร์มเดียว นอกจากนี้ยังสามารถตรวจพบปัญหาในหลายเซิร์ฟเวอร์

กวดวิชา ELK Stack: สถาปัตยกรรม

เรามาดูรายละเอียดเกี่ยวกับสถาปัตยกรรม ELK Stack กันดีกว่า ส่วนประกอบมีดังนี้:

Elasticsearch

นี่คือหัวใจของซอฟต์แวร์สแต็คและโดยพื้นฐานแล้วคือฐานข้อมูล NoSQL เปิดตัวในปี 2010 และใช้ เครื่องมือค้นหา Apache Lucene เครื่องมือนี้เข้ารหัสใน Java ซึ่งเป็นโอเพ่นซอร์ส เครื่องมือวิเคราะห์อันทรงพลังนี้ช่วยให้คุณจัดเก็บ วิเคราะห์ และค้นหาข้อมูลบันทึกจำนวนมาก วิธีที่ดีที่สุดในการรับข้อมูลจากการค้นหาใน Elasticsearch คือการใช้ REST API

คุณสมบัติที่สำคัญบางประการ ได้แก่ :

• เก็บข้อมูลไว้ที่ส่วนกลางเพื่อค้นหาได้อย่างรวดเร็ว
• เสนอการสืบค้นข้อมูลขั้นสูง เพื่อการวิเคราะห์ข้อมูลที่ดียิ่งขึ้น
• คุณสามารถใช้มันเพื่อสร้างดัชนีข้อมูลที่ต่างกันได้
• เสนอ การค้นหาแบบ Near Real-Time ซึ่งหมายความว่าคุณสามารถค้นหาเอกสารได้ทันทีหลังจากจัดทำดัชนี คุณจึงสามารถอัปเดตและเพิ่มข้อมูลในเอกสารได้แบบเรียลไทม์
• เสนอการสนับสนุนตำแหน่งทางภูมิศาสตร์และการสนับสนุนหลายภาษา
• ใช้ Multi-document API สำหรับจัดการแต่ละเร็กคอร์ด

องค์ประกอบที่สำคัญบางประการของ Elasticsearch ได้แก่:

• ดัชนี – เป็นพาร์ติชั่นลอจิคัลของเอกสารที่มีลักษณะคล้ายกัน
• โหนด –นี่คืออินสแตนซ์ Elasticsearch
• Shard – ดัชนีสามารถแบ่งออกเป็นส่วนย่อยแนวนอนหรือชิ้น
• เอกสาร – ออบเจ็กต์ JSON ที่เป็นหน่วยเก็บข้อมูลและจัดเก็บไว้ในดัชนี Elasticsearch
• คลัสเตอร์ – ชุดของโหนด

อ่าน: การวิเคราะห์ข้อมูล 4 ประเภทเพื่อปรับปรุงการตัดสินใจทางธุรกิจ

Logstash

นี่คือเครื่องมือที่ดึงข้อมูลอินพุตและจัดเตรียมให้กับการค้นหา Elastic ในขั้นต้น ใช้สำหรับรวบรวมและสตรีมข้อมูลปริมาณมากจากแหล่งข้อมูลต่างๆ ต่อมาถูกรวมไว้ใน ELK Stack จากนั้นจึงประมวลผลข้อความบันทึก ปรับปรุงและส่งไปยังปลายทาง

Logstash ทำให้ข้อมูลที่รวบรวมพร้อมใช้งานต่อไป นอกจากนี้ยังช่วยล้างข้อมูลเพื่อใช้งานต่อไปและสามารถรองรับประเภทข้อมูลจำนวนมากได้ มีระบบนิเวศของปลั๊กอินขนาดใหญ่สำหรับ Logstash คุณสามารถเพิ่มคุณลักษณะต่างๆ ได้ ปลั๊กอินยอดนิยมบางตัว ได้แก่ Github, file, exec, heartbeat, http และ iMac

มีส่วนประกอบสำคัญ 3 ส่วนคือ

ป้อนข้อมูล

ใช้สำหรับส่งบันทึกสำหรับการประมวลผลเพื่อให้เครื่องสามารถเข้าใจได้ มีปลั๊กอินอินพุตมากกว่า 50 รายการสำหรับรวบรวมและประมวลผลข้อมูลจากฐานข้อมูลและแอปพลิเคชัน

เอาท์พุต

ประกอบด้วยข้อมูลอินพุตสำหรับฟิลด์ข้อความ นี่ถือเป็นผู้ตัดสินใจสำหรับบันทึกที่ได้รับการประมวลผลแล้ว

ตัวกรอง

เงื่อนไขเหล่านี้เป็นเงื่อนไขที่ใช้สำหรับการดำเนินการหรือเหตุการณ์ เหตุการณ์ได้รับการจัดการโดยใช้คิวภายใน

คิบานะ

นี่คือเครื่องมือที่ใช้สำหรับการแสดงข้อมูลเป็นภาพใน ELK Stack คุณสามารถใช้สิ่งนี้เพื่อค้นหาดัชนี Elasticsearch และเป็นอินเทอร์เฟซที่เรียบง่ายซึ่งใช้เบราว์เซอร์ เมื่อใช้วิธีนี้ คุณจะสำรวจข้อมูลปริมาณมากได้ มีแดชบอร์ดที่ครอบคลุมซึ่งมีคุณสมบัติมากมาย เช่น กราฟ ข้อมูลเชิงพื้นที่ และไดอะแกรม Kibana สามารถใช้ในการค้นหา โต้ตอบ และดูข้อมูล Elasticseach ที่อยู่ในดัชนีได้ เรียนรู้เพิ่มเติมเกี่ยวกับการแสดงข้อมูลเป็นภาพ

คุณสมบัติที่สำคัญของ Kibana มีดังนี้:

• ทำงานบน Windows, Mac และ Linux
• นำเสนอ การแสดงข้อมูลที่จัดทำดัชนีตามเวลาจริง
• สิ่งนี้ทำงานบน Node.js และคุณจะได้รับแพ็คเกจที่จำเป็นพร้อมกับแพ็คเกจการติดตั้ง
• สามารถพรรณนาข้อมูลทางประวัติศาสตร์โดยใช้แผนภูมิและกราฟ
• คุณสามารถพัฒนาและบันทึกกราฟของคุณเองได้

เต้น

องค์ประกอบอื่นของสถาปัตยกรรม ELK คือ Beats เป็นชุดของ ผู้ส่งบันทึก ที่ติดตั้งบนเซิร์ฟเวอร์เพื่อดึงข้อมูลเมตริกและบันทึกข้อมูล มีการเข้ารหัสในภาษาโปรแกรม Go และเป็นเครื่องมือที่มีน้ำหนักเบา Beats ประเภทต่างๆ ได้แก่:

• Filebeat: รวบรวมไฟล์บันทึก
• Packetbeat: รวบรวมข้อมูลเครือข่าย
• Metricbeat: รวบรวมบริการและระบบเมตริก
• Winlogbeat: ใช้สำหรับรวบรวมไฟล์บันทึกเหตุการณ์ของ Windows

บทช่วยสอน ELK Stack: การติดตั้ง

ตอนนี้เรามาถึงส่วนสุดท้ายของ บทช่วย สอน ELK Stack แล้ว ให้เราดูขั้นตอนที่จำเป็นสำหรับการติดตั้ง ELK Stack

• เยี่ยมชมเว็บไซต์อย่างเป็นทางการของ ELK Stack – https://www.elastic.co/downloads
• คลิกเพื่อดาวน์โหลด Elasticsearch
• จากนั้นคลิกเพื่อดาวน์โหลด Logstash
• หลังจากนั้นให้ดาวน์โหลด Kibana
• คุณจะได้รับสามโฟลเดอร์ซิป เปิดเครื่องรูดและทำตามคำแนะนำบนเว็บไซต์ทางการเพื่อดาวน์โหลดทีละรายการ

บทสรุป

ELK Stack ถูกใช้โดยบริษัทที่มีชื่อเสียงทั่วโลก เช่น Netflix, Medium และ LinkedIn เพื่อจัดการข้อมูลบันทึกของพวกเขา เนื่องจากเครื่องมือนี้ทำงานได้ดีในขณะที่รวบรวมข้อมูลจากแอปพลิเคชันต่างๆ และรวมเข้าเป็นอินสแตนซ์เดียว นอกจากนี้ยังมีประโยชน์มากในการปรับขนาดแนวตั้งและแนวนอน นอกจากนี้ยังรองรับหลายภาษาเช่น Python, Java, Perl และ Ruby

ดังนั้น หากคุณเป็นเจ้าของธุรกิจที่ประสบปัญหาในการจัดการข้อมูลบันทึก ELK คือคำตอบ เพื่อทำความเข้าใจพื้นฐาน ให้เก็บ บทช่วย สอน ELK Stack นี้ไว้ใกล้มือ

หากคุณสนใจที่จะเรียนรู้เพิ่มเติมเกี่ยวกับบิ๊กดาต้า โปรดดูประกาศนียบัตร PG ของ upGrad & IIIT-B ด้านการพัฒนาซอฟต์แวร์แบบครบวงจร ซึ่งออกแบบมาสำหรับมืออาชีพที่ทำงานและมีการฝึกอบรมที่เข้มงวดมากกว่า 500 ชั่วโมง โครงการและการมอบหมายมากกว่า 9 รายการ IIIT- สถานะศิษย์เก่า B, โครงการหลักที่นำไปปฏิบัติได้จริง & ความช่วยเหลือด้านงานกับบริษัทชั้นนำ