Hadoop İplik Mimarisi Nedir ve Bileşenleri

Hadoop İPLİK Giriş

YARN, Hadoop v2.0'ın ana bileşenidir. YARN, HDFS'de depolanan toplu işleme, akış işleme, etkileşimli işleme ve grafik işleme için verilerin işlenmesine ve çalıştırılmasına izin vererek Hadoop'un açılmasına yardımcı olur. Bu sayede MapReduce dışında farklı türde dağıtılmış uygulamaların çalıştırılmasına yardımcı olur.

YARN mimarisinde işleme katmanı, kaynak yönetimi katmanından ayrılır. Uygulama yöneticisi ve kaynak yöneticisi arasında bir ayrım oluşturmak, Hadoop 1.0 sürümünde İş izleyicinin sorumluluğundaydı. YARN, HDFS'de (Hadoop Dağıtılmış Dosya Sistemi) depolanan verilerin toplu işleme, akış işleme, etkileşimli işleme, grafik işleme ve çok daha fazlası gibi çeşitli veri işleme motorları tarafından işlenmesine ve çalıştırılmasına olanak tanır. Böylece İPLİK kullanımı ile sistemin verimi arttırılmaktadır. Uygulamanın işlenmesi, farklı bileşenleri aracılığıyla YARN'da planlanmıştır. Optimum kullanım için birçok farklı türde kaynak da aşamalı olarak tahsis edilir. YARN, yüksek hacimli verilerin işlenmesi için çok gerekli olan mevcut kaynakların doğru kullanımında çok yardımcı olur.

Neden İPLİK?

MapReduce, Kaynak Yönetimi ve İşleme işlevlerini yerine getirir. Hadoop v1.0, MapReduce Sürüm 1 (MRV1) olarak da bilinir. Job Tracker için sadece tek bir master vardı.

Hadoop'un önceki sürümünde, MapReduce sürüm 1 (MRV1) olarak da bilinen Hadoop sürüm 1.0, hem süreç görevini hem de kaynak yönetimini kendi başına gerçekleştirmek için kullanılır. Her şeyden sorumlu bir iş takip modülüne sahiptir. Bu nedenle, uygulamalar için kaynakları tahsis eden, talep için çizelgeleme gerçekleştiren ve ayrıca sistemdeki işleme işlerini izleyen tek yöneticidir. Hadoop sürüm 1.0, görevleri azaltır ve Görev İzleyiciler olarak adlandırılan çeşitli alt süreçlere haritalar atar. Task Tracker ayrıca süreçlerin ilerlemesini periyodik olarak raporlar. Ancak asıl mesele bu değil, sorun herkes için tek bir master tasarımının darboğaz sorununa yol açması. Ayrıca, hesaplamalı kaynak kullanımı verimsizdi. Böylece ölçeklenebilirlik, Hadoop'un bu sürümüyle ilgili bir sorun haline geldi. Ancak işin iyi tarafı, bu sorun, 2012 yılında Yahoo ve Hortonworks tarafından tanıtılan Hadoop sürüm 2.0'ın halefi olan hayati bir temel bileşen olan YARN tarafından çözüldü. Bu rahatlamanın arkasındaki temel fikir, MapReduce'u tek bir master yerine Kaynak Yönetimi ve İş planlamadan ayırmaktır. Böylece, YARN artık İş planlamasından ve Kaynak Yönetiminden sorumludur.

Hadoop 2.0'da Application Master ve Resource Manager kavramı YARN tarafından tanıtıldı. Hadoop kümesi genelinde, kaynakların kullanımı Kaynak Yöneticisi tarafından izlenir.

YARN'ın çok ünlü olması nedeniyle bazı özellikleri vardır, bunlar:

1. Çoklu kiralama: YARN, toplu işleme motoru, akış işleme motoru, etkileşimli işleme motoru, grafik işleme motoru ve çok daha fazlası gibi birden çok veri işleme motoruna erişime izin verdi. Bu, şirkete çoklu kiracılık avantajı sağlamıştır.
2. Küme Kullanımı: Kümeler YARN yardımıyla Hadoop'ta dinamik olarak kullanıldığı için kümeler optimize bir şekilde kullanılır.
3. Uyumluluk : YARN, mevcut harita küçültme uygulamalarını kullandığından, Hadoop'un ilk sürümü olan Hadoop 1.0 ile de uyumludur. Yani YARN, Hadoop 1.0 ile de kullanılabilir.
4. Ölçeklenebilirlik : YARN Kaynak Yöneticisi'ndeki zamanlayıcı tarafından binlerce küme ve düğümün Hadoop tarafından yönetilmesine ve genişletilmesine izin verilir.

İPLİK Bileşenleri

• Konteyner:

Kapsayıcıda, tek bir düğümdeki disk, CPU çekirdekleri, RAM gibi fiziksel kaynaklar bulunabilir. Kapsayıcı Başlatma Bağlamı (CLC), kapsayıcıları çağırmak için kullanılır. Konteyner Başlatma Bağlamı (CLC) olarak bilinen bir kayıt olarak tutulan bağımlılıklar, güvenlik belirteçleri, ortam değişkenleri hakkındaki veriler.

1. Belirli bir ana bilgisayarda, bir uygulama yalnızca CPU ve Bellekten belirtilen belleği kullanabilir. Belirtilen bu bellek miktarı ancak Kapsayıcı tarafından izin verildikten sonra kullanılabilir.
2. Container Launch Context, YARN Container'larını yönetmek için kullanılır. Aynı zamanda Container LifeCycle (CLC) olarak da adlandırılır. İşlemin oluşturulması için gerekli komutlar bu kayıtta saklanır. Ayrıca Düğüm Yöneticisi hizmetleri, güvenlik belirteçleri, bağımlılıklar, ortam değişkenlerinin haritası için yükü kaydeder.

• Uygulama Ustası:

Bir çerçevede, tek bir iş gönderildiğinde buna başvuru denir. Başvuru ilerlemesini izlemek, başvuru durumunu izlemek, kaynak yöneticisi ile kaynakların müzakere edilmesi uygulama yöneticisinin sorumluluğundadır. Bir uygulamanın çalıştırılması için gereken tüm gereksinimler, Container Launch Context (CLC) gönderilerek yapılır. Uygulama yöneticisi, düğüm yöneticisinden Kapsayıcıyı isteyerek kapsayıcı Başlatma İçeriğini (CLC) gönderir. Uygulama başladıktan sonra zaman zaman kaynak yöneticisi bir sağlık raporu alır.

• Düğüm Yöneticisi:

Düğüm yöneticisi, Hadoop kümesindeki ayrı düğümlerle ilgilenir ve ayrıca her bir belirli düğümle ilgili kapsayıcıları yönetir. Kaynak Yöneticisine kaydedilir ve her düğümün sağlık durumunu, düğüm işleminin kaynakla çalışmayı bitirip bitirmediğini belirterek Kaynak Yöneticisine gönderir. Birincil amacı, kaynak yöneticisi tarafından atanan her bir belirli düğüm kapsayıcısını yönetmektir. Düğüm yöneticisi ayrıca Uygulama yöneticisi tarafından istendiğinde bir kapsayıcı işlemi oluşturur. Uygulama yöneticisi, bir uygulamanın yürütmek için ihtiyaç duyduğu her şeyi içeren bir CLC (Kapsayıcı Başlatma İçeriği) ile düğüm yöneticisinden ekli Kapsayıcıyı gönderip istediğinde. Ardından düğüm yöneticisi, istenen işlem kapsayıcısını oluşturur ve çalıştırır. Düğüm yöneticisi ayrıca bireysel Kapsayıcı tarafından kaynak kullanımını izlemekten ve bunu Kaynak yöneticisine bildirmekten sorumludur. Böylece düğüm yöneticisi ve kaynak yöneticisi, düğümler arasında iletişim kurmak ve kümedeki her düğüm tarafından kaynak kullanımını yönetmek için işbirliği yapar. Kaynak yöneticisi tarafından yönlendirilirse kapsayıcıları da öldürebilir. Son olarak, düğüm yöneticileri, içindeki günlük yönetim sistemi tarafından her şeyi günlüğe kaydeder.

Belirli bir düğüm, Düğüm Yöneticisi tarafından halledilir. Düğüm Yöneticisi, düğümün iş akışını ve uygulamasını yönetir. Günlük yönetimi gerçekleştirilir ve Düğüm Yöneticisi kaynak kullanımını izler. Kaynak yöneticisi, Düğüm Yöneticisine bir kapsayıcıyı öldürmek için talimatlar verir. Uygulama yöneticisi, Düğüm yöneticisinden kapsayıcı işlemini başlatmasını ister. Bir kapsayıcı işleminin oluşturulması, Düğüm Yöneticisinin sorumluluğundadır.

• Kaynak Yöneticisi:

Kaynak yönetimi ve tüm uygulamaların atanması, Kaynak Yöneticisinin sorumluluğundadır ve YARN'ın ana arka plan programıdır. Kaynak yöneticisi tarafından alınan istekler, ilgili düğüm yöneticisine iletilir. Uygulamaya göre, kaynaklar tamamlanmak üzere kaynak yöneticisi tarafından tahsis edilir.

1. SLA'lar, adalet ve kapasite garantileri gibi farklı türdeki sınırlamalara karşı tüm kaynakların kullanımını aktif tutmak gibi Küme kullanımı optimize edilmiştir.
2. Kaynak Yöneticisi, mevcut kaynakların tahsisini yapar.
3. Kaynak Yöneticisi, küme kaynaklarını yönetir.
4. İsteklerin fiili işlenmesi düğümlerde gerçekleşir ve düğüm yöneticileri bunu yönetir. Herhangi bir işleme talebi alındığında, talepleri kısmen ilgili düğüm yöneticilerine aktarır.
5. Kaynak Yöneticisi, kaynakların tahsisi için en yüksek yetkilidir.

Kaynak Yöneticisinin iki ana bileşeni vardır: –

• Uygulama Yöneticisi -

Uygulama yöneticisi, gönderilen bir dizi görev veya uygulamayı yönetmekten sorumludur. Öncelikle sunulan başvurunun özelliklerini doğrular ve onaylar ve yeterli kaynak yoksa başvuruları reddedebilir. Ayrıca, hatalı veya kötü niyetli bir istemciden kaynaklanabilecek, önceden gönderilmiş olan aynı kimliğe sahip başka bir uygulamanın bulunmadığını da garanti eder. Ardından, onaylandıktan sonra gönderilen uygulamayı zamanlayıcıya iletir. Son olarak, aynı zamanda uygulamaların durumlarını da gözlemler ve bazı Kaynak Yöneticisinin belleğini kurtarmak için tamamlanmış uygulamaları yönetir. Uygulama yöneticisi, tamamlanmış başvuruların bir önbelleğini tutar ve yeni gönderilen başvurulara yer açmak için eski, bitmiş uygulamaları kaldırır.

• zamanlayıcı –

Zamanlayıcı, Kaynak Kullanılabilirliği ve Uygulama Tahsisi'ne göre görevleri zamanlar. Başarısız olduktan sonra işin yeniden başlatılmaması, görevlerin izlenmesi veya izlenmesi gibi zamanlayıcı tarafından gerçekleştirilen başka bir görev yoktur. Farklı zamanlayıcı eklentileri türleri, küme kaynaklarının bölümlenmesi için YARN zamanlayıcı tarafından desteklenen Adil Zamanlayıcı ve Kapasite Zamanlayıcı'dır.

Hadoop YARN'da Uygulama İş Akışı Adımları

Müşteri tarafından bir başvuru yapılır.

1. Uygulama Yöneticisi, Kapsayıcının Kaynak Yöneticisi tarafından tahsis edilmesiyle başlatılır.
2. Kaynak Yöneticisi ve Uygulama Yöneticisi birbirine kaydolur.
3. Uygulama Yöneticisi, Kapsayıcının Kaynak Yöneticisi ile görüşmesini yapar.
4. Düğüm Yöneticisi, Uygulama Yöneticisi tarafından bilgilendirildikten sonra Kapsayıcıyı başlatır.
5. Uygulama kodunun yürütülmesi Container'da yapılır.
6. Uygulama Yöneticisi veya Kaynak Yöneticisi, istemci tarafından iletişime geçildikten sonra uygulamanın durumunu izler.
7. Uygulama Yöneticisi Kaydı Silme işlemi, işlem tamamlandıktan sonra Kaynak Yöneticisi ile yapılır.

Toplama

Büyük Veri hakkında daha fazla bilgi edinmek istiyorsanız, çalışan profesyoneller için tasarlanmış ve 7+ vaka çalışması ve proje sağlayan, 14 programlama dili ve aracını kapsayan, pratik uygulamalı Büyük Veride Yazılım Geliştirme Uzmanlığı programında PG Diplomamıza göz atın çalıştaylar, en iyi firmalarla 400 saatten fazla titiz öğrenim ve işe yerleştirme yardımı.

Dünyanın En İyi Üniversitelerinden Online Yazılım Geliştirme Kursları öğrenin . Kariyerinizi hızlandırmak için Yönetici PG Programları, Gelişmiş Sertifika Programları veya Yüksek Lisans Programları kazanın.