Veri Ambarı Mimarisi: Bilmeniz Gereken Her Şey

Bu veri merkezli dünyada, er ya da geç her birimizin saniyede 1,7 MB veri üretmesi şaşırtıcı değil . Ama tüm bu veriler nereye gidecek? Tüm bu bilgileri güvenli bir şekilde saklayacak ve gerektiğinde yeniden canlandırılabilecek bir depolama birimi olması gerekmez mi?

Peki size böyle bir depolama birimi olduğunu söylesek? Şaşırtıcı olmayan bir şekilde, buna Veri Ambarı denir. Karar verme ve raporlamaya yardımcı olmak için oluşturulmuş, operasyonel kaynaklardan gelen verileri ve bilgileri içeren analitik bir araçtır.

Bugün, küresel veri ambarı pazarı, önümüzdeki yıllarda %16'lık bir CAGR'de büyümesinin beklendiği ölçüde yükseldi .

Öyleyse, veri ambarı ve mimarisi hakkında derinlemesine bilgi edinelim.

Daha fazla bilgi edinin: Veri Ambarı ve Veri Madenciliği Nedir?

Veri Ambarı Nedir?

Bir veya daha fazla kaynaktan gelen tüm geçmiş ve değişmeli verilerin saklandığı yere veri ambarı denir. Bir veri ambarına sahip olmanın birincil amacı, bir işletmenin iş zekası ve raporlama süreçlerini pürüzsüz hale getirmektir. Temelde sakladığı veriler üzerinde sorgulama ve analiz yapar.

Bir veri ambarında birden çok kaynaktan işlem verileri bulunduğundan, işletmelerin aşağıdakileri yapmasına yardımcı olur:

• Eski kayıtları koru
• Mevcut verileri değerlendirin ve işlemlerdeki boşlukları belirleyin

Veri Ambarı Tasarlamak için İş Analizi Çerçevesi

Genellikle bir veri analisti, ambardan ilgili verileri toplar ve işletmelerin operasyonlarını iyileştirmesine yardımcı olmak için bunları analiz eder. Veri ambarını kullanmak, verilere hızlı ve verimli bir şekilde erişmeye yardımcı olduğu için kullanışlıdır, böylece genel üretkenliği artırır.

Ayrıca, müşterilere ve tüm ürünlere kapsamlı bir göz atabilirsiniz. Bu sayede sorunsuz bir müşteri ilişkisi sağlayabilirsiniz.

Ancak tüm bunların gerçekleşmesi için veri analistinin önce iş ihtiyaçlarını anlaması gerekir. Bunun için de bir iş analizi çerçevesi oluşturmaları gerekiyor.

Ancak bir iş analizi çerçevesi oluşturulduktan sonra bir veri ambarı tasarlamaya geçebiliriz. Bunun üç görünümü vardır:

• Yukarıdan aşağıya görünüm : Bu görünümde, depoyu tasarlamak için gereken ilgili bilgileri görürsünüz.
• Veri kaynağı görünümü : Yakalanan, depolanan ve yönetilen verileri sunar.
• Veri ambarı görünümü : Ambardaki olgu tablolarını ve boyut tablolarını ve verileri listeler.
• İş sorgusu görünümü : Bunda, verileri son kullanıcının bakış açısından görürsünüz.

Verileri tüm bu bakış açılarından görüntüledikten sonra, üç tür veri ambarı mimarisi hakkında bilgi edinmenin zamanı geldi.

Üç Tür Veri Ambarı Mimarisi

Bir şirket için bir veri ambarı tasarlamayı her planladığınızda, veri ambarınızı oluşturmak için bir yol haritasını ve ayrıca aşağıdaki üç mimari katmanını düşünebilirsiniz.

1. Tek Katman : Bu, yakın bir veri paketi seti oluşturmaktan ve genel hacmini azaltmaktan büyük ölçüde sorumludur. Ancak bu tür, karmaşık verilere ve birden çok veri akışına sahip işletmeler için önerilmez.
2. İki Katman : Bu tür mimaride, veri kaynakları bölünür ve böylece veri organizasyonu ve depolama süreci daha verimli hale gelir.
3. Üç Katman : Bu tür depo mimarisi, ham verilerden gerçekten değerli bilgiler sağladığı ve böylece düzenli bir veri akışı ürettiği için en çok tercih edilen türdür.

Aşağıdaki üç katmandan oluşur:

• Deponun sunucularını içeren alt katman . Burada veriler arka uç araçları kullanılarak temizlenir ve yüklenir.
• Orta katman bir OLAP sunucusundan oluşur. Bu katman, bir kullanıcıya, son kullanıcı ile veritabanı arasında bir bağlantı görevi görerek, veritabanının soyutlanmış bir görünümünü sağlar.
• En üst katman , ambardan veri çıkarmak için API'ye ve araçlara (Sorgu, veri madenciliği, analiz ve raporlama araçları) sahiptir.

Veri Ambarı Mimarisi Bileşenleri

Mimarinin işleyişini yönetilebilir kılmak için ambar, beş ana bileşenle çevrili bir RDBMS sunucusu içerir.

İşte veri ambarı mimarisinin beş ana bileşeni.

Veri Ambarı Veritabanı

Ambar mimarisinin odak noktası, raporlama için anlaşılır kılan tüm iş bilgilerini içeren bir veri bankasıdır. Açıkçası, bu, verileri deponuzda depolamak için ne tür bir veritabanı kullanacağınızı seçmeniz gerektiği anlamına gelir.

Sırada, kullanabileceğiniz dört veritabanı türü var:

• İlişkisel veritabanları , genellikle her gün karşılaştığınız veya kullandığınız satır tabanlı veritabanlarıdır. Bunlara Microsoft SQL Server, SAP, Oracle ve IBM DB2 dahildir.
• Analitik veritabanları , analizi desteklemek ve denetlemek için bilgi stoklaması için kararlı bir şekilde oluşturulur. Örneğin, Teradata ve Greenplum.
• Veri ambarı uygulamaları aslında bir tür kapasite veritabanları değildir. SAP Hana, Oracle Exadata ve IBM Netezza gibi veri yönetimi için yazılımlar sunan uygulamalardır.
• Bulut tabanlı veritabanları , veri ambarınızı kurmak için herhangi bir donanım edinmenize gerek kalmaması amacıyla bulutta kolaylaştırılabilen ve kurtarılabilen veritabanlarıdır. Örneğin, Amazon Redshift, Microsoft Azure SQL ve Google BigQuery.

Veri bilimi hakkında daha fazla bilgi edinmek istiyorsanız, en iyi üniversitelerden veri bilimi eğitimimize göz atın.

Çıkarma, Dönüştürme ve Yükleme Araçları (ETL)

ETL aygıtları, bir veri ambarı mimarisinin temelidir. Bunlar, çeşitli kaynaklardan gelen bilgileri ayırmaya, makul bir düzenlemeye dönüştürmeye ve bir depoya yığmaya yardımcı olur.

Seçeceğiniz ETL aracı aşağıdakilere karar verecektir:

• Bilgi çıkarmada harcanan zaman
• Veri çıkarma yolları
• Uygulanan değişikliklerin türü ve bu şekilde yapılması gereken çaba
• Nihai ürün analitiğini geliştirmek için bilgi doğrulama ve temizleme için iş kuralı tanımı
• Kayıp bilgileri doldurma
• Anahtar kasasından BI uygulamalarınıza veri sirkülasyonu çizimi

meta veri

Meta veriler, veri ambarını gösterir ve bilgi için bir sistem sunar. Deponun geliştirilmesine, korunmasına, taşınmasına ve kullanılmasına yardımcı olur. İki çeşittir:

• Teknik Meta Veriler : Depo geliştirme ve organizasyon görevlerini yürütürken mühendisler ve yöneticiler tarafından kullanılabilecek verileri içerir.
• İş Meta Verileri : Depodaki verilerin etkin bir şekilde gerekçelendirilebilir bir duruşunu sunan verileri içerir.

Metadata, kuruluşların depoda bulunan verileri anlaması ve kullanılabilir bilgiye dönüştürmesi için önemli bir rol üstlenmektedir.

Veri Ambarı Erişim Araçları

Bir veri ambarı, kuruluş olarak bir veritabanını veya veritabanı grubunu kullanır. Şirketler çoğunlukla veritabanlarıyla yasal olarak çalışamazlar. Aşağıdakiler de dahil olmak üzere çeşitli araçlar kullanmalarının nedeni budur:

• Sorgu ve raporlama araçları : Bunlar, derinlemesine bir analiz yapmak için kullanıcılara elektronik tablolar, hesaplamalar veya akıllı görsellerde kurumsal raporlar oluşturma konusunda yardımcı olur.
• OLAP cihazları : Bunlar, çok boyutlu bir veri ambarı geliştirmeye ve büyük verilerin çeşitli perspektiflerden analizini gerçekleştirmeye yardımcı olur.
• Veri madenciliği araçları : Bunlar, istatistiksel modelleme stratejilerini kullanarak, muazzam miktarda verideki kümeleri ve bağlantıları tanıma metodolojisini sistematize eder. Veri madenciliği teknikleri hakkında daha fazla bilgi edinin.
• Uygulama geliştirme araçları : Bunlar, özel olarak hazırlanmış raporların hazırlanmasına ve belirli raporlama amaçları için beklenen çevirilerde sunulmasına yardımcı olur.

Veri Ambarı Otobüsü

Depodaki verilerin ilerlemesine karar vermeye yardımcı olur. Bu akış Giriş, Yukarı Akış, Aşağı Akış, Çıkış Akışı ve Meta akış olarak düzenlenebilir.

Bir Veri Yolu tasarlarken, veri pazarlarındaki ortak ölçümleri, gerçekleri düşünmeniz gerekir.

Veri Merkezleri

Bu, kullanıcılara bilgi almak için kullanılan bir giriş katmanıdır. Oluşturmak için çok az zaman ve para gerektirdiğinden, büyük boyutlu bir veri ambarı olasılığı olarak sunulmaktadır. Her halükarda, bir data martın standart bir anlamı yoktur, çünkü kişiden kişiye değişir.

Basitçe söylemek gerekirse, bir data mart bir veri ambarının bir yardımcısıdır ve belirli bir kullanıcı grubu için yapılan bilgileri bölümlere ayırmak için kullanılır.

Veri Ambarı Mimarisi Katmanları

Bir veri ambarı oluşturmak, öncelikle belirli bir işletmeye bağlıdır. Ve böylece, her mimarinin dört katmanı vardır. Bunları aşağıda ayrıntılı olarak inceleyelim.

Veri kaynağı katmanı

Veri kaynağı katmanı, çeşitli iç ve dış kaynaklardan toplanan benzersiz bilgilerin sosyal veritabanında bulunduğu yerdir. Aşağıda veri kaynağı katmanının örnekleri verilmiştir:

• Operasyonel Veriler — Ürün bilgileri, stok bilgileri, pazarlama bilgileri veya İK bilgileri
• Sosyal Medya Verileri - Web sitesi hitleri, içerik şöhreti, iletişim sayfası tamamlama
• Yabancı Veriler — Demografik bilgiler, çalışma bilgileri, istatistik bilgileri

Çoğu veri ambarı organize verileri yönetirken, örneğin ses hesapları, taranmış resimler ve yapılandırılmamış metinler gibi yapılandırılmamış veri kaynaklarının gelecekte kullanılması düşünülmelidir. Bu veri taşkınları önemli bilgi depolarıdır ve deponuzu oluştururken görüntülenmelidir.

Veri Aşamalandırma Katmanı

Bu katman, bilgi kaynakları ve veri ambarı arasında bulunur. Bu katmanda bilgi, çeşitli iç ve dış veri kaynaklarından ayrılır. Kaynak veriler çeşitli kuruluşlarda geldiğinden, veri çıkarma katmanı, gerekli bilgileri çıkarmak için çok sayıda teknoloji ve cihaz kullanacaktır.

Ayıklanan veriler istiflendikten sonra üst düzey kalite kontrollerine tabi tutulacaktır. Kesin sonuç, veri ambarınıza yığacağınız mükemmel ve düzenli veriler olacaktır. Aşama katmanı verilen bölümleri içerir:

• İniş Veritabanı ve Hazırlama Alanı

İniş veritabanı, veri kaynağından kurtarılan bilgileri depolar. Veriler ambara gitmeden önce, hazırlama süreci veri üzerinde sıkı kalite kontrolleri yapar. Düzenleme, mimaride temel bir adımdır. Yetersiz bilgi, yetersiz verilere eklenecek ve sonuç, zayıf iş dinamiği olacaktır. Düzenleme katmanı, yapılandırılmamış bilgi kaynaklarıyla başa çıkmak için iş sürecine uygun olarak değişiklik yapmanız gereken yerdir.

• Veri Entegrasyon Aracı

Çıkarma, Dönüştürme ve Yükleme araçları (ETL), bilgileri kaynak çerçevelerden çıkarmak, değiştirmek ve bilgileri hazırlamak ve ambara yüklemek için kullanılan veri araçlarıdır.

Okuyun: Hindistan'da Veri Bilimcisi Maaşı

Veri Depolama Katmanı

Bu katman, düzenleme bölgesinde yıkanan verilerin tek bir merkezi arşiv olarak kaldırıldığı yerdir. İşinize ve ambar mimarisi gereksinimlerinize bağlı olarak, veri depolamanız bir veri ambarı merkezi, data mart (belirli departmanlar için bir şekilde yeniden oluşturulmuş veri ambarı) veya bir Operasyonel Veri Deposu (ODS) olabilir.

Veri Sunum Katmanı

Bu, kullanıcıların temizlenmiş ve sıralanmış verilerle iletişim kurduğu yerdir. Veri mimarisinin bu katmanı, kullanıcılara öğe veya hizmet içgörüleri için verileri sorgulama, teorik iş durumlarını yürütmek için verileri parçalama ve bilgisayarlı veya özel olarak atanmış raporlar oluşturma kapasitesi verir.

Kullanıcıların sorgularını oluşturmalarına, analiz gerçekleştirmelerine veya raporlarını planlamalarına yardımcı olmak için anlaşılması kolay bir Grafik Kullanıcı Arayüzü (GUI) ile bir OLAP veya raporlama aracı kullanabilirsiniz.

Veri Ambarı Özellikleri

Bir veri ambarı, bir kuruluş için hızlı ve verimli bir karar verme sürecini mümkün kılmak için konu odaklı, uçucu olmayan, zamanla değişen ve entegre bir veri kümesidir.

• Konuya Yönelik : Belirli bir bilgi dalını incelemek için bir veri ambarı kullanılabilir. Örneğin, “satış” belirli bir konu olabilir.
• Entegre : Bir veri ambarı, farklı kaynaklardan gelen bilgileri içerir. Örneğin, A kaynağı ve B kaynağı bir kalemi ayırt etmek için çeşitli yöntemlere sahip olabilir, ancak bir depoda bir kalemi tanımak için yalnızca tek bir yöntem olacaktır.
• Zaman Değişkeni : Bir ambar, geçmiş verileri içerir. Örneğin, bir veri ambarından 3 ay, yarım yıl, bir yıl veya önemli ölçüde daha eski bilgiler kurtarılabilir. Bu, yalnızca en son bilgilerin depolandığı bir işlem çerçevesiyle ilgili olarak farklı görünür. Örneğin, bir işlem çerçevesi bir müşterinin en son konumunu tutabilirken, bir veri ambarı bir müşteriyle ilgili tüm konumları tutabilir.
• Uçucu Olmayan : Bir veri ambarının en iyi özelliklerinden biri, veriler bir kez içinde depolandıktan sonra değişmesinin imkansız olmasıdır. Böylece depodaki kayıtlı bilgiler asla değiştirilmeyecektir.

Veri Ambarı Mimarisi Nasıl Kullanılır?

İşletmenizin veya işletmenizin ne tür bir veritabanına ihtiyaç duyduğunu ve bununla nasıl işbirliği yapmayı planladığınızı oluşturmak, içgörü ararken çok önemlidir. Veri ambarı tasarımınızı düşünürken bilgileri kimin denetleyeceğini ve hangi kaynaklara ihtiyaç duyduklarını değerlendirmek de aynı şekilde kritik öneme sahiptir.

Veri ambarı ile data mart şakasının sürekli olarak daha küçük organizasyonlar için geçerli olmamasına rağmen, daha fazla grup, bölüm ve açık ihtiyaçları olanlar bir data marttan yararlanabilir. Bir veri marketinin konuya özel doğası, onu veri ambarı mimarinizin önemli bir parçası yapar.

Ayrıca, kuruluşunuzun büyüklüğüne bağlı olarak, çeşitli depo tasarımları giderek daha pratik hale gelebilir. Hangisinin en iyi olduğunu anlamak, verilerinize, setlerinizin boyutuna ve iş gereksinimlerinize bağlıdır.

Çözüm

Veri ambarı, tek veya çeşitli kaynaklardan özgün ve değişmeli bilgileri içeren bir veri bilimi çerçevesidir. Eski ve yeni verilere erişmenin, onlardan içgörüler elde etmenin ve mevcut verileri analiz ederek iş süreçlerini iyileştirmenin mükemmel bir yoludur.

Ayrıca veri ambarı kavramları , derneğin ilerleyen faaliyetlerinden ziyade konuya ilişkin veriler sunduğu için konu odaklıdır. Depoda, birleştirme, çeşitli veri tabanlarından gelen her karşılaştırılabilir veri için tipik bir ölçü biriminin temelini ifade eder. Daha önce de belirtildiği gibi, ayrıca uçucu değildir, yani yeni bilgiler girildiğinde geçmiş bilgiler silinmez.

Veri ambarının zaman değişkenliği özelliği, yüksek bir gerçekçi kullanılabilirlik zaman çerçevesine izin verir.

Bir veri ambarının beş temel parçası vardır. 1) Veritabanı 2) ETL Araçları 3) Meta Veri 4) Sorgu Araçları 5) DataMarts

Sorgu araçlarının dört temel sınıfı, sorgulama ve raporlama araçları, uygulama geliştirme araçları, veri madenciliği aygıtları ve OLAP araçlarıdır.

Tüm dönüşümleri ve ana hatları gerçekleştirmek için bilgi kaynağı, değişiklik ve yer değiştirme araçları kullanılır.

Veri ambarı mimarisinde meta-tag, veri ambarındaki verilerin kaynağını, kullanımını, niteliklerini ve öne çıkan özelliklerini belirttiği için önemli bir görev üstlenir.

Bu makaledeki bilgilerin, veri ambarı mimarisinin temellerini anlamanıza yardımcı olacağını umuyoruz. Daha fazla bilgi için upGrad uzmanlarıyla iletişime geçin. Sadece bize bir e-posta bırakın, sorularınız için size yardımcı olmak için size geri döneceğiz.

Veri bilimi hakkında bilgi edinmek istiyorsanız, IIIT -B & upGrad'ın çalışan profesyoneller için oluşturulmuş ve 10'dan fazla vaka çalışması ve proje, uygulamalı uygulamalı atölye çalışmaları, endüstri uzmanlarıyla mentorluk, 1 Endüstri danışmanlarıyla bire bir, en iyi firmalarla 400+ saat öğrenim ve iş yardımı.