Bu iki bölümlük bir dizinin ilki.

Birinci Bölüm — Bir Veri Ambarı Oluşturma

Günümüzde herkes bir veri ambarı kurmak istiyor. Ama gerçekten buna ihtiyacı var mı? İhtiyacınız olsa bile, doğru şeyi inşa ettiğinizi nasıl anlarsınız ve bundan gerçekten ne zaman erken faydalar elde etmeye başlayacaksınız?

Ama her şeyden önce, veri ambarı nedir? Basitçe söylemek gerekirse, tüm kaynaklardan veri depolayabileceğiniz tek bir yerdir. Birden çok kaynaktan gelen verileri içeren karmaşık analiz gerektiren soruların yanıtlanmasına yardımcı olur. Ayrıca, en sık veri gereksinimlerinizin hızla halledilmesini sağlayacak şekilde bir veri ambarı da oluşturabilirsiniz.

Bir yıl önce, UpGrad'da şu soruyla mücadele ediyorduk - bir veri ambarı inşa etmek mi yoksa inşa etmemek mi?

Bunu ve buna benzer pek çok soruyu cevaplamak için daha önce yapmış olan birçok insanla konuştuk. Fark ettiğimiz ilk şey, bir veri ambarı (veya DW) oluşturmak için doğru veri mühendisleri, mimarlar, analistler ve ürün yöneticileri ekibine ihtiyacınız olduğuydu. Sorduğumuz ilk soru şuydu: Gerçekten bu kadar yatırıma değer mi?

Doğru cevabı bulmak için kendimize doğru soruları sormalıyız. Bu sorular çok fazla zaman ve enerji gerektirebilir, ancak bunlarla işiniz bittiğinde, DW ile devam edip etmeme konusunda çok daha emin olacaksınız. Burada, anlayışınızı geliştirmek için kendi alıştırmamızdan aldığımız cevapları sunacağız ve umarım kendi veri ambarınızı kurup kurmamaya karar verme sürecinde size yardımcı olacağız.

Soru 1: Analitik/verilerden hangi yanıtları almak istiyorsunuz? Ve hangi frekansta?

Daha önce de belirttiğiniz gibi, bu en önemli sorudur. Hiçbir şeyi kaçırmadığınızdan emin olmak için bu soruları cevaplarken diğer ekipleri (Satış, Pazarlama, İşletme) dahil etmelisiniz.

Bunun bizim için anlamı : Analitik/verilerden 3 önemli yanıt istedik:

a. Pazarlamada hangi kanallar iyi performans gösteriyor, yani çok kanallı ilişkilendirme?

UpGrad'ın pazarlama ekibi, kullanıcı edinme için hem çevrimiçi hem de çevrimdışı farklı kanallar kullanır. Kariyerini yükseltmek isteyen profesyoneller için çevrimdışı atölye çalışmaları ve etkinlikler düzenliyoruz. Bu profesyonelleri çekmek için Facebook ve Google gibi çevrimiçi kanalları da kullanıyoruz. Bu nedenle, pazarlama stratejimizi haftalık, hatta günlük olarak oluşturmak için hangi kanalların iyi performans gösterdiğini bilmek bizim için çok önemli hale geliyor. Ayrıca, yeniden pazarlamanın veya çevrimdışı çabaların bu kullanıcıları ücretli öğrencilere dönüştürmede herhangi bir etkisi olup olmadığını da bilmek istiyoruz.

B. Dönüşüm hunimiz neye benziyor ?

Hunimiz çoğu şirketten çok daha büyük görünüyor. İlk ziyaret — kaydolma — başvuru başlatma — başvuru gönderme — teste tabi tutulmuş/muaf tutulmuş — kısa liste — ödenmiş. Şehir, yaş grubu, satın alma kanalı vb. gibi birçok farklı özelliğe dayalı olarak huninin nasıl göründüğünü bilmek çok önemlidir.

C. Bir kullanıcının ödeme yapıp yapmayacağını, yani puan kazanıp kazanmayacağını tahmin edebilir miyiz ?

Müşteri adayı puanlaması iki şeye dayanabilir - uyum ve ilgi. Uygunluk, yılların deneyimi, GRE/GMAT/CAT puanı vb. gibi kullanıcı özelliklerine göre belirlenir. İlgi, kullanıcının web sitesinde ne kadar aktif olduğuna veya kullanıcının aramalara veya e-postalara ne kadar yanıt verdiğine bağlıdır.

Bunların dışında şunları yapmak istedik:

D. Onlara doğru zamanda yardımcı olabilmemiz için bir kurs veya programdaki her öğrencinin performansını takip edin.

e. Öğrencilerin kurs içeriğine ilişkin puanlarını ve incelemelerini izleyin.

Farklı ekiplerden buna benzer daha pek çok soru aldık… ama siz anladınız.

Soru #2 : Bu yanıtlardan hangisi mevcut kurulum tarafından zaten sağlanıyor veya yalnızca minimum düzeyde ince ayar gerektiriyor?

Bu soruyu sormak size mevcut veritabanı yetenekleri hakkında iyi bir fikir verecektir. Bunu sorduğunuzda odanızda doğru mühendislere sahip olduğunuzdan emin olun (ipucu: bunların çoğu, bir startup'ta işlem veritabanıyla ilgilenen arka uç mühendisleri olacaktır).

Bunun bizim için anlamı :

a. Çok kanallı ilişkilendirme

Ziyaretçiler bir satın alma işlemi gerçekleştirmeden önce farklı kanallardan birçok ziyaret gerçekleştirmektedir. Bazen sizi Google'da bulup web sitenize gelirler, bazen de çevrimdışı bir tanıtım etkinliğine katılmak için gelirler. Bu nedenle, bir ziyaretçi nihayet ürünü satın aldığında, kanallardan hangisinin en etkili olduğunu ilişkilendirmek istiyoruz. Bunu yapmak için hem çevrimiçi hem de çevrimdışı verileri* tek bir yerde birleştirmeli ve farklı ilişkilendirme modelleri çalıştırmalıyız.

B. Dönüşüm hunileri

Dönüşüm hunimiz yine, danışma ekibi tarafından Salesforce'a manuel olarak yüklenen kısa listeler ve testler gibi bazı çevrimdışı bileşenleri içerir. Huni, web akışı verilerinin Salesforce verileriyle birleştirilmesini gerektirir.

C. Kurşun Puanlama

Lider puanlama araçlarının çoğu temeldir. Örneğin, Pardot'ta (Salesforce tarafından) yayınlanan etkinlikler temelinde puan alabilirsiniz. Uyum ve ilgiye göre nihai bir puan vermek için Salesforce, web analitiği ve e-postalardan gelen verileri birleştirebilecek bir sisteme ihtiyacımız vardı.

D. Öğrenci performansı

Bu veriler bir işlem veritabanında depolandığından, verileri çekmek ve bu izleme panolarını oluşturmak için BIME veya Tableau gibi bir görselleştirme aracı bulabiliriz.

e. Öğrenci puanları ve incelemeleri

Yukarıdaki (d) ile aynı.

Böylece, a, b ve c'yi göz önünde bulundurarak bir veri ambarı şeması oluşturmaya başladık. Birçok girişim, müşteri adayı puanlaması gerektirmez ve dönüşüm hunileri ve ilişkilendirme için yalnızca bir veri kaynağına sahiptir. Bu girişimler için, bir İş Zekası (BI) aracı, aslında bir veri ambarı oluşturmaktan daha etkilidir.

Soru #3: Önümüzdeki 1-2 yıl içinde ölçeklendikçe her şey farklı görünecek mi?

Ölçekte, işlem veritabanınız çok büyüyebilir ve sorgular yavaşlayabilir veya başarısız olmaya başlayabilir. Depoyu tasarlarken bu gibi durumları da planlamalısınız.

Bunun bizim için anlamı:

Daha fazla ders ve öğrenci ekledikçe öğrenci etkinlikleri veritabanı tablomuz çok hızlı büyüyecek. Sorgular zaten yavaşlamaya başladı. Şemayı tasarlarken bunu akılda tutmak mantıklıydı.

Soru 4 : Veri ambarınızda istediğiniz verileri göndermek istediğiniz başka bir yer var mı?

Ambarda depolanan verilerin, ana kullanım dışında birçok farklı kullanım durumu olabilir. Bu kullanım senaryoları şema üzerinde düşünmenize yardımcı olur ve şemayı oluştururken gerekirse ek alanlar içerir.

Bunun bizim için anlamı:

Müşteri adayı puanı danışmanlık ekibi tarafından kullanılıyor, bu yüzden bunu Salesforce'a göndermemiz gerekiyor. Lider puanlamanın uygunluk puanı, belirli bir kurs ekibi tarafından onları kurstan otomatik olarak muaf tutmak için de kullanılabilir. İlişkilendirme modeli pazarlama ekibi tarafından kullanılır, bu nedenle onu BI aracına belirli bir biçimde göndermemiz gerekir.

Son olarak, Soru 5 : Aşağıdakiler gibi kararlar almak için doğru ekibe sahip misiniz?

1. Ölçeğe ve analitik kullanım durumlarına göre hangi analitik veritabanını kullanmalısınız?
2. Mevcut kullanım durumları için şema/veri modeli ne olmalıdır? Bu şema ölçeklenebilir mi?
3. Analitik veritabanını oluşturmak için ne tür bir ETL gerekli olacaktır? ETL ne kadar zaman alır?
4. Farklı tabloların güncelleme sıklığı ne olurdu? Öneri motorları için olduğu gibi gerçek zamanlı kullanım durumlarını nasıl ele almalısınız?

Bu kararların birçoğunu vermek için bir veri mühendisine, verilerle en az 3-5 yıldır çalışmış kıdemli bir mühendise ve bir veri bilimcisine ihtiyacınız olacak.

Bu 5 soruyu düşündükten sonra bir startup, bir veri ambarı oluşturup oluşturmamaya karar verebilir. Daha da fazla değerlendirmenize yardımcı olmak için, bir veri ambarının artılarını ve eksilerini içeren basit bir liste:

Artıları —

1. Verileriniz üzerinde tam kontrole sahip olacaksınız ve sizin için daha pahalı hale geldiklerinde veya gereksinimlerinizi karşılamadıklarında üçüncü taraf araçlara kolayca geçiş yapacaksınız.
2. Veri bilimi ürünleri oluşturabilirsiniz! Öneriler, arama, duyarlılık analizi, spam vs jambon vb. Dikkatli olun ve bu ürünler için gerçek zamanlı verilere ihtiyacınız olup olmayacağını veya bunların saatlik/günlük güncellenmesi gerekip gerekmediğini önceden kontrol edin.
3. Daha önce belirtildiği gibi, analistler için çok fazla zaman ve sorundan tasarruf edebilirsiniz. Sorgular daha hızlı olacak ve veriler güvenilir olacaktır.

Eksileri -

1. Avantajlardan yararlanmaya başlamadan çok önce, mühendislik ve veri depolama kaynaklarına yoğun bir şekilde yatırım yapmanız gerekir.
2. Muhtemelen ilk yapınız mükemmel olmaktan uzak olacaktır. Erken-orta aşama bir şirketseniz, birçok süreç hala gelişmektedir. Önümüzdeki 3-6 ay içinde ortaya çıkacak davaları karşılayamazsınız. Bunu neden düşünmedik gibi sorularla yüzleşmek, sizi cesaretsizliğe uğratabilir. Bu küçük aksaklıkları üzerinizden atmanız ve gözlerinizi uzun vadeli hedefte tutmanız gerekecek.
3. Çoğu kuruluş, ihtiyaçları için Veri Ambarı çözümünü oluşturmak için doğru araştırmaya ve sabra sahip değildir. Her şeye başlamadan önce çok zaman harcamanız gerekecek.

Bu alıştırmayı tamamladıktan sonra, girişiminiz için veri analizi yolculuğuna çıkmaya hazır olacağınızdan ve maliyetli hatalardan kaçınacağınızdan oldukça eminim. Aşağıya yorum yapın ve bu gönderiyi beğenip beğenmediğinizi veya yararlı bulup bulmadığınızı bize bildirin. Bir sonraki için takipte kalın!

* Yalnızca çevrimiçi kanallarımız olsaydı, google analytics çok kanallı ilişkilendirmeyi kullanabilirdik. Ayrıca google analytics'e yüklenebilecek çevrimdışı etkinlik verilerimiz de var. Sorun çözüldü? Ne yazık ki! GA, kişisel olarak tanımlanabilir herhangi bir bilgi göndermenizi yasaklar. E-posta bilgilerinin yokluğunda, google analytics'in kimliğini kendi veritabanınızdaki e-postalarla eşleştirmediğiniz, bu kimlikleri aramadığınız ve bu kimliklerle çevrimdışı verileri GA'ya yüklemediğiniz sürece, bu verileri diğer veri kaynaklarına bağlamak zordur.