Ini adalah seri pertama dari dua bagian.

Bagian Satu — Membangun Gudang Data

Saat ini, semua orang ingin membangun gudang data. Tetapi apakah seseorang benar-benar membutuhkannya? Bahkan jika Anda membutuhkannya, bagaimana Anda tahu bahwa Anda sedang membangun hal yang benar dan kapan Anda benar-benar akan mulai menuai manfaat awal darinya?

Tapi hal pertama yang pertama, apa itu gudang data? Sederhananya, ini adalah satu tempat di mana Anda dapat menyimpan data dari semua sumber. Ini membantu seseorang menjawab pertanyaan yang memerlukan analisis kompleks yang melibatkan data dari berbagai sumber. Anda juga dapat membangun gudang data dengan cara yang membuat kebutuhan data Anda yang paling sering terpenuhi dengan cepat.

Setahun yang lalu, kami berjuang dengan pertanyaan ini di UpGrad — untuk membangun atau tidak membangun gudang data?

Untuk menjawab ini, dan banyak pertanyaan serupa lainnya, kami berbicara dengan banyak orang lain yang telah melakukannya sebelumnya. Hal pertama yang kami perhatikan adalah bahwa untuk membangun gudang data (atau DW), Anda memerlukan tim insinyur data, arsitek, analis, dan manajer produk yang tepat. Pertanyaan pertama yang kami ajukan adalah — apakah itu benar-benar layak untuk investasi sebanyak itu?

Untuk menemukan jawaban yang tepat, kita perlu bertanya pada diri sendiri serangkaian pertanyaan yang tepat. Pertanyaan-pertanyaan ini mungkin membutuhkan banyak waktu dan energi, tetapi setelah Anda selesai dengan ini, Anda akan jauh lebih percaya diri tentang apakah akan melanjutkan dengan DW atau tidak. Di sini, kami akan memberikan jawaban yang kami dapatkan dari latihan kami sendiri untuk meningkatkan pemahaman Anda, dan semoga membantu Anda dalam proses memutuskan apakah akan menyiapkan gudang data Anda sendiri atau tidak.

Pertanyaan #1: Jawaban apa yang ingin Anda dapatkan dari analytics/data? Dan pada frekuensi berapa?

Seperti yang pasti sudah Anda catat, ini adalah pertanyaan yang paling penting dari semuanya. Anda harus melibatkan tim lain (Penjualan, Pemasaran, Bisnis) saat menjawab pertanyaan-pertanyaan ini untuk memastikan Anda tidak melewatkan apa pun.

Apa artinya ini bagi kami : Kami menginginkan 3 jawaban penting dari analitik/data:

Sebuah. Saluran mana dalam pemasaran yang berkinerja baik yaitu atribusi multi-saluran?

Tim pemasaran UpGrad menggunakan saluran yang berbeda, baik online maupun offline, untuk akuisisi pengguna. Kami mengadakan lokakarya dan acara offline untuk para profesional yang mencari peningkatan karir. Kami juga menggunakan saluran online seperti Facebook dan Google untuk menarik para profesional ini. Jadi, menjadi sangat penting bagi kami untuk mengetahui saluran mana yang berkinerja baik, untuk menyusun strategi pemasaran kami setiap minggu, atau bahkan setiap hari. Selanjutnya, kami juga ingin mengetahui apakah pemasaran ulang atau upaya offline berpengaruh dalam mengubah pengguna ini menjadi siswa berbayar.

B. Seperti apa saluran konversi kami ?

Corong kami terlihat jauh lebih besar daripada kebanyakan perusahaan. Kunjungan pertama — mendaftar — aplikasi dimulai — pengajuan aplikasi — diambil tes/dikecualikan — daftar pendek — dibayar. Sangat penting untuk mengetahui seperti apa corong berdasarkan beberapa fitur berbeda seperti kota, kelompok usia, saluran akuisisi, dll.

C. Bisakah kita memprediksi apakah pengguna akan membayar atau tidak, yaitu skor prospek ?

Penilaian prospek dapat didasarkan pada dua hal — kecocokan dan minat. Kesesuaian ditentukan oleh atribut pengguna seperti pengalaman bertahun-tahun, skor GRE/GMAT/CAT, dll. Minat didasarkan pada seberapa aktif pengguna di situs web, atau seberapa responsif pengguna terhadap panggilan atau email.

Selain itu, kami ingin:

D. Lacak setiap kinerja siswa dalam kursus atau program sehingga kami dapat membantu mereka pada waktu yang tepat.

e. Pantau peringkat dan ulasan siswa tentang konten kursus.

Kami mendapat lebih banyak pertanyaan seperti itu dari tim yang berbeda… tetapi Anda mendapatkan idenya.

Pertanyaan #2 : Manakah dari jawaban ini yang sudah disediakan oleh pengaturan saat ini, atau hanya memerlukan sedikit penyesuaian?

Mengajukan pertanyaan ini akan memberi Anda pemahaman yang baik tentang kemampuan database saat ini. Pastikan Anda memiliki teknisi yang tepat di ruangan saat Anda menanyakan hal ini (petunjuk: sebagian besar adalah insinyur backend di startup yang menjaga database transaksional).

Apa artinya ini bagi kita :

Sebuah. Atribusi multi-saluran

Sebelum melakukan pembelian, pengunjung melakukan banyak kunjungan melalui saluran yang berbeda. Terkadang mereka hanya menemukan Anda di Google dan mengunjungi situs web Anda, dan terkadang mereka datang untuk menghadiri acara promosi offline. Jadi, ketika pengunjung akhirnya membeli produk, kami ingin dapat menghubungkan saluran mana yang paling efektif. Untuk melakukannya, kita harus menggabungkan data online dan offline* di satu tempat dan menjalankan model atribusi yang berbeda.

B. Corong konversi

Corong kami sekali lagi menyertakan beberapa komponen offline, seperti daftar pendek dan tes yang diunggah secara manual ke Salesforce oleh tim konseling. Corong memerlukan penggabungan data aliran web ke data Salesforce.

C. Skor Utama

Sebagian besar alat penilaian prospek bersifat dasar. Misalnya, Anda dapat mencetak skor berdasarkan acara yang disiarkan di Pardot (oleh Salesforce). Kami membutuhkan sistem yang dapat menggabungkan data dari Salesforce, analisis web, dan email untuk memberikan skor akhir berdasarkan kecocokan dan minat.

D. kinerja siswa

Karena data ini disimpan dalam database transaksional, kami dapat menemukan alat visualisasi seperti BIME atau Tableau untuk menarik data dan membuat dasbor pelacakan ini.

e. Peringkat dan ulasan siswa

Sama seperti (d) di atas.

Jadi, kami mulai membangun skema data warehouse, dengan mengingat a, b, dan c. Banyak startup tidak memerlukan penilaian prospek dan hanya memiliki satu sumber data untuk corong konversi dan atribusi. Bagi para pemula tersebut, alat Business Intelligence (BI) lebih efektif daripada benar-benar membangun gudang data.

Pertanyaan #3: Apakah hal-hal akan terlihat berbeda saat Anda menskalakan selama 1-2 tahun ke depan?

Pada skala, database transaksional Anda mungkin menjadi sangat besar dan kueri bisa menjadi lebih lambat atau mulai gagal. Anda harus merencanakan situasi seperti itu juga, saat merancang gudang.

Apa artinya ini bagi kita:

Tabel database aktivitas siswa kami akan berkembang sangat cepat seiring dengan penambahan lebih banyak kursus dan siswa. Kueri sudah mulai melambat. Masuk akal untuk mengingat hal ini saat merancang skema.

Pertanyaan #4 : Apakah ada tempat lain yang Anda inginkan untuk mengirim data yang Anda inginkan di gudang data Anda?

Data yang disimpan di gudang mungkin memiliki banyak kasus penggunaan yang berbeda, selain dari yang utama. Kasus penggunaan ini membantu Anda memikirkan skema, dan menyertakan bidang tambahan, jika diperlukan, saat membangun skema.

Apa artinya ini bagi kita:

Skor prospek digunakan oleh tim konseling, jadi kami harus mengirimkannya ke Salesforce. Skor kecocokan dari skor utama juga dapat digunakan oleh tim kursus tertentu untuk mengecualikan mereka secara otomatis dari kursus. Model atribusi digunakan oleh tim pemasaran, jadi kami harus mengirimkannya ke alat BI dalam format tertentu.

Terakhir, Pertanyaan #5 : Apakah Anda memiliki tim yang tepat untuk mengambil keputusan seperti:

1. Basis data analitik mana yang harus Anda gunakan, berdasarkan skala dan kasus penggunaan analitik?
2. Apa yang seharusnya menjadi skema/model data untuk kasus penggunaan saat ini? Apakah skema ini dapat diskalakan?
3. Jenis ETL apa yang diperlukan untuk membuat database analitik? Berapa lama waktu yang dibutuhkan ETL?
4. Berapa frekuensi pembaruan tabel yang berbeda? Bagaimana seharusnya Anda menangani kasus penggunaan waktu nyata, seperti yang untuk mesin rekomendasi?

Anda akan membutuhkan seorang insinyur data, seorang insinyur senior yang telah bekerja dengan data setidaknya selama 3-5 tahun, dan seorang ilmuwan data untuk membuat banyak dari keputusan ini.

Setelah memikirkan 5 pertanyaan ini, sebuah startup dapat memutuskan apakah akan membangun data warehouse atau tidak. Berikut adalah daftar pro dan kontra sederhana dari gudang data, untuk membantu Anda mengevaluasi lebih jauh:

Pro —

1. Anda akan memiliki kontrol penuh atas data Anda, dan beralih ke alat pihak ketiga dengan mudah ketika dan ketika harganya menjadi lebih mahal untuk Anda atau tidak memenuhi kebutuhan Anda.
2. Anda dapat membuat produk ilmu data! Rekomendasi, pencarian, analisis sentimen, spam vs ham, dll. Berhati-hatilah dan periksa terlebih dahulu apakah Anda akan memerlukan data waktu nyata untuk produk ini, atau perlu diperbarui setiap jam/hari.
3. Seperti yang ditunjukkan sebelumnya, Anda dapat menghemat banyak waktu dan masalah bagi analis. Kueri akan lebih cepat, dan data akan dapat diandalkan.

Kontra —

1. Anda perlu banyak berinvestasi dalam sumber daya teknik dan penyimpanan data, jauh sebelum Anda dapat mulai menuai keuntungan.
2. Kemungkinan build pertama Anda akan jauh dari sempurna. Jika Anda adalah perusahaan tahap awal hingga menengah, banyak proses yang masih berkembang. Anda tidak dapat menutupi kasus yang akan muncul dalam 3-6 bulan ke depan. Menghadapi pertanyaan seperti mengapa kami tidak memikirkannya, dll. mungkin akan membuat Anda putus asa. Anda perlu menepis kemunduran kecil ini, dan tetap fokus pada tujuan jangka panjang.
3. Sebagian besar organisasi tidak memiliki riset dan kesabaran yang tepat untuk membangun solusi Data Warehouse untuk kebutuhan mereka. Anda perlu menginvestasikan banyak waktu sebelum memulai semuanya.

Setelah Anda menyelesaikan latihan ini, saya cukup yakin Anda akan siap untuk memulai perjalanan analisis data untuk startup Anda dan akan menghindari kesalahan yang mahal. Komentar di bawah dan beri tahu kami jika Anda menyukai posting ini atau merasa bermanfaat. Nantikan yang berikutnya!

* Jika kami hanya memiliki saluran online, kami dapat menggunakan atribusi multi-saluran google analytics. Kami juga memiliki data acara offline, yang dapat diunggah ke google analytics. Masalah terpecahkan? Sayang! GA melarang Anda mengirim informasi pengenal pribadi apa pun. Dengan tidak adanya informasi email, sulit untuk menautkan data ini ke sumber data lain, kecuali jika Anda memetakan ID google analytics ke email di database Anda sendiri, cari ID ini dan unggah data offline dengan ID ini ke GA.