這是兩部分系列的第一部分。

第一部分——構建數據倉庫

如今，每個人都想建立一個數據倉庫。 但是真的需要嗎？ 即使你需要它，你怎麼知道你正在構建正確的東西，你什麼時候真正開始從中獲得早期收益？

但首先，什麼是數據倉庫？ 簡而言之，它是一個可以存儲所有來源數據的地方。 它有助於回答需要涉及來自多個來源的數據的複雜分析的問題。 您還可以以快速處理最常見的數據需求的方式構建數據倉庫。

一年前，我們在 UpGrad 為這個問題苦苦掙扎——建還是不建數據倉庫？

為了回答這個問題，以及許多其他類似的問題，我們採訪了很多以前做過的人。 我們注意到的第一件事是，要構建數據倉庫（或 DW），您需要合適的數據工程師、架構師、分析師和產品經理團隊。 我們問的第一個問題是——真的值得這麼多投資嗎？

為了找到正確的答案，我們需要問自己一組正確的問題。 這些問題可能需要大量的時間和精力，但是一旦你完成了這些，你就會對是否繼​​續使用 DW 更有信心。 在這裡，我們將提供從我們自己的練習中得到的答案，以增強您的理解，並希望在您決定是否建立自己的數據倉庫的過程中有所幫助。

問題 #1：您想從分析/數據中得到什麼答案？ 頻率是多少？

正如您必須已經註意到的那樣，這是最重要的問題。 在回答這些問題時，您必須讓其他團隊（銷售、營銷、業務）參與進來，以確保您不會錯過任何事情。

這對我們意味著什麼：我們希望從分析/數據中獲得 3 個重要答案：

一種。 哪些營銷渠道表現良好，即多渠道歸因？

UpGrad 的營銷團隊使用線上和線下的不同渠道來獲取用戶。 我們為尋求職業升級的專業人士舉辦線下研討會和活動。 我們還使用 Facebook 和 Google 等在線渠道來吸引這些專業人士。 因此，了解哪些渠道表現良好對於我們來說非常重要，以便每週甚至每天制定我們的營銷策略。 此外，我們還想知道再營銷或線下努力是否對將這些用戶轉化為付費學生有任何影響。

灣。 我們的轉化漏斗是什麼樣的？

我們的漏斗看起來比大多數公司大得多。 初訪——註冊——申請開始——申請提交——應試/免試——入圍——付費。 根據城市、年齡組、獲取渠道等多種不同的特徵來了解漏斗的外觀至關重要。

C。 我們能否預測用戶最終是否會付費，即潛在客戶評分？

潛在客戶評分可以基於兩件事 - 適合度和興趣。 適合度取決於用戶屬性，如多年經驗、GRE/GMAT/CAT 分數等。興趣取決於用戶在網站上的活躍程度，或者用戶對電話或電子郵件的響應程度。

除了這些，我們還想：

d。 跟踪每個學生在課程或計劃中的表現，以便我們能夠在正確的時間幫助他們。

e. 監控學生對課程內容的評分和評論。

我們從不同的團隊收到了更多這樣的問題……但你明白了。

問題 #2 ：當前設置已經提供了哪些答案，或者只需要很少的調整？

問這個問題將使您對當前的數據庫功能有一個很好的了解。 當你問這個問題時，請確保你在房間裡有合適的工程師（提示：其中大多數是初創公司中負責事務數據庫的後端工程師）。

這對我們意味著什麼：

一種。 多渠道歸因

在進行購買之前，訪問者會通過不同的渠道進行多次訪問。 有時他們只是在 Google 上找到您並訪問您的網站，有時他們來參加線下促銷活動。 因此，當訪問者最終購買產品時，我們希望能夠確定哪個渠道最有效。 為此，我們必須將在線和離線數據* 合併到一個地方並運行不同的歸因模型。

灣。 轉化漏斗

我們的漏斗再次包含一些離線組件，例如由諮詢團隊手動上傳到 Salesforce 的候選清單和測試。 漏斗需要將 webstream 數據合併到 Salesforce 數據。

C。 領先評分

大多數潛在客戶評分工具都是基本的。 例如，您可以根據 Pardot 中流式傳輸的事件（由 Salesforce）進行評分。 我們需要一個可以合併來自 Salesforce、網絡分析和電子郵件的數據的系統，以根據適合度和興趣給出最終分數。

d。 學生表現

由於這些數據存儲在事務數據庫中，我們可以找到像 BIME 或 Tableau 這樣的可視化工具來提取數據並創建這些跟踪儀表板。

e. 學生的評分和評論

同上（d）。

因此，我們開始構建數據倉庫模式，牢記 a、b 和 c。 許多初創公司不需要潛在客戶評分，並且只有一個用於轉換漏斗和歸因的數據源。 對於那些初創公司來說，商業智能 (BI) 工具比實際構建數據倉庫更有效。

問題 3：隨著您在未來 1 到 2 年的擴展，情況會有所不同嗎？

在規模上，您的事務數據庫可能會變得非常大，查詢可能會變慢或開始失敗。 在設計倉庫時，您也應該為這種情況做好計劃。

這對我們意味著什麼：

隨著我們添加更多課程和學生，我們的學生活動數據庫表將增長得非常快。 查詢已經開始放緩。 在設計模式時牢記這一點是有意義的。

問題 #4 ：您還想在數據倉庫中的其他任何地方發送您想要的數據嗎？

存儲在倉庫中的數據可能有許多不同的用例，除了主要的用例。 這些用例可幫助您考慮架構，並在構建架構時根據需要包含其他字段。

這對我們意味著什麼：

諮詢團隊使用領先分數，因此我們必須將其發送給 Salesforce。 特定課程團隊也可以使用領先評分的適合分數來自動免除他們的課程。 歸因模型由營銷團隊使用，因此我們必須以特定格式將其發送到 BI 工具。

最後，問題 #5 ：您是否有合適的團隊來做出以下決定：

1. 根據規模和分析用例，您應該使用哪個分析數據庫？
2. 當前用例的模式/數據模型應該是什麼？ 這個模式是否可擴展？
3. 創建分析數據庫需要什麼樣的 ETL？ ETL 需要多長時間？
4. 不同表的更新頻率是多少？ 您應該如何處理實時用例，例如推薦引擎的用例？

您將需要一名數據工程師、一名已經使用數據至少 3 到 5 年的高級工程師，以及一名數據科學家來做出許多此類決策。

思考完這5個問題，創業公司就可以決定是否建數據倉庫了。 以下是數據倉庫優缺點的簡單列表，可幫助您進一步評估：

優點 —

1. 您將完全控制您的數據，並在第三方工具變得更昂貴或不符合您的要求時輕鬆切換到它們。
2. 您可以構建數據科學產品！ 推薦、搜索、情緒分析、垃圾郵件與非垃圾郵件等。請注意並事先檢查您是否需要這些產品的實時數據，或者是否需要每小時/每天更新一次。
3. 如前所述，您可以為分析師節省大量時間和麻煩。 查詢將更快，數據將是可靠的。

缺點——

1. 您需要大量投資於工程和數據存儲資源，然後才能開始獲得收益。
2. 您的第一次構建可能遠非完美。 如果您是一家處於早期到中期階段的公司，那麼很多流程仍在不斷發展。 您無法涵蓋將在未來 3-6 個月內出現的案例。 面對諸如我們為什麼沒有想到這一點之類的問題，最終可能會讓您感到沮喪。 您將需要消除這些小挫折，並著眼於長期目標。
3. 大多數組織沒有足夠的研究和耐心來構建滿足其需求的數據倉庫解決方案。 在開始之前，您需要投入大量時間。

一旦你完成了這個練習，我很確定你將準備好為你的創業公司踏上數據分析的旅程，並將避免代價高昂的錯誤。 在下方發表評論，讓我們知道您是否喜歡這篇文章或覺得它有用。 請繼續關注下一個！

*如果我們只有在線渠道，我們可以使用谷歌分析多渠道歸因。 我們還有離線事件數據，可以上傳到谷歌分析。 問題解決了？ 唉! GA 禁止您發送任何個人身份信息。 在沒有電子郵件信息的情況下，很難將此數據鏈接到其他數據源，除非您將 Google Analytics 的 ID 映射到您自己數據庫中的電子郵件，查找這些 ID 並將具有這些 ID 的離線數據上傳到 GA。