數據倉庫架構：你需要知道的一切

在這個以數據為中心的世界中，我們每個人遲早都會產生每秒 1.7 MB 的數據也就不足為奇了。 但是所有這些數據會去哪裡呢？ 不應該有一個存儲單元來安全地保存所有這些信息，以便在需要時可以恢復它嗎？

如果我們告訴你有這樣的存儲單元怎麼辦？ 毫不奇怪，它被稱為數據倉庫。 它是一種分析工具，包含來自運營來源的數據和信息，旨在幫助決策和報告。

如今，全球數據倉庫市場已經上升到預計未來幾年將以16% 的複合年增長率增長的程度。

因此，讓我們深入了解數據倉庫及其架構。

了解更多：什麼是數據倉庫和數據挖掘

什麼是數據倉庫？

保存來自一個或多個來源的所有過去和交換數據的地方稱為數據倉庫。 擁有數據倉庫的主要目的是平滑企業的商業智能和報告流程。 它本質上是對其存儲的數據進行查詢和分析。

由於數據倉庫擁有來自多個來源的交易數據，它可以幫助企業：

• 保留舊記錄
• 評估現有數據並找出運營中的漏洞

設計數據倉庫的業務分析框架

通常，數據分析師會從倉庫中收集相關數據並對其進行分析，以幫助企業改善運營。 使用數據倉庫會派上用場，因為它有助於快速有效地訪問數據，從而提高整體生產力。

此外，您可以全面了解客戶和所有產品。 這樣，您可以確保順暢的客戶關係。

但要讓這一切發生，數據分析師需要首先了解業務需求。 為此，他們需要創建一個業務分析框架。

只有在構建了業務分析框架之後，我們才能繼續設計數據倉庫。 對此有三種看法：

• 自上而下視圖：在此視圖中，您可以看到設計倉庫所需的相關信息。
• 數據源視圖：顯示捕獲、存儲和管理的數據。
• 數據倉庫視圖：列出倉庫中的事實表、維度表和數據。
• 業務查詢視圖：在此，您可以從最終用戶的角度查看數據。

一旦您從所有這些觀點查看了數據，就該繼續學習這三種類型的數據倉庫架構了。

三種類型的數據倉庫架構

每次您計劃為公司設計數據倉庫時，您都可以考慮構建數據倉庫的路線圖以及以下三層架構。

1. 單層：這主要負責生成封閉的數據包集並減少其總體積。 但是，對於具有復雜數據和多個數據流的企業，不建議使用此類型。
2. 兩層：在這種類型的架構中，數據源被拆分，從而使數據組織和存儲過程更加高效。
3. 三層：這種類型的倉庫架構是最受歡迎的類型，因為它從原始數據中提供了非常有價值的見解，從而產生了有組織的數據流。

它由以下三層組成：

• 底層，包含倉庫的服務器。 在這裡，使用後端工具清理和加載數據。
• 中間層由 OLAP 服務器組成。 該層為用戶提供數據庫的抽象視圖，充當最終用戶和數據庫之間的連接。
• 頂層具有用於從倉庫中提取數據的API 和工具（查詢、數據挖掘、分析和報告工具）。

數據倉庫架構的組件

為了使架構的功能易於管理，倉庫包含一個 RDBMS 服務器，由五個主要組件包圍。

以下是數據倉庫架構的五個主要組成部分。

數據倉庫數據庫

倉庫架構的核心部分是一個包含所有業務信息的數據庫，這些信息使報告易於理解。 顯然，這意味著您必須選擇要使用哪種類型的數據庫才能將數據存儲在您的倉庫中。

接下來是您可以使用的四種數據庫類型：

• 關係數據庫是您通常每天都會遇到或使用的基於行的數據庫。 其中包括 Microsoft SQL Server、SAP、Oracle 和 IBM DB2。
• 分析數據庫是為信息儲存而果斷創建的，以支持和監督分析。 例如，Teradata 和 Greenplum。
• 數據倉庫應用程序實際上並不是一種容量數據庫。 它們是提供數據管理軟件的應用程序，例如 SAP Hana、Oracle Exadata 和 IBM Netezza。
• 基於雲的數據庫是可以在雲上促進和恢復的數據庫，目標是您無需購買任何硬件來設置數據倉庫。 例如，Amazon Redshift、Microsoft Azure SQL 和 Google BigQuery。

如果您有興趣了解有關數據科學的更多信息，請查看我們來自頂尖大學的數據科學培訓。

提取、轉換和加載工具 (ETL)

ETL 設備是數據倉庫架構的基礎。 這些有助於從各種來源中分離信息，將其更改為合理的排列，並將其堆疊到倉庫中。

您選擇的 ETL 工具將決定：

• 信息提取耗時
• 提取數據的方法
• 應用的更改類型以及為此需要付出的努力
• 用於信息驗證和清理以改進最終產品分析的業務規則定義
• 填寫丟失的信息
• 繪製從密鑰保險箱到 BI 應用程序的數據循環

元數據

元數據描述了數據倉庫並提供了一個信息系統。 它有助於開發、保護、處理和利用倉庫。 它有兩種類型：

• 技術元數據：它包括工程師和經理在執行倉庫開發和組織任務時可以使用的數據。
• 業務元數據：它包括為倉庫中的數據提供有效合理立場的數據。

元數據在組織理解倉庫中存在的數據並將其轉換為可用信息方面發揮著重要作用。

數據倉庫訪問工具

數據倉庫使用一個數據庫或一組數據庫作為設施。 在大多數情況下，企業無法合法地使用數據庫。 這就是他們使用多種工具的原因，包括：

• 查詢和報告工具：這些工具可幫助用戶在電子表格、計算或智能視覺中創建公司報告，以進行深入分析。
• OLAP 設備：這些設備有助於開發多維數據倉庫並從各個角度對大數據進行分析。
• 數據挖掘工具：這些工具系統化了識別大量數據中的集群和連接的方法，利用統計建模策略。 了解有關數據挖掘技術的更多信息。
• 應用程序開發工具：這些工具有助於製作定制報告並以翻譯形式呈現，預期用於特定報告目的。

數據倉庫總線

它有助於決定數據在倉庫中的進展。 這個流可以被安排為流入、上行、下行、流出和元流。

在設計數據總線時，您需要考慮跨數據集市的通用度量和事實。

數據集市

這是一個入口層，用於將信息傳遞給用戶。 它是作為大型數據倉庫的一種可能性引入的，因為它只需要很少的時間和金錢來創建。 無論如何，數據集市沒有標準含義，因為它因人而異。

簡單來說，數據集市是數據倉庫的輔助，用於分割信息，是為特定的用戶群製作的。

數據倉庫架構的層次

構建數據倉庫主要取決於特定的業務。 因此，每個架構都有四層。 讓我們在下面詳細研究它們。

數據源層

數據源層是從各種內部和外部來源收集的唯一信息駐留在社交數據庫中的地方。 以下是數據源層的示例：

• 運營數據——產品信息、庫存信息、營銷信息或人力資源信息
• 社交媒體數據——網站點擊量、內容名聲、聯繫頁面完成
• 局外人數據——人口統計信息、學習信息、統計信息

雖然大多數數據倉庫管理有組織的數據，但應該考慮未來對非結構化數據源的利用，例如語音帳戶、掃描的圖片和非結構化文本。 這些海量的數據是重要的信息倉庫，在建立倉庫時應該查看。

數據暫存層

該層位於信息源和數據倉庫之間。 在這一層中，信息與各種內部和外部數據源分離。 由於源數據來自各種組織，因此數據提取層將使用多種技術和設備來提取必要的信息。

一旦提取的數據被堆疊起來，它將接受高級質量檢查。 最終結果將是您將堆疊到數據倉庫中的完美且有組織的數據。 暫存層包含給定的部分：

• 登陸數據庫和暫存區

登陸數據庫存儲從數據源恢復的信息。 在數據進入倉庫之前，暫存過程會對其進行嚴格的質量檢查。 安排是建築的基本步驟。 糟糕的信息會導致數據不足，結果是糟糕的業務動態。 編排層是您需要根據業務流程進行更改以處理非結構化信息源的地方。

• 數據集成工具

提取、轉換和加載工具 (ETL) 是用於從源框架中提取信息、更改和準備信息並將其加載到倉庫中的數據工具。

閱讀：印度數據科學家的薪水

數據存儲層

這一層是整理區中被沖走的數據作為單獨的中央檔案存放的地方。 根據您的業務和倉庫架構需求，您的數據存儲可能是數據倉庫中心、數據集市（為特定部門重新創建的數據倉庫）或運營數據存儲 (ODS)。

數據表示層

這是用戶與清理和整理的數據進行通信的地方。 數據架構的這一層使用戶能夠查詢數據以獲得項目或服務洞察力，分解數據以進行理論業務情況，並創建計算機化或專門指定的報告。

您可以使用具有易於理解的圖形用戶界面 (GUI) 的 OLAP 或報告工具來幫助用戶構建他們的查詢、執行分析或計劃他們的報告。

數據倉庫的特點

數據倉庫是面向主題的、非易失性的、隨時間變化的，並且是一組集成的數據，可以為組織提供快速有效的決策過程。

• 面向主題：數據倉庫可用於檢查特定的知識分支。 例如，“銷售”可以是一個特定的主題。
• 集成：數據倉庫包含來自不同來源的信息。 例如，來源 A 和來源 B 可能有多種區分物品的方法，但是，在倉庫中，識別物品的方法只有一種。
• 時變：一個倉庫包含歷史數據。 例如，可以從數據倉庫中恢復 3 個月、半年、一年或更早的信息中的信息。 這與只存儲最新信息的事務框架不同。 例如，事務框架可以保存客戶端的最新位置，而數據倉庫可以保存與客戶端相關的所有位置。
• 非易失性：數據倉庫的最佳特性之一是數據一旦存儲在其中，就不可能改變。 因此，倉庫中記錄的信息永遠不會被修改。

如何使用數據倉庫架構？

在尋找洞察力時，建立您的企業或企業需要哪種類型的數據庫以及您打算如何與之協作至關重要。 在考慮數據倉庫設計時，評估誰將檢查信息以及他們需要什麼來源同樣至關重要。

儘管數據倉庫與數據集市的玩笑並不總是與較小的組織相關，但那些擁有更多組、部門和明確需求的組織可能會從數據集市中受益。 數據集市的特定主題性質使其成為數據倉庫架構的重要組成部分。

此外，根據您組織的規模，各種倉庫設計可能會越來越實用。 了解哪個最好取決於您的數據、集合的大小和您的業務需求。

結論

數據倉庫是一種數據科學框架，包含來自單一或各種來源的真實和可交換信息。 這是訪問新舊數據、從中獲得洞察力並通過分析現有數據改進業務流程的絕佳方式。

此外，數據倉庫的概念是面向主題的，因為它提供與主題相關的數據，而不是協會正在進行的活動。 在倉庫中，合併意味著為來自各種數據庫的每個可比數據建立一個典型的度量單位。 如前所述，它也是非易失性的，這意味著在輸入新信息時不會刪除過去的信息。

數據倉庫的時變特性允許高時間範圍的實際可用性。

數據倉庫有五個基本部分。 1) 數據庫 2) ETL 工具 3) 元數據 4) 查詢工具 5) 數據集市

查詢工具的四個基本類別是查詢和報告工具、應用程序開發工具、數據挖掘設備和 OLAP 工具。

信息源、變更和重新定位工具用於播放所有轉換和大綱。

在數據倉庫架構中，元標記承擔著一項重要的工作，因為它指示數據倉庫中數據的來源、用途、質量和亮點。

我們希望本文中的信息能夠幫助您了解數據倉庫架構的基礎知識。 如需更多信息，請聯繫 upGrad 的專家。 只需給我們發送電子郵件，我們就會回复您以幫助您解決問題。

如果您想了解數據科學，請查看 IIIT-B 和 upGrad 的數據科學執行 PG 計劃，該計劃是為在職專業人士創建的，提供 10 多個案例研究和項目、實用的實踐研討會、行業專家的指導、1與行業導師一對一，400 多個小時的學習和頂級公司的工作協助。