小數據,大機遇

已發表: 2022-03-11

執行摘要

什麼是大數據?
  • “大數據”是一種主觀度量,描述的數據集非常龐大,以至於無法通過典型的數據庫軟件工具進行管理和分析。
  • 相反,這些集合被計算分析以揭示模式、趨勢和關聯,特別是與人類行為和交互相關的。
  • 隨著互聯網、電子商務、社交媒體和設備互連的出現,大數據和分析已成為主流——所有這些都促成了大數據成為現實所需的可分析數據量的實質性增加。
  • Gartner 和 IBM 將大數據分解為四個 V: VolumeVelocityVarietyVeracity——每一個都是將大數據轉化為貨幣化價值所需的組成部分。
什麼是小數據?
  • 小數據,也是一種主觀衡量標準,被定義為在數量和格式上足夠小的數據集,以便在不使用複雜系統和機器進行分析的情況下,使人們可以訪問、提供信息、可操作和可理解的數據。
  • 直到大數據出現,小數據才成為一個獨立的類別,因此是後者的衍生品。
  • 考慮分析策略的小型企業最初應專注於使用小數據來生成對客戶的可操作見解,然後才能成熟地使用大數據應用程序進行更具規範性和預測性的分析。
定義數據分析。
  • 數據分析是一門歷史悠久的學科,訓練有素的統計學家和數據科學家使用複雜的軟件程序分析具有統計意義的(即大型)樣本集,以識別模式和趨勢。 這種分析使洞察力有助於做出更好的決策,主要是圍繞客戶交互。
  • 近年來,支持這項工作的軟件變得更加易於訪問、功能強大且易於使用,從而使公民數據科學家得以出現並開始承擔以前訓練有素的技術專家領域的項目。

介紹

數據和分析已迅速成為當今商業世界的流行語。 如果不提及具有前瞻性思維的公司“智能地使用數據”來收集對客戶行為的洞察、進行風險分析或更有效地管理其基礎設施,那麼將很難破解一本期刊。 大型、數據豐富的公司,尤其是那些受監管的公司,多年來一直從事以數據為主導的決策,最好的例證是 Capital One 開創性的數據分析以更好地了解其客戶——隨後用於推出超目標和巨大的洞察力有影響力的營銷活動,導致其大獲成功。

但是,儘管開始於利基市場,但數據的利用已迅速成為主流。 如今,對於一家給定的公司,無論規模和人力如何,幾乎沒有什麼可信的理由不將分析作為核心業務流程/能力。 成本、資源和專業知識等傳統反對意見已不再適用。 相反,內部生成的數據正迅速成為一種無處不在的戰略資產,以任何其他方式被尋求保持競爭力的競爭企業所利用。

本文旨在粗略地向讀者介紹數據和分析的世界,帶您了解兩者獨有的市場動態、工具、參與者和解決方案,然後將後半部分用於小型企業的實踐實施指南和框架。

大數據和小數據的外行指南

隨著互聯網的出現以及電子商務、社交媒體和設備的互連性,全球可用和可分析數據的數量激增,對於那些擁有利用它的工具的人來說。 每條推文、帖子、點贊、向左滑動、向右滑動、雙擊、評論、文本和交易——每一個都是可用於繪製我們的數字足蹟的數據,這些數據告訴我們我們是誰、我們如何做出決定、在哪里以及為什麼做決定。 這些數據因其形式的廣泛性、深度和復雜性而被恰當地稱為“大數據”,它為規範性和預測性分析提供了無限可能,使我們每天消費的許多產品的超個性化成為可能。

形式上,大數據描述了可以通過計算分析以揭示模式、趨勢和關聯的大型數據集,通常與人類行為和交互有關。 對於被稱為“大”的數據,集合/銀行必須大到需要先進的數據方法和復雜的系統才能從中提取價值。

在 2001 年的一份研究報告中,META Group(現為 Gartner)在三個維度中構建了大數據,稱為數據的三個 V。 它們如下: Volume (數量)、 Velocity (產生/傳輸的速度)和Variety (類型和來源的範圍)。 IBM 隨後將這三個 V 擴展為四個 V,將數據的準確性(質量/完整性)作為獲取價值所需的最終維度。

圖 1:大數據的四個 V

…但您可能已經聽說過大數據。 另一方面,小數據是被認為足夠適中的數據的子類,以便人們可以訪問、提供信息和可操作,而無需過於復雜的分析工具。 前麥肯錫顧問艾倫邦德最好的總結是,“大數據是關於機器的,而小數據是關於人的”——特別是,有意義的見解被組織和打包,用於推導關於人的因果關係、模式和“為什麼”的原因。

基於 SaaS 的分析

隨著數據可用性和實用性的提高,一個獨立的分析行業出現了。 曾經是碩士和博士級別的統計學家、數據科學家和分析師的專屬場所,分析已經發展成為一個功能強大但成本低廉的自助軟件即服務 (SaaS) 平台行業,即使是最強大的軟件即服務 (SaaS) 平台,新手從他們的數據中提取價值。 以前缺乏執行此類分析所需的專業知識或預算的較小公司現在正在與資源更豐富的同行競爭,並在其市場上建立可防禦的微塵。

除了 SaaS 模式的成本優勢,技術和服務研究公司 Aberdeen Group 的研究表明,採用 SaaS 工具的組織擁有本能地使用數據做出決策並實現其 ROI 目標的員工數量是其兩倍比那些沒有的更快。 對於大多數公司來說,電子郵件營銷報告、谷歌分析和其他基於 Web 的第三方分析工具已經在積極使用,此外還有來自會計、營銷、ERP 和 CRM 系統的內部生成報告,並被用作主要機制將他們的小數據貨幣化。

更重要的是,儘管它是一個龐大且不斷增長的市場,其精確衡量可能很困難,但 IDC 根據 Forrester Research 估計,截至 2017 年,全球商業智能和分析工具市場規模接近 140 億美元,同比增長 11.7% ,一家全球市場研究公司,預測到 2021 年的複合年增長率為 15%。

市場份額數據

不出所料,分析工具和解決方案市場由老牌軟件公司(如 SAP、IBM、甲骨文和微軟)主導。 截至 2015 年,SAP 以 10% 的市場份額和 12 億美元的分析和商業智能 (BI) 產品收入領先市場; SAS Institute 排名第二,佔有 9% 的份額; IBM 以 8% 的份額位居第三,甲骨文和微軟分別以 7% 和 5% 的份額位居第四和第五位。 有趣的是,由於 Sentiment Strategies、Tableau 和 Teradata 等風險投資支持的初創公司的高於市場增長,五家最大供應商的市場份額一直在下降,這表明該行業未來的大部分增長將由較小的、更快、更敏捷的公司。

圖 2:美國主要數據分析提供商,按公司分列的市場份額

小公司數據分析實施指南

在盡可能高的水平上,以數據為中心的文化使管理層更有信心,他們能夠經常且始終如一地做出最佳決策,同時根據相同版本的事實(透明、可量化的事實)開展工作。 畢竟,我們中的大多數人都參加過這樣的會議,交戰的高管們通過依靠不同的軼事來源、事實模式和解釋提出/捍衛不同的論點,很快就對輸入的完整性和輸出的完整性提出了質疑。 因此,尋求走數據分析道路的特定小型企業必須做出的第一個決定是,該企業是否真正尋求成為數據驅動的組織。

一旦做出這種自上而下的決定,就必須建立一個框架來優化新戰略重點的潛力和實用性。 首先,必須問幾個問題。 首先,給定公司、項目、計劃或部門的短期和長期目標是什麼? 其次,誰應該為努力及其結果負責? 第三,公司、項目、計劃或部門想用數據解決哪些具體問題? 第四,應該使用什麼工具來推動主動性?

回答完這些問題後,下一步就是製定切實可行的執行計劃,通過一些規劃、組織結構、自上而下的方向和自下而上的熱情,將手頭的組織定位為產生真實和可衡量的結果比過去更一致。 下圖旨在提供一個框架來考慮簡單數據分析方法的各種元素。

圖 3:數據分析方法的要素、維度和注意事項匯總

關於目標問題

這是第一個正確的重要問題。 在高層次上,任何尋求利用其數據的公司的最高目標是開發一個系統化的流程來製定合理的業務決策——一個一致且可重複的流程,並產生明顯更好的結果。 在這個時刻,重要的是要注意,成為一個健全的面向數據的組織是一段旅程,而不是一個目的地,因此,從上層“買入”和從底層達成共識是重要的基礎步驟,將被證明是至關重要的大規模採用和充分利用分析資產。 獲得認可後,經過試驗和測試的下一步是戰略性地安排一些“速贏”,以提高看到這一過程取得成果所需的門檻興奮和參與度。 研究和我的經驗決定了一種實現方法,即假設以下結構、順序和考慮因素,建立共識、支持和快速獲勝:

從描述性分析開始——一個簡單的可視化儀表板,使用現有的交易數據突出企業績效,得出以前在沒有可量化數據的情況下被證明是無定論的結論。 接下來,在您的儀表板中開發向下鑽取功能,戰略性地與合適的同事/組織影響者分享見解、績效要點和自助說明。 這將啟動向其下屬的傳播過程以及您尋求培養的數據依賴文化。

第二階段:利用內部技術資源或在第三方供應商的幫助下,學習更複雜的預測分析能力。 這些預測能力融合了內部和外部數據源,以更好地回答特定的業務問題,例如,“客戶背叛的可能性有多大?”或“購買 x 的客戶,通常也購買 y”,並提供真實的時間洞察部門或給定計劃的績效。 在這種情況下,“外部數據源”包括社交媒體數據、銷售人員數據或用戶體驗數據,所有這些都提供了豐富且具有統計意義的洞察力來源,而內部數據仍然過於有限,無法單獨利用。

第三階段是繼續進行高級、規範性分析,幫助確定適當的行動,以根據歷史數據的背景引導/搶占消費者、公司、競爭對手、員工或供應商的行為。 需要注意的是,這個階段通常開始標誌著從小數據到大數據的轉變; 然而,這是一個必要的步驟,應該納入您公司範圍的決策過程,以確保最高水平的輸入輸出完整性和決策的一致性。

圖 4:具有分析能力的組織確定目標和目的的框架

深入了解分析的不同階段

描述性分析——儀表板

不言而喻,衡量的東西是經過管理的,因此通過開發一個單一的數據確定性真理,組織內的領導者能夠更好地做出更合理、更統一的決策。 儀表板是此類分析之旅的起點,也是公司數據確定性事實的直觀說明。 當然,與一個群體相關的內容可能對另一個群體毫無意義,因此應適當考慮給定儀表板的目的或主題,應包含哪些信息,相關的受眾受眾是誰,以及什麼是問題/問題是該小組正在尋求回答/解決。

圖 5:銷售分析儀表板示例

圖 6:電子商務示例分析儀表板

精心設計的儀表板推動決策制定,而不是簡單地呈現歷史信息,並且最有效地將注意力集中在趨勢和反復出現的模式(正面和負面)上,同時準確地說明企業的生命力。 更複雜的儀表板提供向下鑽取功能,使領導者能夠通過註釋和共享功能找到診斷問題的根本原因,從而實現更動態的實時查看。

預測分析——數據混合、探索和查詢

儀表板流程完成後,有抱負的數據驅動型組織可能會開始變得更加雄心勃勃。 為此,典型的下一步是“使用大量多樣的數據進行更高級的分析,並為決策領域提供更多維度。” 通過將進一步豐富的公司特定數據與第三方(從 Experian、Acxiom 和 D&B 等垂直特定供應商到 Facebook、Twitter 和 Salesforce 等社交媒體或銷售數據提供商)混合,特定公司可以探索更大的、更廣泛、更多樣化和具有統計意義的集合,以提供對公司績效和客戶行為的新的和更好的洞察力。

規範性分析——將分析部署到業務流程中

在數據、客戶、法規和特定業務問題/問題方面具有不同需求以及具有不同預算和內部技能組合的企業級公司可能會有技術供應商來滿足他們更獨特的需求。 他們的運營規模使得將分析應用到他們的業務流程和工作流程中的能力變得更加重要和經濟。 通常,這些公司將在受監管的行業中,他們需要能夠證明他們有公平和可重複的治療。

貸款人在他們的貸款政策中沒有表現出任何偏見,無論是性別、收入還是種族。

關於責任問題

確定具體行動是一回事,實施它是另一回事。 診斷、處方和決策與負責預期結果的個人/團體之間需要建立聯繫。 正是在這裡,執行發起人的角色變得很重要。

執行發起人(被提名為數據豐富的擁護者和事實上的首席數據官)表示,無論在小型公司還是大型公司,都是個人,通常是首席執行官、首席財務官或首席營銷官,他們已經沉浸在數據和分析領域,適應了這類問題最好由數據解決,或者至少相信數據分析的變革潛力。

除了這個主角之外,這個過程通常還需要一個次要的、更親力親為的擁護者,尤其是當公司開始從描述性分析過渡到預測性分析時。 傳統上,此人是受過技術培訓的內部數據科學家,但最近已成為一名精通技術的愛好者,通常被稱為公民數據科學家。 這個人通常是自我選擇的——自稱是電子表格騎師,在求知慾和靈巧之間取得了適當的平衡,但願意生活在實施的雜草中。 在許多情況下,這個人在認識到正式數據分析過程可以在他們的公司創造的潛在影響方面領先於管理層,但只是缺乏推銷他們的願景所需的地位或信譽。

關於業務問題的問題

每家成功和失敗的公司都有其獨特的挑戰,只有通過適當組合特定的資源、流程和能力才能解決。 也就是說,最適合通過數據解決的各種業務挑戰通常可以使用圖 7 中列出的框架來減少、分類和解決。

此外,多年來已經設計了一些軼事指南/參數,這進一步優化了不僅識別正確類型的問題以使用數據解決的機會,而且還優化了它們被成功解決的機會。 這些指導方針/參數如下: 首先,選擇意義重大的簡單、明確的問題; 第二,從數據中尋找答案,以解決方案的實用性為目標,而不是學術答案的完美; 第三,在提供診斷和解決方案時,牢記接受者的性質和知識基礎; 最後,只選擇可以用現有數據和解決方案衡量和量化的問題,這些問題和解決方案可以同等地跟踪。

圖 7:確定要解決的業務問題的框架

關於正確的工具和方法的問題

我們最初的四個框架問題中的最後一個問題是關於構建一個可持續的面向數據的組織,是關於工具、方法或平台的選擇。 對此,我首先要說明的是,近年來數據分析工具有了長足的發展,對業務用戶有利也有弊。 優點包括與租賃此類工具相關的成本大幅下降,以及功能列表和可用選項的複雜性增加,因為它們已經從特定功能的工具過渡到具有重疊功能的平台。 此外,SaaS 供應商提供免費試用,儘管對數量和數據類型有限制; 新顧客有機會在測試多個平台後做出明智的購買決定。

這些平台的主要缺點是,為了保持彼此之間的競爭力,供應商在復雜性方面進行瞭如此積極的創新,以至於他們的產品現在接近功能飽和,提供的產品超出了普通商業用戶的實用性。 不幸的結果是新手用戶的壓倒性優勢,這使得實現前面討論的“速贏”變得更加困難,從而降低了數據文化在給定公司中紮根的可能性。

幸運的是,有許多資源可用於幫助潛在用戶、評估和比較競爭的商業智能解決方案,儘管一些關於核心通用功能的知識對於根據公司的特定需求和優先事項評估它們很有用。 一些此類功能包括:數據連接的數量和範圍、預組裝儀表板的可用性、向下鑽取、發布和共享功能、與數據混合和探索軟件功能的集成、擴展潛力(在數量和品種參數上)、數量建模方法的準確性和準確性,以及每個特定行業的客戶參考基礎。 雖然總結很簡單,但上面的圖表 7 列出了一些在不同類別(描述性、預測性、規範性)中發揮作用的主要供應商。

小數據,大機遇

儘管起步於利基市場,但很明顯,數據分析和基於 SaaS 的分析工具的市場近年來發生了長足的發展,這對公民數據科學家及其公司大有裨益。 大數據、小數據、自助服務工具——現在每一個都足夠主流,足以保證它們被視為即使是技術含量最低的企業的核心競爭力。 換句話說,由於生成瞭如此多有用的、可操作的數據,而且自助服務工具的成本與所提供的特性和功能成反比,即使是小型企業也幾乎沒有理由不開始以某種方式利用數據。

這篇文章應該已經說明,只要稍加規劃、設定目標和選擇贊助人,即使是您的初創公司也可以開始與您打算顛覆的行業巨頭展開競爭,在此過程中為您釋放巨大的經濟價值和你的利益相關者。 你只需要開始; 所以去吧——開始吧!