探索商業智能的歷史

什麼是商業智能？

商業智能 (BI) 是當今與信息技術具有內在聯繫的一個術語，已經發展了 150 多年。 儘管它的起源早於計算機的發明，但只有在它們廣泛傳播之後，BI 才具有相關性，並且此後它的發展與計算機和數據庫的發展相結合。

BI 使用筆和紙

“商業智能”一詞的首次使用廣泛歸因於理查德·米勒·德文斯先生，他在 1865 年首次出版的《商業和商業軼事百科全書》一書中。他用它來描述成功的銀行家亨利·弗內斯爵士如何獲利通過在比賽前積極收集信息並採取行動來獲取信息。 這指出了這樣一個事實，即使用數據和經驗證據而不是直覺來製定業務戰略更可靠。 其他看到信息價值的人進一步加強了這個想法。

在 1800 年代的最後十年，Frederick Taylor 在美國引入了第一個正式的商業分析系統。 他的科學管理體系始於時間研究，分析生產技術和勞動者的身體動作，以找到促進工業生產的更高效率。

泰勒最終成為亨利福特的顧問，他在 1900 年代初開始測量他的福特 T 型車的每個部件在裝配線上完成所需的時間。 他的工作和他的成功徹底改變了全球製造業。 然而，他仍然為此使用筆和紙。

商業智能從計算機中得到提升

電子計算機在 1930 年代處於萌芽狀態，但在二戰期間迅速發展，作為盟國破解德國密碼的努力的一部分。

直到 1950 年代，計算機主要依靠穿孔卡片或穿孔磁帶來存儲數據。 這些是一大堆帶有小孔的卡片，用於存儲要由計算機處理的信息。 然而，在 1956 年，IBM 發明了第一個硬盤驅動器，使存儲大量信息成為可能，並具有更大的訪問靈活性。

不久之後，1958 年，IBM 研究員 Hans Peter Luhn 發表了一篇歷史論文，名為 A Business Intelligence System。 他提出了一種基於“興趣概況”將文件“選擇性傳播”到“行動點”的系統的潛力。 他的工作至今仍具有非凡的意義，因為他預測了當今最前沿的幾個商業智能趨勢，即信息系統根據用戶興趣進行學習和預測的能力。 今天我們稱之為機器學習。 Luhn 被公認為商業智能之父。

儘管 Luhn 提出的概念引起了幾個相關方的注意，但當時認為這個想法太昂貴而沒有任何實際用途。 需要更多的技術進步才能使其成為經濟上可行的解決方案。

在接下來的十年中，計算機的使用量呈爆炸式增長，即使考慮到每台計算機都是一台巨大的機器，它佔據了建築物的整個樓層，並且必須由數名高技能工程師管理才能正常運行。 專家們再次提出了使用計算機從數據中提取結論的想法，但主要問題是沒有可用的集中方法將所有數據集中在一個地方。 數據本身無法產生任何見解。 為了解決這一挑戰，設計了第一個數據庫管理系統。 後來，它們將被簡單地稱為數據庫。 第一代允許使用二叉樹策略進行第一次數據庫搜索。 這種策略雖然在當時解決了幾個問題，但現在被認為過於繁重和低效。 即便如此，對於負擔得起的公司來說，這個新工具提供了它的價值，被用來最終從可用數據中得出結論。

BI 技術改進：大玩家進入該領域

1970 年，IBM 的 Edgar Codd 發表了一篇名為《大型共享數據庫的數據關係模型》的論文。 它為下一代關係數據庫鋪平了道路，允許更廣泛的存儲和操作數據的能力。 然而，在一個奇怪的舉動中，IBM 沒有實施 Codd 的設計以保留其當前數據庫系統的收入。 直到競爭對手開始實施它們之後，IBM 才效仿。

到了這個時候，已經有足夠的市場讓第一批商業智能提供商出現。 其中有 SAP、Siebel 和 JD Edwards。 當時，它們被稱為決策支持系統 (DSS)。

目前最大的問題是這些數據庫存在“孤島”問題。 由於非常一維，它們的使用靈活性非常有限。 即使是簡單的問題，例如一個數據庫將城市編碼為“OH、NJ 和 NY”，而另一個使用“Ohio、New Jersey 和 New York”，交叉引用也是一項艱鉅的任務。

然而，越來越多的成功利用數據獲利的案例出現了。 當時最著名的一位來自尼爾森。 用於觀眾測量，被稱為尼爾森評級的營銷工具用於衡量有多少人在任何時候觀看特定的電視節目，使用稱為 Audimeter 的設備，該設備連接到電視機並記錄哪個頻道被監視了。

尼爾森收視率被認為是電視行業中最受關注的國家收視率報告。 然而，一年有四次會出現“黑色週”——沒有報告尼爾森評級的幾週。 由於在這些“黑色週”中沒有可靠的方法來衡量收視率，因此電視網絡將重播節目安排得滿滿噹噹。

行業和觀眾都已經習慣了“黑色週”，但它們於 1973 年 9 月結束。尼爾森推出了存儲瞬時審計計 (SIA)，將 1,200 戶家庭直接連接到該公司位於佛羅里達州的商業智能計算機。 它可以在短短 36 小時內產生全國評級，遠遠低於公司舊系統所需的一到兩週時間。 全國評級將在一周中的每一天、一年中的每一周提供。 不再需要“黑色週”，而且數據更加可用。

接近 70 年代末，Larry Ellison 和兩個朋友發布了 Oracle 數據庫的第一個商業版本。 它是市場上第一個真正的關係數據庫管理系統，取代了之前使用的分層數據庫和網絡數據庫的想法，以獲得更強大的結構，從而允許更靈活的搜索。 這項技術將決定未來幾十年 BI 的歷史和趨勢。

BI 的重要性在增長：我們需要更多空間！

較低的存儲空間價格和更好的數據庫允許下一代商業智能解決方案。 Ralph Kimball 和 Bill Inmon 提出了兩種不同但相似的策略來解決將業務的所有數據放在同一個地方以便能夠對其進行分析的問題。 這些是數據倉庫（DW）。 Inmon 被許多人認為是數據倉庫之父。

數據倉庫是旨在聚合來自其他數據源（主要是其他數據庫）的大量數據的數據庫，允許進行更深入的分析，並能夠交叉引用這些不同的數據源。 然而，它仍然過於技術性和昂貴。 報告需要由大量昂貴的 IT 技術人員運行和維護。

當時的高層管理人員將依靠 Crystal Reports 和 Microstrategy 等 BI 解決方案的輸出。 當然，還有 Microsoft Excel（1985 年發布）。 商業智能現在是可用於決策過程的工具的一個組成部分。

1989 年，Gartner 集團的 Howard Dresdner 為推廣“商業智能”一詞做出了貢獻，將其作為一個總稱來描述“通過使用基於事實的支持系統來改進商業決策的概念和方法”。

商業智能1.0

在 90 年代，隨著越來越多的競爭對手進入市場以及越來越多的 IT 專業人員熟悉該技術，數據倉庫成本下降。 這是“商業智能 1.0”的時期。

現在，企業員工一般都可以訪問數據，而不僅僅是高層管理人員。 然而，此時的問題是提出新問題仍然非常昂貴。 一旦一個問題被“設計”出來，答案就會很快得到，但僅限於那個問題。

為了減少這項工作，開發了一些新工具和“構建塊”來加快不同查詢的過程：

• ETL（提取、轉換和加載）是一組工具，類似於編程語言，可以更輕鬆地設計數據倉庫中的數據流。
• OLAP（在線分析處理）幫助為查詢的數據創建不同的可視化選項，使分析師能夠從手頭的信息中提取更好的結論。

時至今日，ETL 和 OLAP 工具仍然是商業智能解決方案的關鍵部分。

這也是企業資源規劃（ERP）系統流行的時期。 這些是巨大的管理軟件平台，集成了應用程序以管理和自動化業務的各個方面。 他們還為數據倉庫提供結構化數據，並在接下來的幾年中成為全球各大公司的核心。

1995 年，微軟發布了第一個“用戶友好”操作系統——Windows 95——計算機成為​​了常見的家庭用品。 這將對人們在接下來的幾十年裡如何生產和消費數據產生深遠的影響。

BI中斷：新千年的數據爆炸

到 2000 年，商業智能解決方案已經成為所有大中型企業的“必備”。 它現在被廣泛認為是保持競爭力的必要條件。

從解決方案提供商的角度來看，大量的解決方案開始在 IBM、微軟、SAP 和甲骨文等少數大型競爭對手手中合併。

在此期間出現了一些新概念。 使他們的數據倉庫保持最新的困難使一些公司重新考慮他們的方法，將他們的 DW 轉變為他們的“單一事實來源”。 對於已經存在的數據，其他程序將使用 DW 提供的信息而不是使用自己的信息，從而消除了大多數數據不兼容的問題。 說起來容易做起來難，帶來了很多技術挑戰。 然而，這個概念非常有用，以至於在接下來的幾年裡，市場上可用的解決方案將適應採用這種策略。

隨著數據變得越來越豐富，並且 BI 工具證明了它們的有用性，開發工作的目標是提高信息可用的速度，並降低訪問它的複雜性。 工具變得更容易使用，非技術人員現在可以自己收集數據並獲得見解，而無需技術支持的幫助。

2000 年代初期，社交網絡平台的蓬勃發展為公眾輿論在互聯網上自由獲取鋪平了道路，相關方可以收集（或“挖掘”）數據並進行分析。 到 2005 年，商業世界日益增強的互連性意味著公司需要實時信息，其中來自事件的數據可以在事件發生時實時合併到數據倉庫中。

谷歌分析是在這一年推出的，它為用戶提供了一種免費的方式來分析他們的網站數據。 這也是大數據一詞首次使用的年份。 來自 O'Reilly Media 的 Roger Magoulas 用它來指代“使用傳統商業智能工具幾乎不可能管理和處理的大量數據”。

為了應對管理這種呈指數增長的數據量所需的額外存儲空間和計算能力，公司開始尋找其他解決方案。 建造更大更快的計算機是不可能的，因此同時使用多台機器成為更好的選擇。 這就是雲計算的種子。

BI 的當代用途

在過去的 10 年裡，大數據、雲計算和數據科學成為幾乎每個人都知道的詞。 目前很難確認哪些新進展在過去幾年中最具影響力。 然而，有一些有趣的案例顯示了現代分析工具日益強大的力量。

廣告、Cookie 和 AdTech

2012 年，《紐約時報》發表了一篇文章，描述了塔吉特是如何在父母之前意外發現一名高中少女懷孕的。 通過分析，他們確定了 25 種產品，當這些產品一起購買時表明女性可能懷孕了。 該信息的價值在於，Target 可以在女性購物習慣可能改變的時期向孕婦發送優惠券。

一位憤怒的父親走進明尼阿波利斯郊外的一個目標，要求見經理。 他抱怨她的女兒收到嬰兒服裝的優惠券，儘管她還在上高中。 經理以公司的名義深表歉意，但幾天后，父親又打電話道歉： “原來我家裡發生了一些我沒有完全意識到的活動。 她的預產期是八月。 我欠你一個道歉。”

這個軼事示例展示了數據分析的當代力量。

政治

奧巴馬的連任競選策略在很大程度上建立在分析之上。 許多專家指出它是其成功​​的主要原因之一。 該策略由競選經理吉姆·梅西納（Jim Messina）設計，專注於收集選民數據並使用它來確保他們能夠 1）登記投票，2）被說服投票給奧巴馬，以及 3）在選舉日到場投票。 大約 100 名數據分析師參與了這項工作，他們使用在 HP Vertica 上運行並使用 R 和 Stata 編碼的環境。

為了實現這些目標，應用了幾項舉措，其中之一就是 Airwolf。 它旨在整合現場和數字團隊的努力，確保一旦現場團隊在門到門的競選活動中聯繫到選民，他們的興趣就會被記錄下來，以便他們經常收到當地組織者專門定制的電子郵件到每個人最喜歡的競選問題。

借助正確的工具和數據，分析師幾乎可以快速輕鬆地回答任何問題，無論數據最初來自何處。 奧巴馬競選活動的成功使大數據分析環境成為此後每場競選活動的標準要求。

科學

人類基因組計劃於 2003 年完成，但仍有許多問題沒有得到解答。 儘管繪製了構成人類 DNA 的整個核苷酸鹼基對序列，但要真正了解人類遺傳學的工作原理還需要更深入的研究——而且它是大數據的完美應用。 一個典型的人類基因組包含超過 20,000 個基因，每個基因由數百萬個鹼基對組成。 簡單地繪製基因組圖需要 100 GB 的數據，而對多個基因組進行測序和跟踪基因相互作用會使這個數字成倍增加——在某些情況下需要數百 PB。

通過在 2016 年發表的研究中應用分析，海法大學的科學家們能夠觀察到基因的所謂“社會特徵”。 長期以來，科學家們一直想弄清楚複雜遺傳效應的內部運作方式，這些效應參與了複雜疾病的產生。 這個目標特別困難，因為某些疾病的基因表達通常來自幾個相互相互作用的遺傳標記的組合。 因此，研究人員不僅必須梳理整個基因序列，而且還必須追踪多個不同基因之間的相互作用。

儘管仍有大量數據需要分析，但為了解和治愈大量大大小小的遺傳缺陷鋪平了道路。

前方的路

我們現在已經到了這樣一個時代，Facebook 可以在圖片中識別你的臉，谷歌可以預測哪種廣告最適合你的個人資料，Netflix 可以為你推薦觀看哪些節目。 這是您可以與電話交談的時候，而不僅僅是與電話線另一端的人交談。 能夠處理和處理大量數據是了解這些奇蹟是如何產生的基本步驟。

大數據仍然是一個增長趨勢。 大約 90% 的可用數據是在過去兩年中創建的。 在 2010 年的 Techonomy 會議上，Eric Sc​​hmidt 表示“從文明的黎明到 2003 年，整個世界創造了 5 EB 的信息。現在每兩天創造同樣數量的信息。”

處理如此大量的數據仍然存在許多挑戰。 數據質量是商業智能最令人頭疼的問題之一，它仍然是一個要求很高的領域。 分析，幫助理解公司正在收集的大量數據的必要技能也有很高的需求。 現在有多種分析方式：描述性分析、預測分析、規範分析、流分析、自動分析等。分析使用多種尖端技術從數據中提取洞察力，例如人工智能、機器學習和大量統計楷模。 終於到了成為一名數學家很酷的時候。

BI 工具現在通常在設計時考慮到特定行業，例如醫療保健、執法等。它現在可以跨多種設備工作並使用多種可視化工具，允許任何人通過交互式可視化界面對數據進行推理。 移動 BI 現在已成為現實。

通過結合大數據、機器學習和分析的優勢，您未來的生活可能會大不相同。 也許你可能不再需要去雜貨店了——你的冰箱會根據你的飲食習慣訂購你最可能需要的東西。 也許，你不會打電話給你的醫生說你生病了，因為他們甚至會在你開始感覺到第一個症狀之前給你打電話。

人類現在生活在信息時代，商業智能是我們這個時代的一個重要特徵，幫助我們理解這一切。 商業分析現在甚至是許多大學的學位課程。 商業智能的歷史是最近才出現的，但正在加速發展，並且日益密集。 BI 最好的日子還在後面。