探索商业智能的历史

什么是商业智能？

商业智能 (BI) 是当今与信息技术具有内在联系的一个术语，已经发展了 150 多年。 尽管它的起源早于计算机的发明，但只有在它们广泛传播之后，BI 才具有相关性，并且此后它的发展与计算机和数据库的发展相结合。

BI 使用笔和纸

“商业智能”一词的首次使用广泛归因于理查德·米勒·德文斯先生，他在 1865 年首次出版的《商业和商业轶事百科全书》一书中。他用它来描述成功的银行家亨利·弗内斯爵士如何获利通过在比赛前积极收集信息并采取行动来获取信息。 这指出了这样一个事实，即使用数据和经验证据而不是直觉来制定业务战略更可靠。 其他看到信息价值的人进一步加强了这个想法。

在 1800 年代的最后十年，Frederick Taylor 在美国引入了第一个正式的商业分析系统。 他的科学管理体系始于时间研究，分析生产技术和劳动者的身体动作，以找到促进工业生产的更高效率。

泰勒最终成为亨利福特的顾问，他在 1900 年代初开始测量他的福特 T 型车的每个部件在装配线上完成所需的时间。 他的工作和他的成功彻底改变了全球制造业。 然而，他仍然为此使用笔和纸。

商业智能从计算机中得到提升

电子计算机在 1930 年代处于萌芽状态，但在二战期间迅速发展，作为盟国破解德国密码的努力的一部分。

直到 1950 年代，计算机主要依靠穿孔卡片或穿孔磁带来存储数据。 这些是一大堆带有小孔的卡片，用于存储要由计算机处理的信息。 然而，在 1956 年，IBM 发明了第一个硬盘驱动器，使存储大量信息成为可能，并具有更大的访问灵活性。

不久之后，1958 年，IBM 研究员 Hans Peter Luhn 发表了一篇历史论文，名为 A Business Intelligence System。 他提出了一种基于“兴趣概况”将文件“选择性传播”到“行动点”的系统的潜力。 他的工作至今仍具有非凡的意义，因为他预测了当今最前沿的几个商业智能趋势，即信息系统根据用户兴趣进行学习和预测的能力。 今天我们称之为机器学习。 Luhn 被公认为商业智能之父。

尽管 Luhn 提出的概念引起了几个相关方的注意，但当时认为这个想法太昂贵而没有任何实际用途。 需要更多的技术进步才能使其成为经济上可行的解决方案。

在接下来的十年中，计算机的使用量呈爆炸式增长，即使考虑到每台计算机都是一台巨大的机器，它占据了建筑物的整个楼层，并且必须由数名高技能工程师管理才能正常运行。 专家们再次提出了使用计算机从数据中提取结论的想法，但主要问题是没有可用的集中方法将所有数据集中在一个地方。 数据本身无法产生任何见解。 为了解决这一挑战，设计了第一个数据库管理系统。 后来，它们将被简单地称为数据库。 第一代允许使用二叉树策略进行第一次数据库搜索。 这种策略虽然在当时解决了几个问题，但现在被认为过于繁重和低效。 即便如此，对于负担得起的公司来说，这个新工具提供了它的价值，被用来最终从可用数据中得出结论。

BI 技术改进：大玩家进入该领域

1970 年，IBM 的 Edgar Codd 发表了一篇名为《大型共享数据库的数据关系模型》的论文。 它为下一代关系数据库铺平了道路，允许更广泛的存储和操作数据的能力。 然而，在一个奇怪的举动中，IBM 没有实施 Codd 的设计以保留其当前数据库系统的收入。 直到竞争对手开始实施它们之后，IBM 才效仿。

到了这个时候，已经有足够的市场让第一批商业智能提供商出现。 其中有 SAP、Siebel 和 JD Edwards。 当时，它们被称为决策支持系统 (DSS)。

目前最大的问题是这些数据库存在“孤岛”问题。 由于非常一维，它们的使用灵活性非常有限。 即使是简单的问题，例如一个数据库将城市编码为“OH、NJ 和 NY”，而另一个使用“Ohio、New Jersey 和 New York”，交叉引用也是一项艰巨的任务。

然而，越来越多的成功利用数据获利的案例出现了。 当时最著名的一位来自尼尔森。 用于观众测量，被称为尼尔森评级的营销工具用于衡量有多少人在任何时候观看特定的电视节目，使用称为 Audimeter 的设备，该设备连接到电视机并记录哪个频道被监视了。

尼尔森收视率被认为是电视行业中最受关注的国家收视率报告。 然而，一年有四次会出现“黑色周”——没有报告尼尔森评级的几周。 由于在这些“黑色周”中没有可靠的方法来衡量收视率，因此电视网络将重播节目安排得满满当当。

行业和观众都已经习惯了“黑色周”，但它们于 1973 年 9 月结束。尼尔森推出了存储瞬时审计计 (SIA)，将 1,200 户家庭直接连接到该公司位于佛罗里达州的商业智能计算机。 它可以在短短 36 小时内产生全国评级，远远低于公司旧系统所需的一到两周时间。 全国评级将在一周中的每一天、一年中的每一周提供。 不再需要“黑色周”，而且数据更加可用。

接近 70 年代末，Larry Ellison 和两个朋友发布了 Oracle 数据库的第一个商业版本。 它是市场上第一个真正的关系数据库管理系统，取代了之前使用的分层数据库和网络数据库的想法，以获得更强大的结构，从而允许更灵活的搜索。 这项技术将决定未来几十年 BI 的历史和趋势。

BI 的重要性在增长：我们需要更多空间！

较低的存储空间价格和更好的数据库允许下一代商业智能解决方案。 Ralph Kimball 和 Bill Inmon 提出了两种不同但相似的策略来解决将业务的所有数据放在同一个地方以便能够对其进行分析的问题。 这些是数据仓库（DW）。 Inmon 被许多人认为是数据仓库之父。

数据仓库是旨在聚合来自其他数据源（主要是其他数据库）的大量数据的数据库，允许进行更深入的分析，并能够交叉引用这些不同的数据源。 然而，它仍然过于技术性和昂贵。 报告需要由大量昂贵的 IT 技术人员运行和维护。

当时的高层管理人员将依靠 Crystal Reports 和 Microstrategy 等 BI 解决方案的输出。 当然，还有 Microsoft Excel（1985 年发布）。 商业智能现在是可用于决策过程的工具的一个组成部分。

1989 年，Gartner 集团的 Howard Dresdner 为推广“商业智能”一词做出了贡献，将其作为一个总称来描述“通过使用基于事实的支持系统来改进商业决策的概念和方法”。

商业智能1.0

在 90 年代，随着越来越多的竞争对手进入市场以及越来越多的 IT 专业人员熟悉该技术，数据仓库成本下降。 这是“商业智能 1.0”的时期。

现在，企业员工一般都可以访问数据，而不仅仅是高层管理人员。 然而，此时的问题是提出新问题仍然非常昂贵。 一旦一个问题被“设计”出来，答案就会很快得到，但仅限于那个问题。

为了减少这项工作，开发了一些新工具和“构建块”来加快不同查询的过程：

• ETL（提取、转换和加载）是一组工具，类似于编程语言，可以更轻松地设计数据仓库中的数据流。
• OLAP（在线分析处理）帮助为查询的数据创建不同的可视化选项，使分析师能够从手头的信息中提取更好的结论。

时至今日，ETL 和 OLAP 工具仍然是商业智能解决方案的关键部分。

这也是企业资源规划（ERP）系统流行的时期。 这些是巨大的管理软件平台，集成了应用程序以管理和自动化业务的各个方面。 他们还为数据仓库提供结构化数据，并在接下来的几年中成为全球各大公司的核心。

1995 年，微软发布了第一个“用户友好”操作系统——Windows 95——计算机成为了常见的家庭用品。 这将对人们在接下来的几十年里如何生产和消费数据产生深远的影响。

BI中断：新千年的数据爆炸

到 2000 年，商业智能解决方案已经成为所有大中型企业的“必备”。 它现在被广泛认为是保持竞争力的必要条件。

从解决方案提供商的角度来看，大量的解决方案开始在 IBM、微软、SAP 和甲骨文等少数大型竞争对手手中合并。

在此期间出现了一些新概念。 使他们的数据仓库保持最新的困难使一些公司重新考虑他们的方法，将他们的 DW 转变为他们的“单一事实来源”。 对于已经存在的数据，其他程序将使用 DW 提供的信息而不是使用自己的信息，从而消除了大多数数据不兼容的问题。 说起来容易做起来难，带来了很多技术挑战。 然而，这个概念非常有用，以至于在接下来的几年里，市场上可用的解决方案将适应采用这种策略。

随着数据变得越来越丰富，并且 BI 工具证明了它们的有用性，开发工作的目标是提高信息可用的速度，并降低访问它的复杂性。 工具变得更容易使用，非技术人员现在可以自己收集数据并获得见解，而无需技术支持的帮助。

2000 年代初期，社交网络平台的蓬勃发展为公众舆论在互联网上自由获取铺平了道路，相关方可以收集（或“挖掘”）数据并进行分析。 到 2005 年，商业世界日益增强的互连性意味着公司需要实时信息，其中来自事件的数据可以在事件发生时实时合并到数据仓库中。

谷歌分析是在这一年推出的，它为用户提供了一种免费的方式来分析他们的网站数据。 这也是大数据一词首次使用的一年。 来自 O'Reilly Media 的 Roger Magoulas 用它来指代“使用传统商业智能工具几乎不可能管理和处理的大量数据”。

为了应对管理这种呈指数增长的数据量所需的额外存储空间和计算能力，公司开始寻找其他解决方案。 建造更大更快的计算机是不可能的，因此同时使用多台机器成为更好的选择。 这就是云计算的种子。

BI 的当代用途

在过去的 10 年里，大数据、云计算和数据科学成为几乎每个人都知道的词。 目前很难确认哪些新进展在过去几年中最具影响力。 然而，有一些有趣的案例显示了现代分析工具日益强大的力量。

广告、Cookie 和 AdTech

2012 年，《纽约时报》发表了一篇文章，描述了塔吉特是如何在父母之前意外发现一名高中少女怀孕的。 通过分析，他们确定了 25 种产品，当这些产品一起购买时表明女性可能怀孕了。 该信息的价值在于，Target 可以在女性购物习惯可能改变的时期向孕妇发送优惠券。

一位愤怒的父亲走进明尼阿波利斯郊外的一个目标，要求见经理。 他抱怨她的女儿收到婴儿服装的优惠券，尽管她还在上高中。 经理以公司的名义深表歉意，但几天后，父亲又打电话道歉： “原来我家里发生了一些我没有完全意识到的活动。 她的预产期是八月。 我欠你一个道歉。”

这个轶事示例展示了数据分析的当代力量。

政治

奥巴马的连任竞选策略在很大程度上建立在分析之上。 许多专家指出它是其成功​​的主要原因之一。 该策略由竞选经理吉姆·梅西纳（Jim Messina）设计，专注于收集选民数据并使用它来确保他们能够 1）登记投票，2）被说服投票给奥巴马，以及 3）在选举日到场投票。 大约 100 名数据分析师参与了这项工作，他们使用在 HP Vertica 上运行并使用 R 和 Stata 编码的环境。

为了实现这些目标，应用了几项举措，其中之一就是 Airwolf。 它旨在整合现场和数字团队的努力，确保一旦现场团队在挨家挨户的竞选活动中联系到选民，他们的兴趣就会被记录下来，以便他们经常收到当地组织者专门定制的电子邮件到每个人最喜欢的竞选问题。

借助正确的工具和数据，分析师几乎可以快速轻松地回答任何问题，无论数据最初来自何处。 奥巴马竞选活动的成功使大数据分析环境成为此后每场竞选活动的标准要求。

科学

人类基因组计划于 2003 年完成，但仍有许多问题没有得到解答。 尽管绘制了构成人类 DNA 的整个核苷酸碱基对序列，但要真正了解人类遗传学的工作原理还需要更深入的研究——而且它是大数据的完美应用。 一个典型的人类基因组包含超过 20,000 个基因，每个基因由数百万个碱基对组成。 简单地绘制基因组图需要 100 GB 的数据，而对多个基因组进行测序和跟踪基因相互作用会使这个数字成倍增加——在某些情况下需要数百 PB。

通过在 2016 年发表的研究中应用分析，海法大学的科学家们能够观察到基因的所谓“社会特征”。 长期以来，科学家们一直想弄清楚复杂遗传效应的内部运作方式，这些效应参与了复杂疾病的产生。 这个目标特别困难，因为某些疾病的基因表达通常来自几个相互相互作用的遗传标记的组合。 因此，研究人员不仅必须梳理整个基因序列，而且还必须追踪多个不同基因之间的相互作用。

尽管仍有大量数据需要分析，但为了解和治愈大量大大小小的遗传缺陷铺平了道路。

前方的路

我们现在已经到了这样一个时代，Facebook 可以在图片中识别你的脸，谷歌可以预测哪种广告最适合你的个人资料，Netflix 可以为你推荐观看哪些节目。 这是您可以与电话交谈的时候，而不仅仅是与电话线另一端的人交谈。 能够处理和处理大量数据是了解这些奇迹是如何产生的基本步骤。

大数据仍然是一个增长趋势。 大约 90% 的可用数据是在过去两年中创建的。 在 2010 年的 Techonomy 会议上，Eric Sc​​hmidt 表示“从文明的黎明到 2003 年，整个世界创造了 5 EB 的信息。现在每两天创造同样数量的信息。”

处理如此大量的数据仍然存在许多挑战。 数据质量是商业智能最令人头疼的问题之一，它仍然是一个要求很高的领域。 分析，帮助理解公司正在收集的大量数据的必要技能也有很高的需求。 现在有多种分析方式：描述性分析、预测分析、规范分析、流分析、自动分析等。分析使用多种尖端技术从数据中提取洞察力，例如人工智能、机器学习和大量统计楷模。 终于到了成为一名数学家很酷的时候。

BI 工具现在通常在设计时考虑到特定行业，例如医疗保健、执法等。它现在可以跨多种设备工作并使用多种可视化工具，允许任何人通过交互式可视化界面对数据进行推理。 移动 BI 现在已成为现实。

通过结合大数据、机器学习和分析的优势，您未来的生活可能会大不相同。 也许你可能不再需要去杂货店了——你的冰箱会根据你的饮食习惯订购你最可能需要的东西。 也许，你不会打电话给你的医生说你生病了，因为他们甚至会在你开始感觉到第一个症状之前给你打电话。

人类现在生活在信息时代，商业智能是我们这个时代的一个重要特征，帮助我们理解这一切。 商业分析现在甚至是许多大学的学位课程。 商业智能的历史是最近才出现的，但正在加速发展，并且日益密集。 BI 最好的日子还在后面。