导言:
完整且系统地回顾一个特定主题,可以帮助从业者准确把握研究重点与市场趋势、了解当前所处位置与相对差距,并对探索该领域未来的方向提供参考。
当我们提及商业智能(Business Intelligence, BI),许多人脑中就会浮现电子表格和仪表板。事实上,将事物指标化并进行统计,从数据中获得洞察进而转化为决策的探索过程,其历史远比我们想象的要久远、精彩得多。
早左公元前2~5世纪,《尚书·禹贡》就通过区分土壤颜色,将田地赋税区划分为上、中、下三等(厥土惟白壤,厥赋惟上上错,厥田惟中中)。
物理学家乔治·伽莫夫(George Gamow)在其著作《从一到无穷大》中,讲了一则有趣的故事:两个匈牙利贵族要比一比谁说的数字大,一个人冥思苦想先说了“3”,另一个人想了半天,说你赢了。这个故事揭示了在统计方式和工具受限时,需要认识分析的数据超过某个量级和维度时,只能用“其它”“许多”“数不清”来笼统指代,更遑论什么认识和洞察了。换句话说,当人们缺乏有效的统计工具和方法时,面对大量和复杂的数据,他们无法准确描述和分析,只能用模糊的词汇来表达,这限制了他们对数据的深入理解和洞察。
17~18世纪,欧洲通过窗户数量征收阳光和空气税,直接影响了欧洲房屋格局。雨果《悲惨世界》的描写非常生动,“在法国的农村中,有132万所房子都只有3个洞口;181万7千所有2个洞口,就是门和窗;还有34万6千个棚子都只有1个洞口,那就是门”。
1850年代,英、法、土大战俄罗斯,战地医院死亡率居高不下,南丁格尔为说服政府改善医院整体卫生环境,发明了南丁格尔玫瑰图(极坐标区域图),将影响伤员死亡因素的细微差异量化并可视化,成功说服政府采取措施,将可预防的死亡率从42%降低到2%。
小结:数据的采集、提取和理解是人类感知和认识世界的基本途径之一,数据可视化为人类洞察数据的内涵、揭示数据蕴藏的规律提供了重要的手段。

865在理查德•米勒•德文斯的《商业趣闻百科全书》中第一次使用了“Business Intelligence(商业智能)”一词。
1880年代,赫尔曼·霍尔瑞斯(Herman Hollerith)发明的打孔卡设备,在美国人口普查中首次被广泛使用,这是早期的大规模数据处理系统,推动了商业数据的收集与管理。霍尔瑞斯的发明后演变为IBM的前身,IBM在1950年代成为推动BI发展的重要力量。
1930~1940年代,ENIAC等电子计算机相继问世,尽管当时处理速度慢且数据存储有限,但这些技术为后来的复杂数据处理工具打下了基础。
19世纪中后期至20世纪初,除了硬件与数据处理技术的飞速发展,统计学与数学理论、管理学与运营研究、财务管理与会计学、市场研究与消费者行为分析、信息管理与文献学等学科的理论也有突破性进展。
1958年(第二代计算机初期,逻辑原件从电子管到晶体管转变),H•P•鲁恩(H•P•Luhn)在《商业智能系统》[1]中,首次对BI进行了定义,“商业,是指一系列为了某种目的而进行的活动,服务于商业(广义上的)的沟通设施可以被称作情报系统;智能,即以一种可理解的方式呈现事实之间的关系,从而指导行动朝着期望的目标前进的能力”。描绘了一个能够自动处理和分析商业信息的系统蓝图,为之后几十年商业智能领域的发展奠定了基础。
1960年代技术进步改变了企业的运作方式,出现管理信息系统。1960年代初,计算机变得更小、软件兼容性更高大大降低了企业采用信息技术的成本,数据库管理系统(Database Management System, DBMS)应运而生。DBMS能够有效地组织、管理和访问大量数据,提高了数据处理的效率和准确性,同时也为管理信息系统提供了坚实的数据基础。
1970年代数据库技术重大突破。1970年,IBM埃德加•科德(Edgar F.Codd)提出了关系数据库模型[2],使得企业能够更灵活地存储和访问大量结构化数据,并进行高效的数据分析。1974年,IBM开发了用于关系数据库的标准查询语言,即SQL(Structured Query Language)。SQL成为访问和管理关系数据库的标准工具,使得企业能够更方便地查询和分析数据。
1960~1970年代,在线事务处理(OLTP)和信息系统、决策支持系统(DSS)开始普及、兴起。OLTP系统允许企业实时处理和管理大规模的事务数据;DSS是为高层管理者设计的系统,旨在支持复杂的决策过程,如库存管理、金融分析和市场预测等。1970年代尼尔森与Information Resources, Inc.(IRI)合作推出的“维度数据集市”(dimensional data mart),成为企业收集、整理和分析海量数据的工具;SAP公司在1970年代,推出了最早期的第一、二代企业资源计划(ERP)系统,整合了财务、采购、库存和生产数据,帮助企业管理业务流程。
1980年代~1990年代,数据仓库技术架构出现。1980年代,随着企业信息化程度提高,各部门用各自信息系统管理业务数据,数据孤岛现象严重,企业开始构建专门的数据存储系统(如,沃尔玛早期库存管理系统、通用汽车公司的生产数据管理系统、美国钢铁公司生产控制系统等),用于汇总和管理来自不同部门的数据,为后来的数据仓库和BI系统的发展打下了基础。1991年,比尔·恩达尔(Bill Inmon)出版《建立数据仓库》(Building the Data Warehouse),提出了数据仓库的定义和自上而下的集中式架构(top-down approach ),并致力于将数据从操作型系统转移到分析型系统,数据仓库逐渐成为企业数据管理和分析的核心设施,但这种集中式架构存在ETL过程开销大、扩展性差的问题。为了解决这些问题,Ralph Kimball在1996年、1998年先后出版《数据仓库工具箱》(The Data Warehouse Toolkit)、《数据仓库生命周期工具包》(The Data Warehouse Lifecycle Toolkit)提出自底向上的分布式架构(Bottom-Up Approach, Data Mart Focus),提供了一种更实用的、以业务为中心的方法,在BI和数据仓库项目中非常流行。
1980年代~1990年代,联机分析处理(Online Analytical Processing, OLAP )蓬勃发展,BI开始从静态报告转向更加动态、交互式和基于web的解决方案。1993年,埃德加•科德(Edgar F.Codd)首次提出OLAP[1],OLAP 允许用户从多角度和层次对数据进行切片、切块、旋转和钻取,以便深入理解数据的内在关系和趋势,是一种用于快速分析多维数据的技术,广泛应用于商业智能(BI)和数据仓库领域。1990年代Essbase块存储数据库是最早的商业OLAP产品之一;1998年微软SQL Server 7.0的一部分发布了OLAP服务,为2000年代,微软SQL Server分析服务(SSAS)打下了基础;Cognos 公司1990年代先后发布PowerPlay、Impromptu、Web-Based BI旗舰产品成为BI领域的领导者(2008年Cognos被IBM收购)。
1980年代~1990年代视窗界面(Graphical User Interfaces, GUI)发展迅速。施乐公司(Xerox) 1981创造了Xerox Star,这是第一个完全采用GUI的商业系统。GUI通过用图标、按钮和菜单等视觉元素取代基于文本的命令,用户不必再记忆、输入复杂文本命令,仅需单击图标或从下拉菜单中选择选项等直观的可视化表示来执行操作,这彻底改变了人类与计算机的交互方式,使软件和设备易于普及到更广泛的受众。随后,Apple公司在1984年发布的苹果Apple Macintosh将GUI带入主流,1995年,Windows 95引入了开始菜单、任务栏等,助推微软主导了个人电脑操作系统市场,是GUI的一次重大飞跃。
小结:19世纪中期到20世纪,百余年的发展历程中,伴随着统计学、会计学、管理学的理论发展,以及计算机硬件、数据库、信息系统等技术的突破,BI从一个新造词逐渐具象化,涌现出众多分析海量数据的工具、平台。这些早期系统为现代BI系统(Business Intelligence System )奠定了基础,尤其在数据整合、实时分析、决策支持等方面的创新,使得企业能够更加智能地管理业务并做出基于数据的战略决策。
[1] H. P. Luhn, "A Business Intelligence System," in IBM Journal of Research and Development, vol. 2, no. 4, pp. 314-319, Oct. 1958, doi: 10.1147/rd.24.0314.
[2] Codd E F. A relational model of data for large shared data banks[J]. Communications of the ACM, 1970, 13(6): 377-387.
[3] Codd, Edgar F. "Providing OLAP (on-line analytical processing) to user-analysts: An IT mandate." http://www. arborsoft. com/papers/coddTOC. html (1993).