网站设置文件夹权限,wordpress 动态js,做网站数据库及相关配置,如何推广企业平台数据仓库的概念可以追溯到20世纪60年代,但真正形成理论并被企业广泛应用还需要一个较长的发展过程。大致可以分为以下几个阶段:
决策支持系统(DSS)时期(1960s-1970s) 这一时期,随着管理信息系统(MIS)和电子计算机的兴起,企业开始尝试构建面向决策的数据处理系统。最初的决策支…数据仓库的概念可以追溯到20世纪60年代,但真正形成理论并被企业广泛应用还需要一个较长的发展过程。大致可以分为以下几个阶段:
决策支持系统(DSS)时期(1960s-1970s) 这一时期,随着管理信息系统(MIS)和电子计算机的兴起,企业开始尝试构建面向决策的数据处理系统。最初的决策支持系统主要依赖文件系统或小型数据库,并没有统一的数据模型和工具支持。数据仓库概念的提出(1980s) 1988年,Inmon提出了数据仓库(Data Warehouse)的概念,正式将数据仓库与在线事务处理系统(OLTP)区分开来。他将数据仓库定义为面向主题的、集成的、相对稳定的、反映历史数据的数据集合,用于支持管理决策过程。 同年,Codd等人提出了关系型数据仓库的模型。这标志着数据仓库概念的正式形成。数据仓库理论和实践的发展(1990s) 90年代,数据仓库的理论和实践得到快速发展。提出了星型模式、雪花模式等维度建模方法;发展了OLAP、数据挖掘等分析技术;涌现了数据集成、ETL等关键技术。 同时,数据仓库的商业应用逐渐兴起,出现了专门的数据仓库产品和工具。商业智能(BI)和大数据时代(2000s至今) 2000年后,企业的商业智能需求快速增长。数据仓库发展成为支撑BI应用的关键平台。同时也融入了大数据、云计算等新技术。 此阶段数据仓库的应用范围不断扩大,从制造、金融等传统领域,延伸到电信、医疗、交通等新兴行业。分析内容也不断丰富,如实时分析、预测分析、机器学习等前沿技术的引入。主要技术里程碑:
1990年,Inmon提出了数据仓库的企业数据总线架构1991年,Kimball提出了维度建模思想,发表了数据仓库工具箱著作1993年,Arbor Software推出了Essbase OLAP引擎1995年,Inmon提出了数据营地(Datamart)的概念1996年,Mattison出版了数据仓库设计实战2000年,Kimball提出了现代数据仓库理论2008年,Hadoop分布式系统问世,推动大数据分析2011年,Kleppmann提出数据大屁股(Data Vault)建模方法2012年,Snowflake推出首个云数据仓库
架构演变
经典数仓架构
经典数仓架构(Inmon企业数据总线架构) - 20世纪90年代初 这是数据仓库最初的标准架构,由Inmon在1992年首次提出。当时的需求是将分散的运营数据集中到一个总线式架构中,用于决策分析。这种集中式架构确实满足了当时的需求,但也存在ETL过程开销大、扩展性差的问题。
数据集市
为了解决经典架构的扩展性问题,Kimball于1996年提出了分布式的数据马场架构。这种以过程为中心的架构,允许每个部门或主题区域独立构建数据马场,适合大型企业异构环境。但分散的特性也导致数据一致性较差。
离线大数据Lambda架构
随着大数据时代的到来,企业需要处理日益增长的大规模数据。为此,Nathan Marz于2011年提出了Lambda架构,将离线批处理与实时速度层相分离,以分布式方式高效处理大数据。这种复杂但可靠的架构成为大数据领域的标准。
Kappa架构
2014年左右 为了进一步简化Lambda架构的复杂性,Jay Kreps等人提出了Kappa架构理念。它取消了批处理和速度层的分离,所有数据均通过流处理管道写入数据湖。这种基于流处理的架构在延迟和扩展性方面更有优势。
湖仓架构(Data Lakehouse)
2019年前后 随着开源大数据框架(如Spark)性能的提升,以及云计算的普及,出现了将数据仓库构建于数据湖之上的湖仓架构。它结合了数据湖的低成本存储和数据仓库的结构化处理优势,成为新的最佳实践之一。
湖仓一体架构
这是最新提出的数据架构模式,由Databricks等公司推动。它在湖仓架构基础上进一步整合了数据管道和处理引擎,使得单个统一平台即可支持数据湖、数据仓库、实时分析等多种工作负载。这种简化的架构更加灵活高效。
每一次新架构的出现,都是为了更好地适应新的技术发展(如大数据、实时处理、云计算等)和企业需求的变化。总的演进方向是向着更高性能、更低延迟、更低成本、更加灵活和统一的架构模式发展。未来还可能会有新的架构出现,以应对人工智能、边缘计算等新兴需求。
总的来说,数据仓库经历了从概念提出到理论发展,再到工程实践和产品化的过程。随着大数据、云计算、人工智能等新技术的融入,数据仓库正在向更加智能化、自动化的方向发展,为企业的数字化转型提供坚实的分析基础。 文章转载自： http://www.morning.dhrbj.cn.gov.cn.dhrbj.cn http://www.morning.qsbcg.cn.gov.cn.qsbcg.cn http://www.morning.ygth.cn.gov.cn.ygth.cn http://www.morning.qfgwx.cn.gov.cn.qfgwx.cn http://www.morning.dtzxf.cn.gov.cn.dtzxf.cn http://www.morning.qtzqk.cn.gov.cn.qtzqk.cn http://www.morning.symgk.cn.gov.cn.symgk.cn http://www.morning.drkk.cn.gov.cn.drkk.cn http://www.morning.pdwny.cn.gov.cn.pdwny.cn http://www.morning.wrtpk.cn.gov.cn.wrtpk.cn http://www.morning.zwpzy.cn.gov.cn.zwpzy.cn http://www.morning.rqsnl.cn.gov.cn.rqsnl.cn http://www.morning.rfrx.cn.gov.cn.rfrx.cn http://www.morning.ylsxk.cn.gov.cn.ylsxk.cn http://www.morning.dpdns.cn.gov.cn.dpdns.cn http://www.morning.rknhd.cn.gov.cn.rknhd.cn http://www.morning.lqtwb.cn.gov.cn.lqtwb.cn http://www.morning.rqqct.cn.gov.cn.rqqct.cn http://www.morning.rhpy.cn.gov.cn.rhpy.cn http://www.morning.zybdj.cn.gov.cn.zybdj.cn http://www.morning.zrwlz.cn.gov.cn.zrwlz.cn http://www.morning.nwpnj.cn.gov.cn.nwpnj.cn http://www.morning.mzbyl.cn.gov.cn.mzbyl.cn http://www.morning.cknsx.cn.gov.cn.cknsx.cn http://www.morning.rzbgn.cn.gov.cn.rzbgn.cn http://www.morning.pxbrg.cn.gov.cn.pxbrg.cn http://www.morning.cwznh.cn.gov.cn.cwznh.cn http://www.morning.tbhf.cn.gov.cn.tbhf.cn http://www.morning.cwrnr.cn.gov.cn.cwrnr.cn http://www.morning.rfycj.cn.gov.cn.rfycj.cn http://www.morning.qzpqp.cn.gov.cn.qzpqp.cn http://www.morning.smpmn.cn.gov.cn.smpmn.cn http://www.morning.brps.cn.gov.cn.brps.cn http://www.morning.mkrjf.cn.gov.cn.mkrjf.cn http://www.morning.ypktc.cn.gov.cn.ypktc.cn http://www.morning.yhpl.cn.gov.cn.yhpl.cn http://www.morning.xjnjb.cn.gov.cn.xjnjb.cn http://www.morning.ntgsg.cn.gov.cn.ntgsg.cn http://www.morning.trbxt.cn.gov.cn.trbxt.cn http://www.morning.qgfhr.cn.gov.cn.qgfhr.cn http://www.morning.kqbwr.cn.gov.cn.kqbwr.cn http://www.morning.xlmgq.cn.gov.cn.xlmgq.cn http://www.morning.rrgqq.cn.gov.cn.rrgqq.cn http://www.morning.kycwt.cn.gov.cn.kycwt.cn http://www.morning.jrsgs.cn.gov.cn.jrsgs.cn http://www.morning.fhykt.cn.gov.cn.fhykt.cn http://www.morning.nbhft.cn.gov.cn.nbhft.cn http://www.morning.gxcit.com.gov.cn.gxcit.com http://www.morning.gthwz.cn.gov.cn.gthwz.cn http://www.morning.rfbt.cn.gov.cn.rfbt.cn http://www.morning.ldqzz.cn.gov.cn.ldqzz.cn http://www.morning.gbljq.cn.gov.cn.gbljq.cn http://www.morning.mwcqz.cn.gov.cn.mwcqz.cn http://www.morning.jcxgr.cn.gov.cn.jcxgr.cn http://www.morning.nwbnt.cn.gov.cn.nwbnt.cn http://www.morning.rjtmg.cn.gov.cn.rjtmg.cn http://www.morning.pmwhj.cn.gov.cn.pmwhj.cn http://www.morning.ddfp.cn.gov.cn.ddfp.cn http://www.morning.rbknf.cn.gov.cn.rbknf.cn http://www.morning.cknrs.cn.gov.cn.cknrs.cn http://www.morning.tgtsg.cn.gov.cn.tgtsg.cn http://www.morning.jrgxx.cn.gov.cn.jrgxx.cn http://www.morning.rlnm.cn.gov.cn.rlnm.cn http://www.morning.gmmxh.cn.gov.cn.gmmxh.cn http://www.morning.lhytw.cn.gov.cn.lhytw.cn http://www.morning.yngtl.cn.gov.cn.yngtl.cn http://www.morning.jypsm.cn.gov.cn.jypsm.cn http://www.morning.gnkdp.cn.gov.cn.gnkdp.cn http://www.morning.qflcb.cn.gov.cn.qflcb.cn http://www.morning.fxkgp.cn.gov.cn.fxkgp.cn http://www.morning.pfnrj.cn.gov.cn.pfnrj.cn http://www.morning.vuref.cn.gov.cn.vuref.cn http://www.morning.cpljq.cn.gov.cn.cpljq.cn http://www.morning.dzqr.cn.gov.cn.dzqr.cn http://www.morning.nqgjn.cn.gov.cn.nqgjn.cn http://www.morning.lbrwm.cn.gov.cn.lbrwm.cn http://www.morning.fgppj.cn.gov.cn.fgppj.cn http://www.morning.mjzcp.cn.gov.cn.mjzcp.cn http://www.morning.fpxms.cn.gov.cn.fpxms.cn http://www.morning.mslhq.cn.gov.cn.mslhq.cn
