佛山网站建设外贸,免费的黄冈网站有哪些,西安自由行攻略5天详细,网站标题设置前言
本文隶属于专栏《大数据理论体系》#xff0c;该专栏为笔者原创#xff0c;引用请注明来源#xff0c;不足和错误之处请在评论区帮忙指出#xff0c;谢谢#xff01; 本专栏目录结构和参考文献请见大数据理论体系 思维导图 数据仓库
数据仓库是一个面向主题的…前言
本文隶属于专栏《大数据理论体系》该专栏为笔者原创引用请注明来源不足和错误之处请在评论区帮忙指出谢谢 本专栏目录结构和参考文献请见大数据理论体系 思维导图 数据仓库
数据仓库是一个面向主题的Subject Oriented、集成的Integrate、 相对稳定的Non-Volatile、反映历史变化Time Variant的数据集合。
数据仓库的主要目标是提供一致、可靠、易于访问的数据 以支持企业的决策制定和分析。
它可以帮助企业了解自己的业务、市场以及客户 并提供决策支持和预测分析的能力。
数据仓库在商业智能和数据分析领域有着广泛的应用。 关于数据仓库的详情请参考我的博客——数据仓库是什么 关于商业智能请参考我的博客——什么是商业智能BI 数据库 VS 数据仓库
区别数据库数据仓库设计目标支持企业的日常业务操作支持企业的决策制定和分析数据结构面向应用的设计面向主题的设计数据处理方式在线事务处理OLTP方式在线分析处理OLAP方式数据范围当前状态数据存储历史的、完整的、反应历史变化的数据数据变化支持频繁的增删改查操作可添加、无删除、无变更、反应历史变化的设计理论遵循三范式、避免冗余违范式、适当冗余处理量频繁、小批次、高并发、低延迟非频繁、大批量、高吞吐、有延迟 关于数据库和数据仓库的对比详情请参考我的博客——数据仓库与数据库的区别 OLTP vs OLAP
对比项目OLTPOLAP用户操作人员、底层管理人员决策人员、高级管理人员功能日常操作处理分析决策DB设计基于ER模型面向应用星型/雪花/星座模型面向主题DB规模GB至TB≥TB数据最新的、细节的、二维的、分立的历史的、聚集的、多维的、集成的存储规模读/写数条(甚至数百条)记录读上百万条(甚至上亿条)记录操作频度非常频繁(以秒计)比较稀松(以小时甚至以周计)工作单元严格的事务复杂的查询用户数数百个至数千万个数个至数百个度量事务春吐量査询吞吐量、响应时间 关于 OLTP 和 OLAP 的对比详情请参考我的博客——OLTP和OLAP的区别 数据仓库分层 数据仓库分层的详情请参考我的博客——数据仓库是如何分层的 数据仓库建模 关于建模方法论的详情请参考我的下面 2 篇博客 典型的数据仓库建模方法论数据仓库是如何建模的 数据集市
数据集市是一个专门针对特定业务部门或主题领域的数据仓库子集。 它集中于存储公司在更大的存储系统中选定的一小部分数据 并且从比数据仓库更少的数据来源中获取数据。 关于数据集市的详情请参考我的博客——数据集市是什么数据集市和数据仓库有什么区别 如果把数据仓库看作是全公司的数据集合的话数据集市可以看作是其中一个部门的这个部门只负责处理特定业务的数据。 数据集市 VS 数据仓库
数据仓库Data Warehouse是一个用于整个企业的存储库包含来自不同业务、系统和部门的集成数据。它基于整个企业的数据模型建立面向企业范围内的主题。
数据仓库的特点包括
覆盖全企业数据仓库为整个企业的各个部门和运作提供决策支持。集成数据数据仓库汇集来自多个业务、系统和部门的数据通过数据清洗、整合和转换以满足企业的分析和报告需求。企业级架构数据仓库是一个企业级的解决方案通常由专业团队负责设计、构建和维护。面向企业主题数据仓库的主题是与整个企业运营相关的如销售、客户、供应链等。
数据集市Data Mart是一个面向特定业务领域或功能单元的主题化数据存储库。它通常是部门级的为某个局部范围内的管理人员提供决策支持。 数据集市的特点包括
部门级应用数据集市主要为某个特定部门或功能单元的业务需求服务提供针对该部门的数据分析和报告。面向部门主题数据集市的主题是与特定业务或功能单元相关的如销售业绩、市场营销、财务等。数据来源数据集市的数据来源可以是从数据仓库获取的从属数据集市也可以来自各个生产系统独立数据集市。相对较小规模数据集市的规模通常是几十GB的数量级相对于数据仓库来说较小。
下面是描述数据仓库和数据集市区别的表格
数据仓库数据集市适用范围整个企业特定部门或功能单元数据来源来自不同业务、系统和部门的集成数据可从数据仓库获取或来自各生产系统规模较大企业级相对较小部门级架构企业级架构部门级架构主题面向企业主题面向部门主题目标为整个企业各部门提供决策支持为特定部门提供决策支持功能提供企业范围内的数据分析和报告提供部门级的数据分析和报告 数据湖
数据湖是一个存储大规模、多样化数据的组织方法可以存储结构化、非结构化和半结构化的数据是一个大型、灵活的数据存储仓库可以将企业的所有数据源整合起来。 关于数据湖的详情请参考我的博客——什么是数据湖为什么需要数据湖 结构化、半结构化和非结构化数据
结构化、半结构化和非结构化数据是不同类型的数据分类。 结构化数据结构化数据是指可以使用关系型数据库表示和存储的数据通常以二维表的形式呈现。结构化数据具有以下特点 数据以行为单位每行数据表示一个实体的信息且每行的属性是相同的。数据可以用统一的结构表示如数字、符号等。数据可以用二维表结构逻辑表达实现包含属性和元组。例如成绩单可以作为属性而90分可以作为对应的元组。存储和排列有一定的规律便于查询和修改等操作。 半结构化数据半结构化数据是结构化数据的一种形式它不完全符合关系型数据的规范。半结构化数据具有以下特点 半结构化数据既有数据又有结构但结构不是严格固定的。半结构化数据可以使用各种数据表示格式例如XML、JSON等。数据的结构可能在不同的记录中有所变化但仍具有一定的可解析性和组织性。半结构化数据常见于Web数据、日志文件、配置文件等场景。 非结构化数据非结构化数据是指没有固定结构和格式的数据通常无法以关系型数据库的形式进行存储和表示。非结构化数据具有以下特点 数据没有明确的组织结构可能是自由文本、图像、音频、视频等形式的数据。非结构化数据不适合使用传统的关系型数据库进行存储和管理。非结构化数据的分析和处理需要采用特定的技术和工具如自然语言处理、图像处理、音频处理等。非结构化数据常见于社交媒体内容、电子邮件、文档、多媒体文件等。
综上所述结构化数据是具有固定结构和规律排列的数据半结构化数据是介于结构化数据和非结构化数据之间的数据形式而非结构化数据则是没有明确结构和格式的数据。这些不同类型的数据在分析和处理时需要采用不同的方法和工具来处理和管理。
数据仓库 vs 数据湖
参数数据仓库数据湖数据存储结构化数据结构化、半结构化和非结构化数据数据准备经过清洗和处理的数据原始数据不需要预处理数据结构预定义的模式具有严格的架构没有固定模式数据以原始形式存储数据目的支持商业智能和分析支持探索性分析和机器学习用户商业分析师和业务用户数据科学家和工程师数据访问SQL查询多种工具和技术如Apache Spark和Hadoop数据规模相对较小相对于数据湖可以存储大规模数据包括PB级数据数据处理方式提取、转换和加载ETL提取、加载和转换ELT数据处理速度高性能适合历史数据分析高度灵活适合实时和流式数据分析数据架构星型或雪花型没有特定的数据架构成本相对较高需要预定义模式和规划相对较低可以存储各种类型的数据 数据网格
数据网格DataMesh是一个新兴的概念旨在帮助组织更好地管理和利用分散在不同系统和应用程序中的数据资产。它强调将数据资产转化为可重用、可组合、可交互的数据元素以支持组织内部和跨组织的业务创新和数字化转型。
DataMesh的核心理念是基于事件驱动的架构通过将业务事件和数据元素相结合将数据资产转化为可编程的、可组装的服务和功能。这种方法可以帮助组织更好地理解和利用其数据资产并支持更高效、更灵活的业务流程和数据处理。
DataMesh还强调数据治理和数据安全以确保数据的准确性、可靠性和安全性。它提供了一组数据管理和治理工具以帮助组织更好地管理其数据资产并确保符合法规和标准的要求。 关于数据网格的详情请参考我的博客——数据网格Data Mesh是什么 数据仓库 VS 数据网格
特征Data Warehouse数据仓库DataMesh数据网格来源传统上数据仓库是将各种异构数据源集成到一个集中的位置通常是一个数据库中。数据网格将数据分散在不同的领域团队中每个团队负责自己的数据产品。数据拥有权数据仓库通常由中央团队负责管理和维护。数据网格将数据拥有权下放给领域团队每个团队可以自主管理和拥有自己的数据。架构数据仓库通常采用集中式架构将数据集成到一个中心存储中。数据网格采用分布式架构数据存储在不同的领域团队中通过标准化的规则和语法进行连接和交互。数据冗余性和业务对齐数据仓库通常会合并和整合数据以消除冗余并满足业务需求。数据网格允许数据在不同的领域团队之间存在冗余以满足各自的业务需求。数据观测性的重要性数据仓库需要观测数据质量以确保数据的高质量和可靠性。数据网格同样需要观测数据质量确保数据的可靠性和可发现性。目标数据仓库旨在提供一个一致、可信赖的数据源用于企业的决策支持和分析。数据网格旨在通过领域团队拥有的数据产品实现更快速的洞察和分析并推动数据驱动的决策制定。 湖仓一体
湖仓一体是一个全新的开放式数据架构它将数据湖和数据仓库的优势组合在一起 提供了数据湖的灵活性和可扩展性以及数据仓库的数据管理功能。 这个架构是在数据湖较低成本的数据存储基础设施上构建的 它不仅保留了数据湖的特点如存储非结构化数据和半结构化数据 还可以支持事务、数据治理和数据模型化等功能这些特点是数据仓库所具备的。 关于湖仓一体的详情请参考我的博客——湖仓一体Lakehouse是什么 数据仓库 VS 湖仓一体
特征数据仓库湖仓一体数据存储方式结构化数据结构化、半结构化和非结构化数据数据处理方式批量处理批量处理和实时处理数据集成集成的非集成的数据模型事实和维度模型没有明确的数据模型数据更新频率周期性更新实时或近实时更新数据访问方式预定义的查询自助查询数据可伸缩性受限制高度可伸缩数据安全性严格的访问控制灵活的访问控制数据处理工具和技术ETL工具和SQL大数据处理工具和技术目标用户决策者和分析师决策者、分析师和数据科学家 总结
数据库、数据仓库、数据集市、数据湖、数据网格和湖仓一体是数据管理和存储的不同解决方案它们在以下方面有所区别
数据库Database是一个存储相关数据的地方用于捕获特定情况的数据。它可以是结构化、关系型、非结构化或NoSQL数据库。数据库主要用于在线事务处理OLTP处理实时的事务数据并具有特定的目的和应用。数据仓库Data Warehouse是组织的核心分析系统用于存储历史数据和支持数据分析。数据仓库与操作数据存储Operational Data StoreODS一起工作将各种数据库中的数据捕获并统一存储在一个位置。数据仓库采用提取-转换-加载Extract-Transform-LoadETL或类似的ELT过程将数据从数据库中提取出来经过转换和清洗后加载到数据仓库中。数据仓库通常使用SQL查询数据并使用表、索引、键、视图和数据类型进行数据组织和完整性。数据仓库主要用于在线分析处理OLAP支持企业内部的数据分析和商业智能。数据集市Data Mart是数据仓库的子集为特定的业务部门或业务单元提供数据支持。数据集市通常是针对特定需求进行建立的以满足某个部门的数据分析和决策需求。数据集市包含在数据仓库中其中的数据集是为了实时分析和行动结果而使用。数据湖Data Lake是一个用于存储原始数据的大型存储库可以存储结构化、半结构化和非结构化数据。数据湖接收来自不同来源的数据而不对其进行特定格式的转换和处理。数据湖存储的数据可以在需要时进行处理和分析。数据湖适用于需要存储大量原始数据并进行灵活的数据分析和探索的场景。数据网格DataMesh是一种数据组织和架构的概念旨在实现数据的自治和共享。DataMesh鼓励将数据所有权和管理责任下放给数据所有者以便更好地支持跨组织和跨团队的数据共享和协作。湖仓一体LakeHouse是将数据湖和数据仓库集成在一起的解决方案。它结合了数据湖的灵活性和数据仓库的结构化分析能力使得用户可以同时进行原始数据探索和历史数据分析。
综上所述数据库主要用于在线事务处理数据仓库用于存储历史数据和支持数据分析数据集市是数据仓库的子集满足特定业务部门的需求数据湖存储原始数据并支持灵活的数据分析数据网格鼓励数据自治和共享湖仓一体则是将数据湖和数据仓库集成在一起的解决方案。
下面是一个表格描述了数据库、数据仓库、数据集市、数据湖、数据网格和湖仓一体之间的主要区别
数据库Database数据仓库Data Warehouse数据集市Data Mart数据湖Data Lake数据网格DataMesh湖仓一体LakeHouse定义存储相关数据的地方存储历史数据和支持数据分析针对特定业务部门的数据子集存储原始数据的大型存储库数据的自治和共享将数据湖和数据仓库集成的解决方案用途在线事务处理OLTP在线分析处理OLAP特定业务部门的数据分析和决策支持灵活的数据分析和探索跨组织和跨团队的数据共享和协作原始数据探索和历史数据分析数据类型结构化、关系型、非结构化、NoSQL结构化结构化结构化、半结构化、非结构化结构化、半结构化、非结构化结构化、半结构化、非结构化数据处理实时事务数据处理提取-转换-加载ETL或类似ELT过程针对特定需求的数据提取和整合原始数据存储按需处理和分析数据所有者自治分布式数据共享结合原始数据探索和历史数据分析查询SQL查询SQL查询SQL查询按需处理和分析分布式数据查询和共享结合原始数据探索和历史数据分析数据组织表、索引、键、视图、数据类型表、索引、键、视图、数据类型表、索引、键、视图、数据类型灵活的数据组织分布式数据组织和架构灵活的数据组织数据共享有限的共享能力针对特定用户和部门的共享针对特定业务部门的共享强调跨组织和跨团队的共享强调数据自治和共享结合数据湖和数据仓库的共享能力数据分析实时事务数据分析历史数据分析和商业智能特定业务部门的数据分析和决策支持灵活的数据分析和探索跨组织和跨团队的数据分析和协作结合原始数据探索和历史数据分析
