做玩具订制网站好处,溧阳网站建设制作,上海网站开发售后服务,深圳网站开发电话数仓模型和领域划分 一、主题域和数据域的差别二、雪花模型#xff0c;星座模型和星型模型 一、主题域和数据域的差别
明确数据域作为数仓搭建的重要一环#xff0c;能够让数仓的数据便于管理和应用。 数据域和主题域都是数据仓库中的重要概念#xff0c;但含义略有不同星座模型和星型模型 一、主题域和数据域的差别
明确数据域作为数仓搭建的重要一环能够让数仓的数据便于管理和应用。 数据域和主题域都是数据仓库中的重要概念但含义略有不同常常作为面试官的面试考点。 数据域 指的是特定的业务领域或是业务过程如销售、采购、人力资源管理、财务等。在数据仓库中。每个数据域都对应一个或多个源系统(ODS层表数据)数据仓库从这些源系统中提取数据经过清洗、转换和集成处理后将数据存储在数据仓库中。数据域是数据仓库中的一个高层次概念用于组织和管理数据仓库中的数据。 主题域 指的是特定的主题或领域其中包含相关的概念、术语、知识和实践。在数据仓库中每个主题域都包含一个或者多个维度表和一个或多个事实表用于存储与该主题相关的数据。主题域通常是与业务相关的例如销售分析、客户关系管理、供应链管理。主题域是数仓中的一个更细粒度的概念用于描述和分析特定的业务领域或主题。 数据域和主题域之间存在一定的层次关系。数仓中的每个数据域都包含了一个或者多个主题域每个主题域都包含了与其相关的维度和事实表以及其他数据对象和元数据用于支持数据分析和决策。
举个栗子: 下面是物理数仓所需的所有业务过程及数据域划分详情。 上图中的交易域由多个交易相关的业务过程事务型事实表组成通常可以根据业务过程或者部门进行划分如根据业务过程进行划分需要注意的是一个业务过程只能属于一个数据域。
主题域是从业务视角自上而下分析从整体业务环节中升华出来大的专项分析模块结合对接的业务范围和行业形态从更高的视角去洞察整个业务流程。因此主题域是由多个数据域组成的这些数据域提供了主题域所需的数据。 例如:物流主题域需要统计历史至今的运单统计 完成该指标的统计需要使用到交易域和物流域数据。
再举个栗子: 数据域是萝卜青菜肉等原材料 主题大域是菜系东北菜粤菜湘菜子主题域是菜品,鱼香肉丝东北烩菜 这些菜品都需要使用到萝卜青菜肉这些原材料但却不属于同一个菜系。 总之数据域是对数据的分类而主题域和业务域是对业务的分类。主题域和数据域最终都是对数据的分类只是一个是数据视角一个是业务视角。 数据域是指将数据按照不同的维度进行划分如时间、地区、产品等。而主题域则是指将业务对象高度概括的概念层次归类目的是便于数据的管理和应用。 二、雪花模型星座模型和星型模型
在构建数仓维度模型时通常为数据分析提供便捷而进行反规范化的表结构设计。因此诞生出许多不同的维度模型。 星型模型 数据仓库中常见的一种模型它是一种基于事实的模型主要用于描述企业各个维度之间的关系。在星型模型中事实表通过主键与维度表连接形成一颗星星的形状。 星型模型只有一张事实表通过主键外键关联的方式连接多张维度表并且这些维度表之间不再存在关联关系。 星型模型的维度表只有一个层级导致这些维度表存储了一定程度的数据冗余比如一张包含国家、省份、城市三列的维度表国家列会存在很多重复的数据。 星型模型的优点是简单易懂易于理解和使用缺点是扩展性较差当业务需求发生变化时可能需要对模型进行调整和扩展。 雪花模型 当一个或多个维表没有直接连接到事实表上而是通过其他维表连接到事实表上时其图解就像多个雪花连接在一起故称雪花模型。雪花模型是对星型模型的扩展。它对星型模型的维表进一步层次化 原有的各维表可能被扩展为小的事实表形成一些局部的 层次区域这些被分解的表都连接到主维表而不是事实表。 其优点是通过最大限度地减少数据存储量以及联合较小的维表来改善查询性能避兔了数据冗余。 其缺点是增加了主键-外键关联的几率,导致查询效率低于星型模型且不利于开发。 星座模型 星座模型是星型模型的扩展它允许在星型模型中存在多个事实表不同事实表之间共享维表信息常用于数据关系更复杂的场景。 星座模型的缺点是增加了主键-外键关联的几率导致查询效率低于星型模型并且不利于开发 。
通过上面的对比分析可以发现数据仓库更适合使用星型模型来构建底层数据hive表,通过数据冗余来减少查询次数以提高查询效率。雪花模型在关系型数据库中(MySQL/Oracle) 更加常见。在具体规划设计时,应结合具体场及两者的优缺点来进行设计找到一个平衡点去开展工作。
