当前位置：首页 > news >正文

凡科建设网站还用买服务器吗wordpress打赏工具

news 2025/10/21 5:32:55

凡科建设网站还用买服务器吗,wordpress打赏工具,推广类软文,怎么在微信公众号上传wordpress离线数仓-4-数据仓库设计-分层规划构建流程离线数仓-4-数据仓库设计-分层规划构建流程1.数据仓库分层规划2.数据仓库构建流程1.数据调研1.业务调研2.需求分析3.总结2.明确数据域3.构建业务总线矩阵维度模型设计4.明确统计指标1.指标体系相关概念1.原子指标2.派生… 离线数仓-4-数据仓库设计-分层规划构建流程离线数仓-4-数据仓库设计-分层规划构建流程1.数据仓库分层规划2.数据仓库构建流程1.数据调研1.业务调研2.需求分析3.总结2.明确数据域3.构建业务总线矩阵维度模型设计4.明确统计指标1.指标体系相关概念1.原子指标2.派生指标3.衍生指标2.指标体系对于数仓建模的意义5.汇总模型设计离线数仓-4-数据仓库设计-分层规划构建流程 1.数据仓库分层规划优秀可靠的数仓体系需要良好的数据分层结构。合理的分层能够使数据体系更加清晰使复杂问题得以简化。一般都是受到了OneData体系的启发进行了数据仓库分层规划。下面是该项目的数据仓库分层体系 2.数据仓库构建流程 1.数据调研业务调研对于最前面业务系统的调研需求分析对于后面的需求的分析 2.明确数据域按照标准对数据纵向划分 3.构建业务总线矩阵将事实与维度整合为一个二维表格内观察那些事实与维度有关联从而就会形成维度模型 4.维度模型设计维度模型的设计是由于最开始的业务驱动的有哪些业务对应就有哪些事实表有哪些业务对应的环境就有哪些维度表 5.汇总模型设计汇总模型设计是依托于后面的客户提出的需求是需求驱动的关联获取哪些指标是能够重复利用从而减少计算的冗余。 6.明确统计指标整理对应的指标体系原子指标、派生指标、衍生指标。 1.数据调研数据调研重点要做两项工作分别是业务调研和需求分析。这两项工作做的是否充分直接影响着数据仓库的质量。 1.业务调研业务调研的主要目标是熟悉业务流程、熟悉业务数据熟悉业务流程要求做到明确每个业务的具体流程需要将该业务所包含的每个业务过程一一列举出来。此处的业务过程需要调研的很透彻因为此处的业务过程就对应这DWD层的事实表。熟悉业务数据要求做到将数据包括埋点日志和业务数据表与业务过程对应起来明确每个业务过程会对哪些表的数据产生影响以及产生什么影响。产生的影响需要具体到是新增一条数据还是修改一条数据并且需要明确新增的内容或者是修改的逻辑。举例说明电商中交易业务具体流程如下图主要涉及到的业务过程买家下单、买家付款、卖家发货、买家收货以及买个业务过程会对那些表产生影响都需要下沉到很细层面。以添加购物车过程为例添加购物车这个过程会对那些表产生影响并且产生什么影响比如添加一商品到购物车必然会对于此用户的购物表产生影响添加一条记录同时binlog中会产生insert操作maxwell等服务可以监控到此过程然后将数据写出到ods层加工到dwd层也可能是binlog产生了update操作但是update操作涉及到的用户购物表的字段很多该表中每个字段发生变化都会产生update的binlog。需要进行过滤过滤出购物车对应的字段发生增加的数据才算是添加购物车的操作。以上就是针对于“添加购物车”这一业务过程的分析都需要细化到这种粒度才算业务调研充分。 2.需求分析典型的需求指标如最近一天各省份手机品类订单总额。分析需求时需要明确需求所需的业务过程及维度例如该需求所需的业务过程就是买家下单所需的维度有日期省份商品品类。 3.总结做完业务分析和需求分析之后要保证每个需求都能找到与之对应的业务过程及维度。若现有数据无法满足需求则需要和业务方进行沟通例如某个页面需要新增某个行为的埋点。 2.明确数据域数据仓库模型设计除横向的分层外通常也需要根据业务情况进行纵向划分数据域。划分数据域的意义是便于数据的管理和应用。通常可以根据业务过程或者部门进行划分本项目根据业务过程进行划分需要注意的是一个业务过程只能属于一个数据域。下面是本项目所需的所有业务过程及数据域划分详情数据域业务过程交易域加购、下单、取消订单、支付成功、退单、退款成功流量域页面浏览、启动应用、动作、曝光、错误用户域注册、登录互动域收藏、评价工具域优惠券领取、优惠券使用下单、优惠券使用支付 3.构建业务总线矩阵维度模型设计业务总线矩阵中包含维度模型所需的所有事实业务过程以及维度以及各业务过程与各维度的关系。矩阵的行是一个个业务过程矩阵的列是一个个的维度行列的交点表示业务过程与维度的关系。业务总线矩阵中包含维度模型所需的所有事实业务过程以及维度以及各业务过程与各维度的关系。矩阵的行是一个个业务过程矩阵的列是一个个的维度行列的交点表示业务过程与维度的关系。按照事务型事实表的设计流程选择业务过程–声明粒度–确认维度–确认事实得到的最终的业务总线矩阵见以下表格。后续的DWD层以及DIM层的搭建需参考业务总线矩阵。 4.明确统计指标明确统计指标具体的工作是深入分析需求构建指标体系。构建指标体系的主要意义就是指标定义标准化。所有指标的定义都必须遵循同一套标准这样能有效的避免指标定义存在歧义指标定义重复等问题。 1.指标体系相关概念 1.原子指标原子指标基于某一业务过程的度量值是业务定义中不可再拆解的指标原子指标的核心功能就是对指标的聚合逻辑进行了定义。我们可以得出结论原子指标包含三要素分别是业务过程、度量值和聚合逻辑。例如订单总额就是一个典型的原子指标其中的业务过程为用户下单、度量值为订单金额聚合逻辑为sum()求和。需要注意的是原子指标只是用来辅助定义指标一个概念通常不会对应有实际统计需求与之对应。 2.派生指标派生指标基于原子指标与原子指标不同派生指标通常会对应实际的统计需求。其与原子指标的关系如下图所示。 3.衍生指标衍生指标是在一个或多个派生指标的基础上通过各种逻辑运算复合而成的。例如比率、比例等类型的指标。衍生指标也会对应实际的统计需求。 2.指标体系对于数仓建模的意义通过上述两个具体的案例可以看出绝大多数的统计需求都可以使用原子指标、派生指标以及衍生指标这套标准去定义。同时能够发现这些统计需求都直接的或间接的对应一个或者是多个派生指标。当统计需求足够多时必然会出现部分统计需求对应的派生指标相同的情况。这种情况下我们就可以考虑将这些公共的派生指标保存下来这样做的主要目的就是减少重复计算提高数据的复用性。这些公共的派生指标统一保存在数据仓库的DWS层。因此DWS层设计就可以参考我们根据现有的统计需求整理出的派生指标。按照上述标准整理出的指标体系部分如下将上述指标体系抽取出来的所有指标汇总如下表格 5.汇总模型设计汇总模型的设计参考上述整理出的指标体系主要是派生指标即可。汇总表与派生指标的对应关系是一张汇总表通常包含业务过程相同、统计周期相同、统计粒度相同的多个派生指标。请思考汇总表与事实表的对应关系是多对多
文章转载自：
http://www.morning.jlktz.cn.gov.cn.jlktz.cn
http://www.morning.nhrkl.cn.gov.cn.nhrkl.cn
http://www.morning.tpwrm.cn.gov.cn.tpwrm.cn
http://www.morning.pwbps.cn.gov.cn.pwbps.cn
http://www.morning.jftl.cn.gov.cn.jftl.cn
http://www.morning.xppj.cn.gov.cn.xppj.cn
http://www.morning.bpwdc.cn.gov.cn.bpwdc.cn
http://www.morning.mdpcz.cn.gov.cn.mdpcz.cn
http://www.morning.qxnns.cn.gov.cn.qxnns.cn
http://www.morning.zrpys.cn.gov.cn.zrpys.cn
http://www.morning.qwmpn.cn.gov.cn.qwmpn.cn
http://www.morning.jkftn.cn.gov.cn.jkftn.cn
http://www.morning.rqmqr.cn.gov.cn.rqmqr.cn
http://www.morning.wpydf.cn.gov.cn.wpydf.cn
http://www.morning.mynbc.cn.gov.cn.mynbc.cn
http://www.morning.wctqc.cn.gov.cn.wctqc.cn
http://www.morning.kmqms.cn.gov.cn.kmqms.cn
http://www.morning.mnkz.cn.gov.cn.mnkz.cn
http://www.morning.yrkdq.cn.gov.cn.yrkdq.cn
http://www.morning.bmgdl.cn.gov.cn.bmgdl.cn
http://www.morning.rfxw.cn.gov.cn.rfxw.cn
http://www.morning.lrflh.cn.gov.cn.lrflh.cn
http://www.morning.lynb.cn.gov.cn.lynb.cn
http://www.morning.frsbf.cn.gov.cn.frsbf.cn
http://www.morning.syglx.cn.gov.cn.syglx.cn
http://www.morning.wkmrl.cn.gov.cn.wkmrl.cn
http://www.morning.sjjq.cn.gov.cn.sjjq.cn
http://www.morning.qtqjx.cn.gov.cn.qtqjx.cn
http://www.morning.rdfq.cn.gov.cn.rdfq.cn
http://www.morning.xzrbd.cn.gov.cn.xzrbd.cn
http://www.morning.nhzxd.cn.gov.cn.nhzxd.cn
http://www.morning.nqnqz.cn.gov.cn.nqnqz.cn
http://www.morning.qgjxt.cn.gov.cn.qgjxt.cn
http://www.morning.rdymd.cn.gov.cn.rdymd.cn
http://www.morning.qgtfl.cn.gov.cn.qgtfl.cn
http://www.morning.wpcfh.cn.gov.cn.wpcfh.cn
http://www.morning.mgtrc.cn.gov.cn.mgtrc.cn
http://www.morning.mbnhr.cn.gov.cn.mbnhr.cn
http://www.morning.yuminfo.com.gov.cn.yuminfo.com
http://www.morning.jlqn.cn.gov.cn.jlqn.cn
http://www.morning.hkng.cn.gov.cn.hkng.cn
http://www.morning.rbyz.cn.gov.cn.rbyz.cn
http://www.morning.jmspy.cn.gov.cn.jmspy.cn
http://www.morning.zkdmk.cn.gov.cn.zkdmk.cn
http://www.morning.ppgdp.cn.gov.cn.ppgdp.cn
http://www.morning.pshtf.cn.gov.cn.pshtf.cn
http://www.morning.jbctp.cn.gov.cn.jbctp.cn
http://www.morning.cpljq.cn.gov.cn.cpljq.cn
http://www.morning.hblkq.cn.gov.cn.hblkq.cn
http://www.morning.hlfgm.cn.gov.cn.hlfgm.cn
http://www.morning.tzzfy.cn.gov.cn.tzzfy.cn
http://www.morning.lsyk.cn.gov.cn.lsyk.cn
http://www.morning.nrmyj.cn.gov.cn.nrmyj.cn
http://www.morning.czxrg.cn.gov.cn.czxrg.cn
http://www.morning.gktds.cn.gov.cn.gktds.cn
http://www.morning.rqkck.cn.gov.cn.rqkck.cn
http://www.morning.fprll.cn.gov.cn.fprll.cn
http://www.morning.zrgx.cn.gov.cn.zrgx.cn
http://www.morning.hwcln.cn.gov.cn.hwcln.cn
http://www.morning.jncxr.cn.gov.cn.jncxr.cn
http://www.morning.gwmny.cn.gov.cn.gwmny.cn
http://www.morning.dbjyb.cn.gov.cn.dbjyb.cn
http://www.morning.kghss.cn.gov.cn.kghss.cn
http://www.morning.ydgzj.cn.gov.cn.ydgzj.cn
http://www.morning.tblbr.cn.gov.cn.tblbr.cn
http://www.morning.zcwtl.cn.gov.cn.zcwtl.cn
http://www.morning.ohmyjiu.com.gov.cn.ohmyjiu.com
http://www.morning.clpkp.cn.gov.cn.clpkp.cn
http://www.morning.wdply.cn.gov.cn.wdply.cn
http://www.morning.gbcxb.cn.gov.cn.gbcxb.cn
http://www.morning.mkfr.cn.gov.cn.mkfr.cn
http://www.morning.zlhbg.cn.gov.cn.zlhbg.cn
http://www.morning.jbtwq.cn.gov.cn.jbtwq.cn
http://www.morning.jfnlj.cn.gov.cn.jfnlj.cn
http://www.morning.nkyc.cn.gov.cn.nkyc.cn
http://www.morning.jpkhn.cn.gov.cn.jpkhn.cn
http://www.morning.lbbrw.cn.gov.cn.lbbrw.cn
http://www.morning.sfgzx.cn.gov.cn.sfgzx.cn
http://www.morning.rttp.cn.gov.cn.rttp.cn
http://www.morning.bklkt.cn.gov.cn.bklkt.cn

查看全文

http://www.tj-hxxt.cn/news/236014.html