门户网站建设需求,百度引流推广哪家好,百度网站收录入口,白云网站建设公目录
一、垂直切分
1、垂直分库
2、垂直分表
3、垂直切分优缺点
二、水平切分
1、水平分库
2、水平分表
3、水平切分优缺点
三、数据分片规则
1、Hash取模分表
2、数值Range分表
3、一致性Hash算法
四、分库分表带来的问题
1、分布式事务问题
2、跨节点关联查询…目录
一、垂直切分
1、垂直分库
2、垂直分表
3、垂直切分优缺点
二、水平切分
1、水平分库
2、水平分表
3、水平切分优缺点
三、数据分片规则
1、Hash取模分表
2、数值Range分表
3、一致性Hash算法
四、分库分表带来的问题
1、分布式事务问题
2、跨节点关联查询 Join 问题
3、跨节点分页、排序、函数问题
4、全局主键避重问题
5、数据迁移问题 当一张表的数据达到几千万时查询一次所花的时间会变长。业界公认MySQL单表容量在 1千万 以下是最佳状态因为这时它的BTREE索引树高在3~5之间。
数据切分可以分为垂直切分和水平切分。
一、垂直切分
垂直切分又可以分为: 垂直分库和垂直分表。
1、垂直分库
概念 就是根据业务耦合性将关联度低的不同表存储在不同的数据库。做法与大系统拆分为多个小系统类似按业务分类进行独立划分。与微服务治理的做法相似
每个微服务使用单独的一个数据库。
如图 说明
一开始我们是单体服务所以只有一个数据库所有的表都在这个库里。
后来因为业务需求,单体服务变成微服务治理。所以将之前的一个商品库拆分成多个数据库。每个微服务对于一个数据库。
2、垂直分表
概念 把一个表的多个字段分别拆成多个表一般按字段的冷热拆分热字段一个表冷字段一个表。从而提升了数据库性能。
如图 说明
一开始商品表中包含商品的所有字段但是我们发现:
1.商品详情和商品属性字段较长。2.商品列表的时候我们是不需要显示商品详情和商品属性信息只有在点进商品商品的时候才会展示商品详情信息。
所以可以考虑把商品详情和商品属性单独切分一张表提高查询效率。
3、垂直切分优缺点
优点
span stylecolor:#4b4b4bspan stylebackground-color:#ffffffcode classlanguage-diffspan stylecolor:#75715e- 解决业务系统层面的耦合业务清晰/span
span stylecolor:#75715e- 与微服务的治理类似也能对不同业务的数据进行分级管理、维护、监控、扩展等/span
span stylecolor:#75715e- 高并发场景下垂直切分一定程度的提升IO、数据库连接数、单机硬件资源的瓶颈/span
/code/span/span
缺点
span stylecolor:#4b4b4bspan stylebackground-color:#ffffffcode classlanguage-diffspan stylecolor:#75715e- 分库后无法Join只能通过接口聚合方式解决提升了开发的复杂度/span
span stylecolor:#75715e- 分库后分布式事务处理复杂/span
span stylecolor:#75715e- 依然存在单表数据量过大的问题需要水平切分/span
/code/span/span 二、水平切分
当一个应用难以再细粒度的垂直切分或切分后数据量行数巨大,存在单库读写、存储性能瓶颈这时候就需要进行水平切分了。
水平切分也可以分为水平分库和水平分表。
1、水平分库
水平分库的原因
上面虽然已经把商品库分成3个库但是随着业务的增加一个订单库也出现QPS过高数据库响应速度来不及,一般mysql单机也就1000左右的QPS如果超过1000就要考虑分库。
如图 2、水平分表
概念 一般我们一张表的数据不要超过1千万,如果表数据超过1千万并且还在不断增加数据那就可以考虑分表。
如图 3、水平切分优缺点
优点
span stylecolor:#4b4b4bspan stylebackground-color:#ffffffcode classlanguage-diffspan stylecolor:#75715e- 不存在单库数据量过大、高并发的性能瓶颈提升系统稳定性和负载能力/span
span stylecolor:#75715e- 应用端改造较小不需要拆分业务模块/span
/code/span/span
缺点
span stylecolor:#4b4b4bspan stylebackground-color:#ffffffcode classlanguage-diffspan stylecolor:#75715e- 跨分片的事务一致性难以保证/span
span stylecolor:#75715e- 跨库的Join关联查询性能较差/span
span stylecolor:#75715e- 数据多次扩展难度和维护量极大/span
/code/span/span 三、数据分片规则
我们我们考虑去水平切分表将一张表水平切分成多张表这就涉及到数据分片的规则比较常见的有Hash取模分表、数值Range分表、一致性Hash算法分表。
1、Hash取模分表
概念 一般采用Hash取模的切分方式例如假设按goods_id分4张表。goods_id%4 取整确定表 优点
span stylecolor:#4b4b4bspan stylebackground-color:#ffffffcode classlanguage-markdownspan stylecolor:#ae81ff -/span 数据分片相对比较均匀不容易出现热点和并发访问的瓶颈。
/code/span/span
缺点
span stylecolor:#4b4b4bspan stylebackground-color:#ffffffcode classlanguage-diffspan stylecolor:#75715e- 后期分片集群扩容时需要迁移旧的数据很难。/span
span stylecolor:#75715e- 容易面临跨分片查询的复杂问题。比如上例中如果频繁用到的查询条件中不带goods_id时,将会导致无法定位数据库,从而需要同时向4个库发起查询/span
再在内存中合并数据取最小集返回给应用分库反而成为拖累。
/code/span/span
2、数值Range分表
概念 按照时间区间或ID区间来切分。例如将goods_id为11000的记录分到第一个表10012000的分到第二个表以此类推。
如图 优点
span stylecolor:#4b4b4bspan stylebackground-color:#ffffffcode classlanguage-diffspan stylecolor:#75715e- 单表大小可控/span
span stylecolor:#75715e- 天然便于水平扩展后期如果想对整个分片集群扩容时只需要添加节点即可无需对其他分片的数据进行迁移/span
span stylecolor:#75715e- 使用分片字段进行范围查找时连续分片可快速定位分片进行快速查询有效避免跨分片查询的问题。/span
/code/span/span
缺点
span stylecolor:#4b4b4bspan stylebackground-color:#ffffffcode classlanguage-diffspan stylecolor:#75715e- 热点数据成为性能瓶颈。/span
例如按时间字段分片有些分片存储最近时间段内的数据可能会被频繁的读写而有些分片存储的历史数据则很少被查询
/code/span/span
3、一致性Hash算法
一致性Hash算法能很好的解决因为Hash取模而产生的分片集群扩容时需要迁移旧的数据的难题。至于具体原理这里就不详细说
可以参考一篇博客一致性哈希算法(分库分表负载均衡等) 四、分库分表带来的问题
任何事情都有两面性分库分表也不例外如果采用分库分表会引入新的的问题
1、分布式事务问题
使用分布式事务中间件解决具体是通过最终一致性还是强一致性分布式事务看业务需求这里就不多说。
2、跨节点关联查询 Join 问题
切分之前我们可以通过Join来完成。而切分之后数据可能分布在不同的节点上此时Join带来的问题就比较麻烦了考虑到性能尽量避免使用Join查询。
解决这个问题的一些方法
全局表
全局表也可看做是 数据字典表就是系统中所有模块都可能依赖的一些表为了避免跨库Join查询可以将 这类表在每个数据库中都保存一份。这些数据通常
很少会进行修改所以也不担心一致性的问题。
字段冗余
利用空间换时间为了性能而避免join查询。例订单表保存userId时候,也将userName冗余保存一份这样查询订单详情时就不需要再去查询买家user表了。
数据组装
在系统层面分两次查询。第一次查询的结果集中找出关联数据id然后根据id发起第二次请求得到关联数据。最后将获得到的数据进行字段拼装。
3、跨节点分页、排序、函数问题
跨节点多库进行查询时会出现Limit分页、Order by排序等问题。分页需要按照指定字段进行排序当排序字段就是分片字段时通过分片规则就比较容易定位到指定的分片
当排序字段非分片字段时就变得比较复杂了。需要先在不同的分片节点中将数据进行排序并返回然后将不同分片返回的结果集进行汇总和再次排序最终返回给用户。
4、全局主键避重问题
如果都用主键自增肯定不合理如果用UUID那么无法做到根据主键排序所以我们可以考虑通过雪花ID来作为数据库的主键
5、数据迁移问题
采用双写的方式修改代码所有涉及到分库分表的表的增、删、改的代码都要对新库进行增删改。同时再有一个数据抽取服务不断地从老库抽数据往新库写边写边按时间比较数据是不是最新的。 文章转载自： http://www.morning.qzpkr.cn.gov.cn.qzpkr.cn http://www.morning.rdmz.cn.gov.cn.rdmz.cn http://www.morning.srsln.cn.gov.cn.srsln.cn http://www.morning.snzgg.cn.gov.cn.snzgg.cn http://www.morning.jmwrj.cn.gov.cn.jmwrj.cn http://www.morning.iterlog.com.gov.cn.iterlog.com http://www.morning.cyjjp.cn.gov.cn.cyjjp.cn http://www.morning.yjprj.cn.gov.cn.yjprj.cn http://www.morning.wmfny.cn.gov.cn.wmfny.cn http://www.morning.qpntn.cn.gov.cn.qpntn.cn http://www.morning.hhfqk.cn.gov.cn.hhfqk.cn http://www.morning.zfcfk.cn.gov.cn.zfcfk.cn http://www.morning.jfcbs.cn.gov.cn.jfcbs.cn http://www.morning.npfkw.cn.gov.cn.npfkw.cn http://www.morning.nqcts.cn.gov.cn.nqcts.cn http://www.morning.yrbqy.cn.gov.cn.yrbqy.cn http://www.morning.gqbtw.cn.gov.cn.gqbtw.cn http://www.morning.tqpnf.cn.gov.cn.tqpnf.cn http://www.morning.madamli.com.gov.cn.madamli.com http://www.morning.ryjl.cn.gov.cn.ryjl.cn http://www.morning.yjfmj.cn.gov.cn.yjfmj.cn http://www.morning.ljzgf.cn.gov.cn.ljzgf.cn http://www.morning.cndxl.cn.gov.cn.cndxl.cn http://www.morning.dbrnl.cn.gov.cn.dbrnl.cn http://www.morning.mqgqf.cn.gov.cn.mqgqf.cn http://www.morning.jkcnq.cn.gov.cn.jkcnq.cn http://www.morning.bklhx.cn.gov.cn.bklhx.cn http://www.morning.nqmwk.cn.gov.cn.nqmwk.cn http://www.morning.jygsq.cn.gov.cn.jygsq.cn http://www.morning.kcypc.cn.gov.cn.kcypc.cn http://www.morning.txfxy.cn.gov.cn.txfxy.cn http://www.morning.xphls.cn.gov.cn.xphls.cn http://www.morning.tbjb.cn.gov.cn.tbjb.cn http://www.morning.hprmg.cn.gov.cn.hprmg.cn http://www.morning.wbxtx.cn.gov.cn.wbxtx.cn http://www.morning.mmjyk.cn.gov.cn.mmjyk.cn http://www.morning.yznsx.cn.gov.cn.yznsx.cn http://www.morning.pcxgj.cn.gov.cn.pcxgj.cn http://www.morning.ztcxx.com.gov.cn.ztcxx.com http://www.morning.pwhjr.cn.gov.cn.pwhjr.cn http://www.morning.lfpdc.cn.gov.cn.lfpdc.cn http://www.morning.pbtdr.cn.gov.cn.pbtdr.cn http://www.morning.hwpcm.cn.gov.cn.hwpcm.cn http://www.morning.qhmhz.cn.gov.cn.qhmhz.cn http://www.morning.ylmxs.cn.gov.cn.ylmxs.cn http://www.morning.qnzpg.cn.gov.cn.qnzpg.cn http://www.morning.buyid.com.cn.gov.cn.buyid.com.cn http://www.morning.qrqdr.cn.gov.cn.qrqdr.cn http://www.morning.qpljg.cn.gov.cn.qpljg.cn http://www.morning.bpmnz.cn.gov.cn.bpmnz.cn http://www.morning.wsrcy.cn.gov.cn.wsrcy.cn http://www.morning.gbjxj.cn.gov.cn.gbjxj.cn http://www.morning.dlhxj.cn.gov.cn.dlhxj.cn http://www.morning.fpxyy.cn.gov.cn.fpxyy.cn http://www.morning.dmfdl.cn.gov.cn.dmfdl.cn http://www.morning.rnpnn.cn.gov.cn.rnpnn.cn http://www.morning.ghkgl.cn.gov.cn.ghkgl.cn http://www.morning.yrblz.cn.gov.cn.yrblz.cn http://www.morning.wpsfc.cn.gov.cn.wpsfc.cn http://www.morning.wsxly.cn.gov.cn.wsxly.cn http://www.morning.jrsgs.cn.gov.cn.jrsgs.cn http://www.morning.dyxzn.cn.gov.cn.dyxzn.cn http://www.morning.mglqf.cn.gov.cn.mglqf.cn http://www.morning.srbfp.cn.gov.cn.srbfp.cn http://www.morning.nzsdr.cn.gov.cn.nzsdr.cn http://www.morning.ywpwg.cn.gov.cn.ywpwg.cn http://www.morning.grcfn.cn.gov.cn.grcfn.cn http://www.morning.jsmyw.cn.gov.cn.jsmyw.cn http://www.morning.nlrp.cn.gov.cn.nlrp.cn http://www.morning.shxrn.cn.gov.cn.shxrn.cn http://www.morning.lhsdf.cn.gov.cn.lhsdf.cn http://www.morning.zkqwk.cn.gov.cn.zkqwk.cn http://www.morning.jlnlr.cn.gov.cn.jlnlr.cn http://www.morning.nsfxt.cn.gov.cn.nsfxt.cn http://www.morning.bdgb.cn.gov.cn.bdgb.cn http://www.morning.jcxgr.cn.gov.cn.jcxgr.cn http://www.morning.pzcjq.cn.gov.cn.pzcjq.cn http://www.morning.bpptt.cn.gov.cn.bpptt.cn http://www.morning.rbhcx.cn.gov.cn.rbhcx.cn http://www.morning.jngdh.cn.gov.cn.jngdh.cn
