华润置地建设事业部官方网站,外包开发app需要多少钱,百度通用网址,上海大都会app官网下载一、基础概念
1. MVCC的含义
MVCC (Multiversion Concurrency Control)#xff0c;即多版本并发控制技术#xff0c;它是通过读取某个时间点的快照数据#xff0c; 来降低并发事务冲突而引起的锁等待#xff0c; 从而提高并发性能的一种机制. MVCC 的实现,是通过保存数据…一、基础概念
1. MVCC的含义
MVCC (Multiversion Concurrency Control)即多版本并发控制技术它是通过读取某个时间点的快照数据 来降低并发事务冲突而引起的锁等待 从而提高并发性能的一种机制. MVCC 的实现,是通过保存数据在某个时间点的快照来实现的。也就是说不管需要执行多长时间每个事务看到的数据都是一致的。 根据事务开始的时间不同每个事务对同一张表同一时刻看到的数据可能是不一样的。 MVCC只在 READ COMMITTED 和 REPEATABLE READ 两个隔离级别下工作。其他两个隔离级别够和MVCC不兼容. 因为 READ UNCOMMITTED 总是读取最新的数据行, 而不是符合当前事务版本的数据行。 而 SERIALIZABLE 则会对所有读取的行都加锁。 读取数据时通过一种类似快照的方式将数据保存下来这样读锁就和写锁不冲突了不同的事务session会看到自己特定版本的数据版本链它使得大部分支持行锁的事务引擎不再单纯的使用行锁来进行数据库的并发控制取而代之的是把数据库的行锁与行的多个版本结合起来只需要很小的开销,就可以实现非锁定读从而大大提高数据库系统的并发性能。
自己理解就是用版本号而不是锁已达到并发下的读写。
2. MVCC的意义
这样设计使得读数据操作很简单性能很好并且也能保证只会读取到符合标准的行。
不足之处是每行记录都需要额外的存储空间需要做更多的行检查工作以及一些额外的维护工作。
MVCC是事务隔离性的底层实现原理
那么读提交和可重复读的底层MVCC有何实现差异
读提交的逻辑和可重复读的逻辑类似它们最主要的区别是
在可重复读隔离级别下只需要在事务开始的时候创建一致性视图之后当前事务里的其他查询都共用这个一致性视图在读提交隔离级别下每一个语句执行前都会重新算出一个新的视图
可重复读的核心就是一致性读consistent read而事务更新数据的时候只能用当前读。如果当前的记录的行锁被其他事务占用的话就需要进入锁等待。
二.实现原理
在可重复读隔离级别下事务在启动的时候就“拍了个快照”。注意这个快照是基于整库的。 InnoDB的MVCC,是通过在每行记录后面保存两个隐藏的列来实现的。 每开始一个新的事务系统版本号都会自动递增。事务开始时刻的系统版本号会作为事务的版本号,用来和查询到的每行记录的版本号进行比较。下面看一下在 REPEATABLEREAD 隔离级别下MVCC具体是如何操作的。 SELECT InnoDB会根据以下两个条件检查每行记录: a.InnoDB 只查找版本早于当前事务版本的数据行(也就是行的系统版本号小于或等于事务的系统版本号),这样可以确保事务读取的行,要么是在事务开始前已经存在的要么是事务自身插人或者修改过的。 b,行的删除版本要么未定义,要么大于当前事务版本号。这可以确保事务读取到的行在事务开始之前未被删除。 只有符合上述两个条件的记录才能返回作为查询结果 INSERT InnoDB 为新插人的每一行保存当前系统版本号作为行版本号 DELETE InnoDB 为删除的每一行保存当前系统版本号作为行删除标识。 UPDATE InnoDB 为插入一行新记录保存当前系统版本号作为行版本号同时保存当前系统版本号到原来的行作为行删除标识。 保存这两个额外系统版本号使大多数读操作都可以不用加锁。 1.聚簇索引隐藏列
在数据库表的记录中每一个记录都会添加三个字段
DB_TRX_ID6个字节表示当前修改本记录的事务IDDB_ROLL_PTR 7 个字节回滚指针指向回滚段中的 undo log record用于找出这个记录的上个版本修改的数据。DB_ROW_ID6 个字节一个单调递增的 ID确定表中记录的唯一性。
每行数据也都是有多个版本的,每次事务更新数据的时候都会生成一个新的数据版本并且把 transaction id 赋值给这个数据版本的事务 ID记为 row trx_id。同时旧的数据版本要保留并且在新的数据版本中能够有信息可以直接拿到它。
也就是说数据表中的一行记录其实可能有多个版本 (row)每个版本有自己的 row trx_id。
如图 2 所示就是一个记录被多个事务连续更新后的状态。 图 2 行状态变更图
图中虚线框里是同一行数据的 4 个版本当前最新版本是 V4k 的值是 22它是被 transaction id 为 25 的事务更新的因此它的 row trx_id 也是 25。
你可能会问前面的文章不是说语句更新会生成 undo log回滚日志吗那么undo log 在哪呢
实际上图 2 中的三个虚线箭头就是 undo log而 V1、V2、V3 并不是物理上真实存在的而是每次需要的时候根据当前版本和 undo log 计算出来的。比如需要 V2 的时候就是通过 V4 依次执行 U3、U2 算出来。
2.一致性视图read-view 按照可重复读的定义一个事务启动的时候能够看到所有已经提交的事务结果。但是之后这个事务执行期间其他事务的更新对它不可见。 因此一个事务只需要在启动的时候声明说“以我启动的时刻为准如果一个数据版本是在我启动之前生成的就认如果是我启动以后才生成的我就不认我必须要找到它的上一个版本”。 当然如果“上一个版本”也不可见那就得继续往前找。还有如果是这个事务自己更新的数据它自己还是要认的。 在实现上 InnoDB 为每个事务构造了一个数组用来保存这个事务启动瞬间当前正在“活跃”的所有事务 ID。“活跃”指的就是启动了但还没提交。
数组里面事务 ID 的最小值记为低水位当前系统里面已经创建过的事务 ID 的最大值加 1 记为高水位。
这个视图数组和高水位就组成了当前事务的一致性视图read-view
而数据版本的可见性规则就是基于数据的 row trx_id 和这个一致性视图的对比结果得到的。这个视图数组把所有的 row trx_id 分成了几种不同的情况。
这样对于当前事务的启动瞬间来说一个数据版本的 row trx_id有以下几种可能
如果落在绿色部分表示这个版本是已提交的事务或者是当前事务自己生成的这个数据是可见的如果落在红色部分表示这个版本是由将来启动的事务生成的是肯定不可见的如果落在黄色部分就需要版本对比了。 那就包括两种情况 a. 若 row trx_id 在数组中表示这个版本是由还没提交的事务生成的不可见但如果当前是自己的事务是可见的。 b. 若row trx_id 不在数组中表示这个版本是已经提交了的事务生成的可见。一致性视图再rm级别下是会更新变化的也只有rm级别才会这种场景 3.一致性读consistent read
又称快照读读取的是undo log中的数据可能是数据的历史版本no-locking所以是非阻塞的读取操作对应为一般的select 语句。
4.当前读current read
读取的是记录的最新版本可能是其他事务提交后的值, 加锁保证事务隔离性。
主要发生在update 语句除了 update 语句外select 语句如果加锁也是当前读。
而对于一般的查询语句则使用的是一致性读即不会读到其他事务提交后的值。 5. 数据库行纪录的更新底层机制
1.初始数据行 F1F6是某行列的名字16是其对应的数据。后面三个隐含字段分别对应该行的事务号和回滚指针假如这条数据是刚INSERT的可以认为ID为1其他两个字段为空。
2.事务1更改该行的各字段的值
当事务1更改该行的值时会进行如下操作
用排他锁锁定该行记录redo log把该行修改前的值Copy到undo log即上图中下面的行修改当前行的值填写事务编号使回滚指针指向undo log中的修改前的行
3.事务2修改该行的值 与事务1相同此时undo log中有有两行记录并且通过回滚指针连在一起。
因此如果undo log一直不删除则会通过当前记录的回滚指针回溯到该行创建时的初始内容。
所幸的时在Innodb中存在purge线程它会查询那些比现在最老的活动事务即还未提交的事务还早的undo log并删除它们从而保证undo log文件不至于无限增长。
即事务一旦提交了所对应的undo log文件就失去了存在的意义
6. 删除的底层实现机制
将所在行的数据复制一份然后将事务ID更新为删除操作的事务ID。并将新的事务ID的头信息record header里的删除标示delete_flag标记置为true当读起的时候会检查头信息如果标记为true则不返回对应的数据。 可见数据库底层操作也是类似逻辑删除。 三.实战分析
1.场景一
我给你举一个例子吧。下面是一个只有两行的表的初始化语句。 mysql CREATE TABLE t (id int(11) NOT NULL,k int(11) DEFAULT NULL,PRIMARY KEY (id)
) ENGINEInnoDB;
insert into t(id, k) values(1,1),(2,2);三个并发事务执行顺序如下
在这个例子中事务 C 没有显式地使用 begin/commit表示这个 update 语句本身就是一个事务语句完成的时候会自动提交。事务 B 在更新了行之后查询 ; 事务 A 在一个只读事务中查询并且时间顺序上是在事务 B 的查询之后。
这里我们不妨做如下假设 1.事务 A 开始前系统里面只有一个活跃事务 ID 是 99 2.事务 A、B、C 的版本号分别是 100、101、102且当前系统里只有这四个事务 3.三个事务开始前(1,1这一行数据的 row trx_id 是 90。 这样事务 A 的视图数组就是 [99,100], 事务 B 的视图数组是 [99,100,101], 事务 C 的视图数组是 [99,100,101,102]。
在可重复读隔离级别下
为了简化分析我先把其他干扰语句去掉只画出跟事务 A 查询逻辑有关的操作 图 4 事务 A 查询数据逻辑图
从图中可以看到第一个有效更新是事务 C把数据从 (1,1) 改成了 (1,2)。这时候这个数据的最新版本的 row trx_id 是 102而 90 这个版本已经成为了历史版本。
第二个有效更新是事务 B把数据从 (1,2) 改成了 (1,3)。这时候这个数据的最新版本即 row trx_id是 101而 102 又成为了历史版本。
你可能注意到了在事务 A 查询的时候其实事务 B 还没有提交但是它生成的 (1,3) 这个版本已经变成当前版本了。但这个版本对事务 A 必须是不可见的否则就变成脏读了。
好现在事务 A 要来读数据了它的视图数组是 [99,100]。那么此时事务A的低水位为99高水位为90191.
当然了读数据都是从当前版本读起的。所以事务 A 查询语句的读数据流程是这样的 找到 (1,3) 的时候判断出 row trx_id101比高水位大(开启一致性视图开启的事务)处于红色区域不可见接着找到上一个历史版本一看 row trx_id102比高水位大(开启一致性视图开启的事务)处于红色区域不可见再往前找终于找到了1,1)它的 row trx_id90比低水位小处于绿色区域可见。 这样执行下来虽然期间这一行数据被修改过但是事务 A 不论在什么时候查询看到这行数据的结果都是一致的所以我们称之为一致性读。 这个判断规则是从代码逻辑直接转译过来的但是正如你所见用于人肉分析可见性很麻烦。 所以我来给你翻译一下。一个数据版本对于一个事务视图来说除了自己的更新总是可见以外有三种情况 版本未提交不可见 版本已提交但是是在视图创建后提交的不可见 版本已提交而且是在视图创建前提交的可见。 现在我们用这个规则来判断图 4 中的查询结果事务 A 的查询语句的视图数组是在事务 A 启动的时候生成的这时候
(1,3) 还没提交属于情况 1不可见 (1,2) 虽然提交了但是是在视图数组创建之后提交的属于情况 2不可见 (1,1) 是在视图数组创建之前提交的可见。 你看去掉数字对比后只用时间先后顺序来判断分析起来是不是轻松多了。 所以后面我们就都用这个规则来分析。
事务 B的查询 事务 B 的视图数组是 [99,100,101],低水位是99高水位为90191
事务 B在更新后的查询语句的读数据流程是这样的() 找到 (1,3) 的时候判断出 row trx_id101发现是自己的事务ID则可见顾查询的值为3。 细心的同学可能有疑问了事务 B 的 update 语句如果按照一致性读好像结果不对哦
你看图 5 中事务 B 的视图数组是先生成的之后事务 C 才提交不是应该看不见 (1,2) 吗怎么能算出 (1,3) 来
是的如果事务 B 在更新之前查询一次数据这个查询返回的 k 的值确实是 1。
但是当它要去更新数据的时候就不能再在历史版本上更新了否则事务 C 的更新就丢失了。因此事务 B 此时的 set kk1 是在1,2的基础上进行的操作。
所以这里就用到了这样一条规则更新数据都是先读后写的而这个读只能读当前的值称为“当前读”current read。
因此在更新的时候当前读拿到的数据是 (1,2)更新后生成了新版本的数据 (1,3)这个新版本的 row trx_id 是 101。
所以在执行事务 B 查询语句的时候一看自己的版本号是 101最新数据的版本号也是 101是自己的更新可以直接使用所以查询得到的 k 的值是 3。
这里我们提到了一个概念叫作当前读。其实除了 update 语句外select 语句如果加锁也是当前读。
所以如果把事务 A 的查询语句 select * from t where id1 修改一下加上 lock in share mode 或 for update也都可以读到版本号是 101 的数据返回的 k 的值是 3。下面这两个 select 语句就是分别加了读锁S 锁共享锁和写锁X 锁排他锁。
mysql select k from t where id1 lock in share mode;
mysql select k from t where id1 for update;再往前一步假设事务 C 不是马上提交的而是变成了下面的事务 C’会怎么样呢 图 6 事务 A、B、C’的执行流程
事务 C’的不同是更新后并没有马上提交在它提交前事务 B 的更新语句先发起了。前面说过了虽然事务 C’还没提交但是 (1,2) 这个版本也已经生成了并且是当前的最新版本。那么事务 B 的更新语句会怎么处理呢
这时候我们在之前提到的“两阶段锁协议”就要上场了。
事务 C’没提交也就是说 (1,2) 这个版本上的写锁还没释放。而事务 B 是当前读必须要读最新版本而且必须加锁因此就被锁住了必须等到事务 C’释放这个锁才能继续它的当前读。 到这里我们把一致性读、当前读和行锁就串起来了。
事务 C的查询 事务 C 的视图数组是 [99,100,101,102]。低水位是99高水位为90191.
事务 C查询语句的读数据流程是这样的 找到 (1,3) 的时候判断出 row trx_id101大于高水位不可见。 然后查上一版本判断row trx_id102发现是自己的事务ID可见。估事务 C查询语句得到的值是2. 那么我们再看一下在读提交隔离级别下事务 A 和事务 B 的查询语句查到的 k分别应该是多少呢
在读提交时隔离级别下
下面是读提交时的状态图可以看到这两个查询语句的创建视图数组的时机发生了变化就是图中的 read view 框。注意这里我们用的还是事务 C 的逻辑直接提交而不是事务 C’ 这时事务 A 的查询语句的视图数组是在执行这个语句的时候创建的时序上 (1,2)、(1,3) 的生成时间都在创建这个视图数组的时刻之前。但是在这个时刻
(1,3) 还没提交属于情况 1不可见(1,2) 提交了属于情况 3可见。
所以这时候事务 A 查询语句返回的是 k2。 显然地事务 B 查询结果 k3。
那么如果用一致性视图的读取规则来计算的话
事务A查询语句的视图为[100,101] 低水位是100此时已提交的事务信息事务ID是102所以高水位是1021103。 读起规则 首先101小于103,且在未提交事务数组中不可见。然后102小于103且不在未提交事务数组中可见。 事务B查询语句的视图为[100,101] 此时A未提交事务C已提交事务。所以低水位是100高水位是1021103。
读起规则 首先101是当前事务ID可见。事务 B 查询结果 k3。 事务C查询语句的视图为:[100,101,102] ,此时AB,C都未提交事务所以低水位是100高水位是90191。并且事务C查询的时候还没有执行事务B101的更新语句.
读起规则 首先102是当前事务ID可见。事务C 查询结果 k2。 2.场景二
我们创建了一个简单的表 t并插入一行然后对这一行做修改。
mysql CREATE TABLE t (
id int(11) NOT NULL primary key auto_increment,
a int(11) DEFAULT NULL
) ENGINEInnoDB;
insert into t values(1,2); 这时候表 t 里有唯一的一行数据 (1,2)。假设我现在要执行 mysql update t set a2 where id1; 你会看到这样的结果 结果显示匹配 (rows matched) 了一行修改 (Changed) 了 0 行。
仅从现象上看MySQL 内部在处理这个命令的时候可以有以下三种选择 更新都是先读后写的MySQL 读出数据发现 a 的值本来就是 2不更新直接返回执行结束 MySQL 调用了 InnoDB 引擎提供的“修改为 (1,2)”这个接口但是引擎发现值与原来相同不更新直接返回 InnoDB 认真执行了“把这个值修改成 (1,2)这个操作该加锁的加锁该更新的更新。
你觉得实际情况会是以上哪种呢你可否用构造实验的方式来证明你的结论进一步地可以思考一下MySQL 为什么要选择这种策略呢 第一个选项是MySQL 读出数据发现值与原来相同不更新直接返回执行结束。这里我们可以用一个锁实验来确认。
假设当前表 t 里的值是 (1,2)。 图 12 锁验证方式
session B 的 update 语句被 blocked 了加锁这个动作是 InnoDB 才能做的所以排除选项 1。 第二个选项是MySQL 调用了 InnoDB 引擎提供的接口但是引擎发现值与原来相同不更新直接返回。有没有这种可能呢这里我用一个可见性实验来确认。
假设当前表里的值是 (1,2)。 图 13 可见性验证方式
session A的update语句是当前读所以结果是匹配了一行但没有结果更新。
session A 的第二个 select 语句是一致性读快照读)它是不能看见 session B 的更新的。
现在它返回的是 (1,3)表示它看见了某个新的版本这个版本只能是 session A 自己的 update 语句做更新的时候生成。
所以我们的答案应该是选项 3即InnoDB 认真执行了“把这个值修改成 (1,2)这个操作该加锁的加锁该更新的更新。
然后你会说MySQL 怎么这么笨就不会更新前判断一下值是不是相同吗如果判断一下不就不用浪费 InnoDB 操作多去更新一次了
其实 MySQL 是确认了的。只是在这个语句里面MySQL 认为读出来的值只有一个确定的 (id1), 而要写的是 (a3)只从这两个信息是看不出来“不需要修改”的。
作为验证你可以看一下下面这个例子。 图 14 可见性验证方式 -- 对照
这里update语句只查询只匹配了id1的条件而a3因为是一致性读所以匹配不上。 文章转载自： http://www.morning.krdxz.cn.gov.cn.krdxz.cn http://www.morning.rsjng.cn.gov.cn.rsjng.cn http://www.morning.kjcll.cn.gov.cn.kjcll.cn http://www.morning.qbfs.cn.gov.cn.qbfs.cn http://www.morning.fhhry.cn.gov.cn.fhhry.cn http://www.morning.jfbpf.cn.gov.cn.jfbpf.cn http://www.morning.xmttd.cn.gov.cn.xmttd.cn http://www.morning.fzwf.cn.gov.cn.fzwf.cn http://www.morning.rntgy.cn.gov.cn.rntgy.cn http://www.morning.lwbhw.cn.gov.cn.lwbhw.cn http://www.morning.wpmlp.cn.gov.cn.wpmlp.cn http://www.morning.thbkc.cn.gov.cn.thbkc.cn http://www.morning.rsnd.cn.gov.cn.rsnd.cn http://www.morning.xyjlh.cn.gov.cn.xyjlh.cn http://www.morning.pgmyn.cn.gov.cn.pgmyn.cn http://www.morning.fldrg.cn.gov.cn.fldrg.cn http://www.morning.azxey.cn.gov.cn.azxey.cn http://www.morning.swkpq.cn.gov.cn.swkpq.cn http://www.morning.nnpfz.cn.gov.cn.nnpfz.cn http://www.morning.whclz.cn.gov.cn.whclz.cn http://www.morning.gryzk.cn.gov.cn.gryzk.cn http://www.morning.nbfkk.cn.gov.cn.nbfkk.cn http://www.morning.dhdzz.cn.gov.cn.dhdzz.cn http://www.morning.ttdbr.cn.gov.cn.ttdbr.cn http://www.morning.gqjwz.cn.gov.cn.gqjwz.cn http://www.morning.dnconr.cn.gov.cn.dnconr.cn http://www.morning.kghss.cn.gov.cn.kghss.cn http://www.morning.tqgmd.cn.gov.cn.tqgmd.cn http://www.morning.qypjk.cn.gov.cn.qypjk.cn http://www.morning.slfmp.cn.gov.cn.slfmp.cn http://www.morning.mjats.com.gov.cn.mjats.com http://www.morning.wdrxh.cn.gov.cn.wdrxh.cn http://www.morning.xkhxl.cn.gov.cn.xkhxl.cn http://www.morning.tkqzr.cn.gov.cn.tkqzr.cn http://www.morning.mxlmn.cn.gov.cn.mxlmn.cn http://www.morning.jbfjp.cn.gov.cn.jbfjp.cn http://www.morning.dwhnb.cn.gov.cn.dwhnb.cn http://www.morning.fhghy.cn.gov.cn.fhghy.cn http://www.morning.dpzcc.cn.gov.cn.dpzcc.cn http://www.morning.jczjf.cn.gov.cn.jczjf.cn http://www.morning.beeice.com.gov.cn.beeice.com http://www.morning.cjmmt.cn.gov.cn.cjmmt.cn http://www.morning.dfffm.cn.gov.cn.dfffm.cn http://www.morning.mcjp.cn.gov.cn.mcjp.cn http://www.morning.ktpzb.cn.gov.cn.ktpzb.cn http://www.morning.tqxtx.cn.gov.cn.tqxtx.cn http://www.morning.hwpcm.cn.gov.cn.hwpcm.cn http://www.morning.yrck.cn.gov.cn.yrck.cn http://www.morning.jggr.cn.gov.cn.jggr.cn http://www.morning.kgfsz.cn.gov.cn.kgfsz.cn http://www.morning.mzwqt.cn.gov.cn.mzwqt.cn http://www.morning.qwpyf.cn.gov.cn.qwpyf.cn http://www.morning.kmqms.cn.gov.cn.kmqms.cn http://www.morning.sxbgc.cn.gov.cn.sxbgc.cn http://www.morning.hmdyl.cn.gov.cn.hmdyl.cn http://www.morning.lcbt.cn.gov.cn.lcbt.cn http://www.morning.nyqzz.cn.gov.cn.nyqzz.cn http://www.morning.jgnst.cn.gov.cn.jgnst.cn http://www.morning.ysnbq.cn.gov.cn.ysnbq.cn http://www.morning.zsthg.cn.gov.cn.zsthg.cn http://www.morning.jrbyz.cn.gov.cn.jrbyz.cn http://www.morning.dpmkn.cn.gov.cn.dpmkn.cn http://www.morning.kaoshou.net.gov.cn.kaoshou.net http://www.morning.bsjxh.cn.gov.cn.bsjxh.cn http://www.morning.tnthd.cn.gov.cn.tnthd.cn http://www.morning.kwqcy.cn.gov.cn.kwqcy.cn http://www.morning.pypbz.cn.gov.cn.pypbz.cn http://www.morning.srltq.cn.gov.cn.srltq.cn http://www.morning.lkcqz.cn.gov.cn.lkcqz.cn http://www.morning.jgcrr.cn.gov.cn.jgcrr.cn http://www.morning.wnhgb.cn.gov.cn.wnhgb.cn http://www.morning.nsrlb.cn.gov.cn.nsrlb.cn http://www.morning.wzwpz.cn.gov.cn.wzwpz.cn http://www.morning.jjxxm.cn.gov.cn.jjxxm.cn http://www.morning.qfkxj.cn.gov.cn.qfkxj.cn http://www.morning.xnfg.cn.gov.cn.xnfg.cn http://www.morning.tkfnp.cn.gov.cn.tkfnp.cn http://www.morning.pzbqm.cn.gov.cn.pzbqm.cn http://www.morning.wklrz.cn.gov.cn.wklrz.cn http://www.morning.nhzxd.cn.gov.cn.nhzxd.cn
