网站建设的主要工作,网站建设合同 模板 下载,网址注册在哪里注册,海北高端网站建设多少钱Mysql架构与内部模块 演示环境#xff1a; MySQL 5.7 存储引擎#xff1a;InnoDB
一、一条查询SQL是如何执行的#xff1f; 程序或者工具要操作数据库#xff0c;第一步跟数据库建立连接。
1、通信协议
首先#xff0c;MySQL 必须要运行一个服务#xff0c;监听默认的…Mysql架构与内部模块 演示环境 MySQL 5.7 存储引擎InnoDB
一、一条查询SQL是如何执行的 程序或者工具要操作数据库第一步跟数据库建立连接。
1、通信协议
首先MySQL 必须要运行一个服务监听默认的端口3306。 通信协议 MySQL 支持多种通信协议。 第一个就是 TCP/IP 协议编程语言的连接模块都是用 TCP 协议连接到 MySQL 服务器的比如 mysqlconnector-java-x.x.xx.jar。
第二种是 Unix Socket。比如我们在 Linux 服务器不用通过网络协议也可以连接到 MySQL 的服务器它需要用到服务器上的一个物理文件mysql.sock。
mysql -uroot -p123456
show variables like socket;另外还有命名管道Named Pipes和内存共享Share Memory的方式。
通信方式 第二个是通信方式。
MySQL 使用半双工的通信方式。 半双工意味着要么是客户端向服务端发送数据要么是服务端向客户端发送数据这两个动作不能 同时发生。 所以客户端发送 SQL 语句给服务端的时候在一次连接里面数据是不能分成小块发送的不管 你的 SQL 语句有多大都是一次性发送。 如果发送给服务器的数据包过大我们必须要调整 MySQL 服务器配置 max_allowed_packet 参数的值 默认是 4M。
另一方面对于服务端来说也是一次性发送所有的数据不能因为你已经取到了想要的数据就中断操作。 所以我们一定要在程序里面避免不带 limit 的这种操作。 连接方式 第三个是连接这一块。 MySQL 既支持短连接也支持长连接。短连接就是操作完毕以后马上 close 掉。长连接可以保持打开后面的程序访问的时候还可以使用这个连接。 长时间不活动的连接MySQL 服务器会断开。
默认是 28800 秒8 小时。 https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_interactive_timeout
MySQL 默认的最大连接数是 151 个5.7 版本最大是 163842^14。
show variables like max_connections;查看 3306 端口当前连接数
netstat-an|grep3306|wc-l使用 SHOW FULL PROCESSLIST;查看查询的执行状态。
一些常见的状态
2、查询缓存(Query Cache)
MySQL 内部自带了一个缓存模块。默认是关闭的。主要是因为 MySQL 自带的缓存的应用场景有限第一个是它要求 SQL 语句必须一模一样。第二个是表里面任何一条数据发生变化的时候这张表所有缓存都会失效。
在 MySQL 5.8 中查询缓存已经被移除了。
3、语法解析和预处理(Parser Preprocessor)
下一步我们要做什么呢 假如随便执行一个字符串 fkdljasklf 服务器报了一个 1064 的错
[Err] 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘fkdljasklf’ at line 1
服务器是怎么知道我输入的内容是错误的 或者当我输入了一个语法完全正确的 SQL但是表名不存在它是怎么发现的 这个就是 MySQL 的 Parser 解析器和 Preprocessor 预处理模块。 这一步主要做的事情是对 SQL 语句进行词法和语法分析和语义的解析。
词法解析 词法分析就是把一个完整的 SQL 语句打碎成一个个的单词。 比如一个简单的 SQL 语句
select name from user where id 1;它会打碎成 8 个符号记录每个符号是什么类型从哪里开始到哪里结束。
语法解析 第二步就是语法分析语法分析会对 SQL 做一些语法检查比如单引号有没有闭合然后根据 MySQL定义的语法规则根据 SQL 语句生成一个数据结构。这个数据结构我们把它叫做解析树。
预处理器Preprocessor 如果表名错误会在预处理器处理时报错。 它会检查生成的解析树解决解析器无法解析的语义。比如它会检查表和列名是否存在检查名字和别名保证没有歧义。
4、查询优化Query Optimizer与查询执行计划
什么优化器 问题一条 SQL 语句是不是只有一种执行方式或者说数据库最终执行的 SQL 是不是就是我们发送的 SQL
这个答案是否定的。一条 SQL 语句是可以有很多种执行方式的。但是如果有这么多种执行方式这些执行方式怎么得到的最终选择哪一种去执行根据什么判断标准去选择
这个就是 MySQL 的查询优化器的模块Optimizer。
查询优化器的目的就是根据解析树生成不同的执行计划然后选择一种最优的执行计划MySQL 里面使用的是基于开销cost的优化器那种执行计划开销最小就用哪种。
使用如下命令查看查询的开销
show status like Last_query_cost;–代表需要随机读取几个 4K 的数据页才能完成查找。
如果我们想知道优化器是怎么工作的它生成了几种执行计划每种执行计划的 cost 是多少应该怎么做
优化器是怎么得到执行计划的 https://dev.mysql.com/doc/internals/en/optimizer-tracing.html
首先我们要启用优化器的追踪默认是关闭的
SHOW VARIABLES LIKE optimizer_trace;
set optimizer_traceenabledon;注意开启这开关是会消耗性能的因为它要把优化分析的结果写到表里面所以不要轻易开启或者查看完之后关闭它改成 off。
接着我们执行一个 SQL 语句优化器会生成执行计划
selectt.tcidfromteachert,teacher_contacttcwheret.tcidtc.tcid;这个时候优化器分析的过程已经记录到系统表里面了我们可以查询
select*frominformation_schema.optimizer_trace\Gexpanded_query 是优化后的 SQL 语句。 considered_execution_plans 里面列出了所有的执行计划。 记得关掉它
setoptimizer_traceenabledoff;
SHOWVARIABLESLIKEoptimizer_trace;优化器可以做什么 MySQL 的优化器能处理哪些优化类型呢 比如 1、当我们对多张表进行关联查询的时候以哪个表的数据作为基准表。 2、select * from user where a1 and b2 and c3如果 c3 的结果有 100 条b2 的结果有 200 条 a1 的结果有 300 条你觉得会先执行哪个过滤 3、如果条件里面存在一些恒等或者恒不等的等式是不是可以移除。 4、查询数据是不是能直接从索引里面取到值。 5、count()、min()、max()比如是不是能从索引里面直接取到值。 6、其他。
优化器得到的结果 优化器最终会把解析树变成一个查询执行计划查询执行计划是一个数据结构。 当然这个执行计划是不是一定是最优的执行计划呢不一定因为 MySQL 也有可能覆盖不到所有的执行计划。 MySQL 提供了一个执行计划的工具。我们在 SQL 语句前面加上 EXPLAIN就可以看到执行计划的信息。
EXPLAINselectnamefromuserwhereid1;5、存储引擎Storage Engine
我们的数据是放在哪里的执行计划在哪里执行是谁去执行
存储引擎基本介绍 在关系型数据库里面数据是放在表里面的。我们可以把这个表理解成 Excel 电子表格的形式。所以我们的表在存储数据的同时还要组织数据的存储结构这个存储结构就是由我们的存储引擎决定的所以我们也可以把存储引擎叫做表类型。
在 MySQL 里面支持多种存储引擎他们是可以替换的所以叫做插件式的存储引擎。为什么要搞这么多存储引擎呢一种还不够用吗是因为我们在不同的业务场景中对数据操作的要求不同这些不同的存储引擎通过提供不同的存储机制、索引方式、锁定水平等功能来满足我们的业务需求。
查看存储引擎 查看数据库表的存储引擎
show table status from training;在 MySQL 里面我们创建的每一张表都可以指定它的存储引擎它不是一个数据库只能使用一个存储引擎。而且创建表之后还可以修改存储引擎。
数据库存放数据的路径
show variables like datadir;每个数据库有一个自己文件夹以 trainning 数据库为例。 任何一个存储引擎都有一个 frm 文件这个是表结构定义文件。 我们在数据库中建了三张表使用了不同的存储引擎。 不同的存储引擎存放数据的方式不一样产生的文件也不一样。 存储引擎比较 常见存储引擎 在 MySQL 5.5 版本之前默认的存储引擎是 MyISAM它是 MySQL 自带的。5.5 版本之后默认的存储引擎改成了InnoDB它是第三方公司为MySQL开发的。为什么要改呢最主要的原因还是InnoDB支持事务支持行级别的锁对于业务一致性要求高的场景来说更适合。
数据库支持的存储引擎 我们可以用这个命令查看数据库对存储引擎的支持情况
SHOWENGINES;其中有存储引擎的描述和对事务、XA 协议和 Savepoints 的支持。
官网对于存储引擎的介绍 https://dev.mysql.com/doc/refman/5.7/en/storage-engines.html
MyISAM3个文件 These tables have a small footprint. Table-level locking limits the performance in read/write workloads, so it is often used in read-only or read-mostly workloads in Web and data warehousing configurations.
应用范围比较小。表级锁定限制了读/写的性能因此在 Web 和数据仓库配置中它通常用于只读或以读为主的工作。
特点 1 支持表级别的锁插入和更新会锁表。不支持事务。 2 拥有较高的插入insert和查询select速度。 3 存储了表的行数count 速度更快。 4 适合只读之类的数据分析的项目。
InnoDB2 个文件 The default storage engine in MySQL 5.7. InnoDB is a transaction-safe (ACID compliant) storage engine for MySQL that has commit, rollback, and crash-recovery capabilities to protect user data. InnoDB row-level locking (without escalation to coarser granularity locks) and Oracle style consistent nonlocking reads increase multi-user concurrency and performance. InnoDB stores user data in clustered indexes to reduce I/O for common queries based on primary keys.To maintain data integrity, InnoDB also supports FOREIGN KEY referential-integrity constraints.
mysql 5.7 中的默认存储引擎。InnoDB 是一个事务安全与 ACID 兼容的 MySQL 存储引擎它具有提交、回滚和崩溃恢复功能来保护用户数据。InnoDB 行级锁不升级为更粗粒度的锁和 Oracle风格的一致非锁读提高了多用户并发性和性能。InnoDB 将用户数据存储在聚集索引中以减少基于 主键的常见查询的 I/O。为了保持数据完整性InnoDB 还支持外键引用完整性约束。
特点 1 支持事务支持外键因此数据的完整性、一致性更高。 2 支持行级别的锁和表级别的锁。 3 支持读写并发写不阻塞读。 4 特殊的索引存放方式可以减少 IO提升查询效率。 5 适合经常更新的表存在并发读写或者有事务处理的业务系统。
Memory1个文件 Stores all data in RAM, for fast access in environments that require quick lookups of non critical data. This engine was formerly known as the HEAP engine. Its use cases are decreasing; InnoDB with its buffer pool memory area provides a general-purpose and durable way to keep most or all data in memory, and NDBCLUSTER provides fast key-value lookups for huge distributed data sets. 将所有数据存储在 RAM 中以便在需要快速查找非关键数据的环境中快速访问。这个引擎以前被称为堆引擎。其使用案例正在减少InnoDB 及其缓冲池内存区域提供了一种通用、持久的方法来 将大部分或所有数据保存在内存中而 ndbcluster 为大型分布式数据集提供了快速的键值查找。
特点 把数据放在内存里面读写的速度很快但是数据库重启或者崩溃数据会全部消失。只适合 做临时表。默认使用哈希索引。将表中的数据存储到内存中。
CSV3个文件 Its tables are really text files with comma-separated values. CSV tables let you import or dump data in CSV format, to exchange data with scripts and applications that read and write that same format. Because CSV tables are not indexed, you typically keep the data in InnoDB tables during normal operation, and only use CSV tables during the import or export stage.
它的表实际上是带有逗号分隔值的文本文件。csv 表允许以 csv 格式导入或转储数据以便与读写相同格式的脚本和应用程序交换数据。因为 csv 表没有索引所以通常在正常操作期间将数据保存在 innodb表中并且只在导入或导出阶段使用 csv 表。
特点 不允许空行不支持索引。格式通用可以直接编辑适合在不同数据库之间导入导出。
Archive2 个文件 These compact, unindexed tables are intended for storing and retrieving large amounts of seldom-referenced historical, archived, or security audit information. 这些紧凑的未索引表用于存储和检索大量很少引用的历史、存档或安全审计信息。
特点 不支持索引不支持 update delete。
6、执行引擎Query Execution Engine返回结果
执行引擎它利用存储引擎提供了相应的 API 来完成对存储引擎的操作。最后把数据返回给客户端即使没有结果也要返回。
二、MySQL 体系结构总结
架构分层 总体上我们可以把 MySQL 分成三层。
模块详解
1.Connector用来支持各种语言和 SQL 的交互比如 PHPPythonJava 的 JDBC 2.Management Serveices Utilities系统管理和控制工具包括备份恢复、MySQL 复制、集群等等 3.Connection Pool连接池管理需要缓冲的资源包括用户密码权限线程等等 4.SQL Interface用来接收用户的 SQL 命令返回用户需要的查询结果 5.Parser用来解析 SQL 语句 6.Optimizer查询优化器 7.Cache and Buffer查询缓存除了行记录的缓存之外还有表缓存Key 缓存权限缓存等等。 8.Pluggable Storage Engines插件式存储引擎它提供 API 给服务层使用跟具体的文件打交道。
三、一条更新SQL 是如何执行的
在数据库里面我们说的 update 操作其实包括了更新、插入和删除。更新流程和查询流程有什么不同呢 基本流程也是一致的也就是说它也要经过解析器、优化器的处理最后交给执行器。 区别就在于拿到符合条件的数据之后的操作。 首先在 InnoDB 里面有个内存的缓冲池buffer pool。我们对数据的更新不会每次都直接写 到磁盘上因为 IO 的代价太大了所以先写入到 buffer pool 里面。内存的数据页和磁盘数据不一致的时候我们把它叫做脏页。 InnoDB 里面有专门的把 buffer pool 的数据写入到磁盘的线程每隔一段时间就一次性地把多个修改写入磁盘这个就叫做刷脏。
这里面就有一个问题如果在脏页还没有写入磁盘的时候服务器出问题了内存里面的数据丢失了。或者是刷脏刷到一半甚至会破坏数据文件。所以我们必须要有一个持久化的机制。
redo log InnoDB 引入了一个日志文件叫做 redo log重做日志我们把所有对内存数据的修改操作写入日志文件如果服务器出问题了我们就从这个日志文件里面读取数据恢复数据——用它来实现事务的持久性。
redo log 有什么特点 1.记录修改后的值属于物理日志 2.redo log 的大小是固定的前面的内容会被覆盖所以不能用于数据回滚/数据恢复。 3.redo log 是 InnoDB 存储引擎实现的并不是所有存储引擎都有。
binlog MySQL Server 层也有一个日志文件叫做 binlog它可以被所有的存储引擎使用。 binlog 以事件的形式记录了所有的 DDL 和 DML 语句因为它记录的是操作而不是数据值属于逻辑日志可以用来做主从复制和数据恢复。
主从复制
数据恢复
跟 redo log 不一样它的文件内容是可以追加的没有固定大小限制。 有了这两个日志之后我们来看一下一条更新语句是怎么执行的
例如一条语句update teacher set name‘jim’ where name ‘666’ 1、先查询到这条数据如果有缓存也会用到缓存。 2、把 name 改成jim然后调用引擎的 API 接口写入这一行数据到内存同时记录 redo log。这时 redo log 进入 prepare 状态然后告诉执行器执行完成了可以随时提交。 3、执行器收到通知后记录 binlog然后调用存储引擎接口设置 redo log 为 commit 状态。 4、更新完成。
问题为什么要用两阶段提交XA呢 举例 如果我们执行的是把 name 改成jim如果写完 redo log还没有写 bin log 的时候MySQL 重启了。 因为 redo log 可以恢复数据所以写入磁盘的是jim。但是 bin log 里面没有记录这个逻辑日志所以这时候用 binlog 去恢复数据或者同步到从库就会出现数据不一致的情况。 所以在写两个日志的情况下binlog 就充当了一个事务的协调者。通知 InnoDB 来执行 prepare 或commit 或者 rollback。 简单地来说这里有两个写日志的操作类似于分布式事务不用两阶段提交就不能保证都成功或者都失败。
