aspx网站架设教程,有口碑的坪山网站建设,windows 2008 搭建网站,网站开发任务需求书文章目录 AOF 日志是如何实现的#xff1f;三种写回策略日志文件太大了怎么办#xff1f;AOF 重写会阻塞吗?小结每课一问 更多redis相关知识 如果有人问你#xff1a;“你会把 Redis 用在什么业务场景下#xff1f;”我想你大概率会说#xff1a;“我会把它当作缓存使用三种写回策略日志文件太大了怎么办AOF 重写会阻塞吗?小结每课一问 更多redis相关知识 如果有人问你“你会把 Redis 用在什么业务场景下”我想你大概率会说“我会把它当作缓存使用因为它把后端数据库中的数据存储在内存中然后直接从内存中读取数据响应速度会非常快。”没错这确实是 Redis 的一个普遍使用场景但是这里也有一个绝对不能忽略的问题一旦服务器宕机内存中的数据将全部丢失。 我们很容易想到的一个解决方案是从后端数据库恢复这些数据但这种方式存在两个问题一是需要频繁访问数据库会给数据库带来巨大的压力二是这些数据是从慢速数据库中读取出来的性能肯定比不上从 Redis 中读取导致使用这些数据的应用程序响应变慢。所以对 Redis 来说实现数据的持久化避免从后端数据库中进行恢复是至关重要的。 目前Redis 的持久化主要有两大机制即 AOFAppend Only File日志和 RDB 快照。在接下来的两节课里我们就分别学习一下吧。这节课我们先重点学习下 AOF 日志。
AOF 日志是如何实现的
说到日志我们比较熟悉的是数据库的写前日志Write Ahead Log, WAL也就是说在实际写数据前先把修改的数据记到日志文件中以便故障时进行恢复。不过AOF 日志正好相反它是写后日志“写后”的意思是 Redis 是先执行命令把数据写入内存然后才记录日志如下图所示 !https://s3-us-west-2.amazonaws.com/secure.notion-static.com/0d441171-efd7-4904-a769-73f4fe5ddefc/1.png 那 AOF 为什么要先执行命令再记日志呢要回答这个问题我们要先知道 AOF 里记录了什么内容。 传统数据库的日志例如 redo log重做日志记录的是修改后的数据而 AOF 里记录的是 Redis 收到的每一条命令这些命令是以文本形式保存的。 我们以 Redis 收到“set testkey testvalue”命令后记录的日志为例看看 AOF 日志的内容。其中“*3”表示当前命令有三个部分每部分都是由“$数字”开头后面紧跟着具体的命令、键或值。这里“数字”表示这部分中的命令、键或值一共有多少字节。例如“$3 set”表示这部分有 3 个字节也就是“set”命令。 !https://s3-us-west-2.amazonaws.com/secure.notion-static.com/d6441ab8-143e-43e7-a83d-fbe0a4610cf7/2.png 但是为了避免额外的检查开销Redis 在向 AOF 里面记录日志的时候并不会先去对这些命令进行语法检查。所以如果先记日志再执行命令的话日志中就有可能记录了错误的命令Redis 在使用日志恢复数据时就可能会出错。 而写后日志这种方式就是先让系统执行命令只有命令能执行成功才会被记录到日志中否则系统就会直接向客户端报错。所以Redis 使用写后日志这一方式的一大好处是可以避免出现记录错误命令的情况。 除此之外AOF 还有一个好处它是在命令执行后才记录日志所以不会阻塞当前的写操作。 不过AOF 也有两个潜在的风险。 首先如果刚执行完一个命令还没有来得及记日志就宕机了那么这个命令和相应的数据就有丢失的风险。如果此时 Redis 是用作缓存还可以从后端数据库重新读入数据进行恢复但是如果 Redis 是直接用作数据库的话此时因为命令没有记入日志所以就无法用日志进行恢复了。 其次AOF 虽然避免了对当前命令的阻塞但可能会给下一个操作带来阻塞风险。这是因为AOF 日志也是在主线程中执行的如果在把日志文件写入磁盘时磁盘写压力大就会导致写盘很慢进而导致后续的操作也无法执行了。 仔细分析的话你就会发现这两个风险都是和 AOF 写回磁盘的时机相关的。这也就意味着如果我们能够控制一个写命令执行完后 AOF 日志写回磁盘的时机这两个风险就解除了。
三种写回策略
其实对于这个问题AOF 机制给我们提供了三个选择也就是 AOF 配置项 appendfsync 的三个可选值。 Always同步写回每个写命令执行完立马同步地将日志写回磁盘 Everysec每秒写回每个写命令执行完只是先把日志写到 AOF 文件的内存缓冲区每隔一秒把缓冲区中的内容写入磁盘 No操作系统控制的写回每个写命令执行完只是先把日志写到 AOF 文件的内存缓冲区由操作系统决定何时将缓冲区内容写回磁盘。 针对避免主线程阻塞和减少数据丢失问题这三种写回策略都无法做到两全其美。我们来分析下其中的原因。 “同步写回”可以做到基本不丢数据但是它在每一个写命令后都有一个慢速的落盘操作不可避免地会影响主线程性能 虽然“操作系统控制的写回”在写完缓冲区后就可以继续执行后续的命令但是落盘的时机已经不在 Redis 手中了只要 AOF 记录没有写回磁盘一旦宕机对应的数据就丢失了 “每秒写回”采用一秒写回一次的频率避免了“同步写回”的性能开销虽然减少了对系统性能的影响但是如果发生宕机上一秒内未落盘的命令操作仍然会丢失。所以这只能算是在避免影响主线程性能和避免数据丢失两者间取了个折中。 我把这三种策略的写回时机以及优缺点汇总在了一张表格里以方便你随时查看。 !https://s3-us-west-2.amazonaws.com/secure.notion-static.com/c8ca7ff0-281f-40f2-897b-234691cc95a1/3.png 到这里我们就可以根据系统对高性能和高可靠性的要求来选择使用哪种写回策略了。总结一下就是想要获得高性能就选择 No 策略如果想要得到高可靠性保证就选择 Always 策略如果允许数据有一点丢失又希望性能别受太大影响的话那么就选择 Everysec 策略。 但是按照系统的性能需求选定了写回策略并不是“高枕无忧”了。毕竟AOF 是以文件的形式在记录接收到的所有写命令。随着接收的写命令越来越多AOF 文件会越来越大。这也就意味着我们一定要小心 AOF 文件过大带来的性能问题。 这里的“性能问题”主要在于以下三个方面一是文件系统本身对文件大小有限制无法保存过大的文件二是如果文件太大之后再往里面追加命令记录的话效率也会变低三是如果发生宕机AOF 中记录的命令要一个个被重新执行用于故障恢复如果日志文件太大整个恢复过程就会非常缓慢这就会影响到 Redis 的正常使用。 所以我们就要采取一定的控制手段这个时候AOF 重写机制就登场了。
日志文件太大了怎么办
简单来说AOF 重写机制就是在重写时Redis 根据数据库的现状创建一个新的 AOF 文件也就是说读取数据库中的所有键值对然后对每一个键值对用一条命令记录它的写入。比如说当读取了键值对“testkey”: “testvalue”之后重写机制会记录 set testkey testvalue 这条命令。这样当需要恢复时可以重新执行该命令实现“testkey”: “testvalue”的写入。 为什么重写机制可以把日志文件变小呢? 实际上重写机制具有“多变一”功能。所谓的“多变一”也就是说旧日志文件中的多条命令在重写后的新日志中变成了一条命令。 我们知道AOF 文件是以追加的方式逐一记录接收到的写命令的。当一个键值对被多条写命令反复修改时AOF 文件会记录相应的多条命令。但是在重写的时候是根据这个键值对当前的最新状态为它生成对应的写入命令。这样一来一个键值对在重写日志中只用一条命令就行了而且在日志恢复时只用执行这条命令就可以直接完成这个键值对的写入了。 下面这张图就是一个例子 !https://s3-us-west-2.amazonaws.com/secure.notion-static.com/27da765e-0ead-4681-a60c-023d64661de1/4.png 当我们对一个列表先后做了 6 次修改操作后列表的最后状态是[“D”, “C”, “N”]此时只用 LPUSH u:list “N”, “C”, “D”这一条命令就能实现该数据的恢复这就节省了五条命令的空间。对于被修改过成百上千次的键值对来说重写能节省的空间当然就更大了。 不过虽然 AOF 重写后日志文件会缩小但是要把整个数据库的最新数据的操作日志都写回磁盘仍然是一个非常耗时的过程。这时我们就要继续关注另一个问题了重写会不会阻塞主线程
AOF 重写会阻塞吗?
和 AOF 日志由主线程写回不同重写过程是由后台子进程 bgrewriteaof 来完成的这也是为了避免阻塞主线程导致数据库性能下降。 我把重写的过程总结为“一个拷贝两处日志”。 “一个拷贝”就是指每次执行重写时主线程 fork 出后台的 bgrewriteaof 子进程。此时fork 会把主线程的内存拷贝一份给 bgrewriteaof 子进程这里面就包含了数据库的最新数据。然后bgrewriteaof 子进程就可以在不影响主线程的情况下逐一把拷贝的数据写成操作记入重写日志。 “两处日志”又是什么呢 因为主线程未阻塞仍然可以处理新来的操作。此时如果有写操作第一处日志就是指正在使用的 AOF 日志Redis 会把这个操作写到它的缓冲区。这样一来即使宕机了这个 AOF 日志的操作仍然是齐全的可以用于恢复。 而第二处日志就是指新的 AOF 重写日志。这个操作也会被写到重写日志的缓冲区。这样重写日志也不会丢失最新的操作。等到拷贝数据的所有操作记录重写完成后重写日志记录的这些最新操作也会写入新的 AOF 文件以保证数据库最新状态的记录。此时我们就可以用新的 AOF 文件替代旧文件了。 !https://s3-us-west-2.amazonaws.com/secure.notion-static.com/c1931b0c-4935-4533-9cff-99ed5b886df9/5.png 总结来说每次 AOF 重写时Redis 会先执行一个内存拷贝用于重写然后使用两个日志保证在重写过程中新写入的数据不会丢失。而且因为 Redis 采用额外的线程进行数据重写所以这个过程并不会阻塞主线程。
小结
这节课我向你介绍了 Redis 用于避免数据丢失的 AOF 方法。这个方法通过逐一记录操作命令在恢复时再逐一执行命令的方式保证了数据的可靠性。 这个方法看似“简单”但也是充分考虑了对 Redis 性能的影响。总结来说它提供了 AOF 日志的三种写回策略分别是 Always、Everysec 和 No这三种策略在可靠性上是从高到低而在性能上则是从低到高。 此外为了避免日志文件过大Redis 还提供了 AOF 重写机制直接根据数据库里数据的最新状态生成这些数据的插入命令作为新日志。这个过程通过后台线程完成避免了对主线程的阻塞。 其中三种写回策略体现了系统设计中的一个重要原则 即 trade-off或者称为“取舍”指的就是在性能和可靠性保证之间做取舍。我认为这是做系统设计和开发的一个关键哲学我也非常希望你能充分地理解这个原则并在日常开发中加以应用。 不过你可能也注意到了落盘时机和重写机制都是在“记日志”这一过程中发挥作用的。例如落盘时机的选择可以避免记日志时阻塞主线程重写可以避免日志文件过大。但是在“用日志”的过程中也就是使用 AOF 进行故障恢复时我们仍然需要把所有的操作记录都运行一遍。再加上 Redis 的单线程设计这些命令操作只能一条一条按顺序执行这个“重放”的过程就会很慢了。 那么有没有既能避免数据丢失又能更快地恢复的方法呢当然有那就是 RDB 快照了。下节课我们就一起学习一下敬请期待。
每课一问
这节课我给你提两个小问题 AOF 日志重写的时候是由 bgrewriteaof 子进程来完成的不用主线程参与我们今天说的非阻塞也是指子进程的执行不阻塞主线程。但是你觉得这个重写过程有没有其他潜在的阻塞风险呢如果有的话会在哪里阻塞 AOF 重写也有一个重写日志为什么它不共享使用 AOF 本身的日志呢 希望你能好好思考一下这两个问题欢迎在留言区分享你的答案。另外也欢迎你把这节课的内容转发出去和更多的人一起交流讨论。 希望你能好好思考一下这两个问题欢迎在留言区分享你的答案。另外也欢迎你把这节课的内容转发出去和更多的人一起交流讨论。 若有错误与不足请指出关注DPT一起进步吧
