代码库网站,网站开发公司人员配置,wordpress适合下载站的主题,做微信公众号直接套用模板文章目录 1 NoSQL入门概述1.1 能干嘛#xff1f;1.2 传统RDBMS VS NOSQL1.3 NoSQL数据库的四大分类1.4 分布式数据库CAP原理 BASE原则1.5 分布式集群简介1.6 淘宝商品信息的存储方案 2 Redis入门概述2.1 是什么#xff1f;2.2 能干嘛#xff1f;2.3 怎么玩#xff1f;核心… 文章目录 1 NoSQL入门概述1.1 能干嘛1.2 传统RDBMS VS NOSQL1.3 NoSQL数据库的四大分类1.4 分布式数据库CAP原理 BASE原则1.5 分布式集群简介1.6 淘宝商品信息的存储方案 2 Redis入门概述2.1 是什么2.2 能干嘛2.3 怎么玩核心2.4 MAC安装redis2.5 Redis的五大数据类型2.6 常用命令 3 Redis配置文件4 Redis持久化【RDB、AOF】持久化之RDB持久化之AOF 如何选择 5 Redis事务Transacttion常见CASE 6 Redis主从复制、读写分离case1一主二仆【中心化架构】case2薪火相传【去中心化架构】case3反客为主case4哨兵模式(sentinel) 参考文档 Redis官网 https://redis.io/ Redis中文网 http://www.redis.cn/ Redis 命令参考 http://redisdoc.com/string/set.html 1 NoSQL入门概述 NoSQL(NoSQL Not Only SQL)意即“不仅仅是SQL”泛指非关系型的数据库。随着互联网web2.0网站的兴起传统的关系数据库在应付web2.0网站特别是超大规模和高并发的web2.0纯动态网站已经显得力不从心暴露了很多难以克服的问题而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL 数据库的产生就是为了解决大规模数据集合、多重数据种类带来的挑战尤其是大数据应用难题包括超大规模数据的存储。读写速度 读1s/8w、写1s/11w 1.1 能干嘛
易扩展
NoSQL数据库种类繁多但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系这样就非常容易扩展无形之间在架构的层面上带来了可扩展的能力。大数据量高性能
NoSQL数据库都具有非常高的读写性能尤其在大数据量下同样表现优秀。这得益于它的无关系性数据库的结构简单。一般MySQL使用Query Cache每次表的更新Cache就失效是一种大粒度的Cache在针对web2.0的交互频繁的应用Cache性能不高。而NoSQL的Cache是记录级的是一种细粒度的Cache所以NoSQL在这个层面上来说就要性能高很多了。多样灵活的数据模型
NoSQL无需事先为要存储的数据建立字段随时可以存储自定义的数据格式。而在关系数据库里增删字段是一件非常麻烦的事情。如果是非常大数据量的表增加字段简直就是一个噩梦。1.2 传统RDBMS VS NOSQL
RDBMS高度组织化结构化数据、结构化查询语言(SQL)数据和关系都存储在单独的表中、数据操纵语言数据定义语言严格的一致性、 基础事务
NoSQL代表着不仅仅是SQL、没有声明性查询语言没有预定义的模式、 键-值对存储列存储文档存储图形数据库最终一致性而非ACID属性、 非结构化和不可预知的数据:CAP定理、 高性能高可用性和可伸缩性1.3 NoSQL数据库的四大分类
KV新浪 BerkeleyDB Redis美团 Redis tair阿里、百度 memcache Redis文档型数据库bson格式比较多CouchDB、MongoDB
PSMongoDB是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品是非关系数据库当中功能最丰富最像关系数据库的。列存储数据库Cassandra、Hbase、分布式文件系统
图关系数据库Neo4j、InfoGrid它不是放图形的、放的是关系比如朋友圈社交网络、广告推荐系统、社交网络、推荐系统。专注于构建关系图谱1.4 分布式数据库CAP原理 BASE原则
传统的ACID分别是什么A (Atomicity) 原子性C (Consistency) 一致性I (Isolation) 独立性D (Durability) 持久性
CAP【CAP理论就是说在分布式存储系统中最多只能实现两点三选二】C: Consistency强一致性A: Availability高可用性P: Partition tolerance分区容错性
而由于当前的网络硬件肯定会出现延迟丢包等问题所以分区容忍性P是我们必须需要实现的。所以我们只能在强一致性C和高可用性A之间进行权衡没有NoSQL系统能同时保证这三点。CAP理论的核心是一个分布式系统不可能同时很好的满足一致性可用性和分区容错性这三个需求最多只能同时较好的满足两个。多余大多数web应用其实并不需要强一致性。因此牺牲C换取P这是目前分布式数据库产品的方向。
因此根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三大类CA - 传统Oracle数据库单点集群满足一致性可用性的系统通常在可扩展性上不太强大。AP - 满足可用性分区容忍性的系统通常可能对一致性要求低一些。大多数网站架构的选择【数据可以不一定精确牺牲强一致性P一定要保证网站可用实现可用性A电商、金融系统等】CP - Redis、Mongodb满足一致性分区容忍必的系统通常性能不是特别高。BASE就是为了解决关系数据库强一致性引起的问题而引起的可用性降低而提出的解决方案。基本可用Basically Available软状态Soft state最终一致Eventually consistent它的思想是通过让系统放松对某一时刻数据一致性的要求来换取系统整体伸缩性和性能上改观。为什么这么说呢缘由就在于大型系统往往由于地域分布和极高性能的要求不可能采用分布式事务来完成这些指标要想获得这些指标我们必须采用另外一种方式来完成这里BASE就是解决这个问题的办法 1.5 分布式集群简介 分布式系统distributed system由多台计算机和通信的软件组件并通过计算机网络连接本地网络或广域网。分布式系统是建立在网络之上的软件系统。正是因为软件的特性所以分布式系统具有高度的内聚性和透明性。因此网络和分布式系统之间的区别更多的在于高层软件特别是操作系统而不是硬件。分布式系统可以应用在在不同的平台上如PC、工作站、局域网和广域网上等。 简单来讲 分布式不同的多台服务器上面部署不同的服务模块工程他们之间通过RPC之间通信和调用对外提供服务和组内协作。 集群不同的多台服务器上面部署相同的服务模块通过分布式调度软件进行统一的调度对外提供服务和访问。
1.6 淘宝商品信息的存储方案
商品基本信息【名称、价格出厂日期生产厂商等不经常信息】– 关系型数据库MySQL 商品描述、详情、评价信息【多文字信息描述类】– 文档数据库MongDB 商品的图片 -- 分布式的文件系统【淘宝TFS、Google的GFS、Hadoop的HDFS】 商品的关键字 -- 淘宝自家ISearch 商品的波段性的热点高频信息【如情人节的巧克力】 -- 内存数据库Tair、Redis、Memcache
2 Redis入门概述
2.1 是什么 Redis: Remote Dictionary Server(远程字典服务器)是完全开源免费的用C语言编写的遵守BSD协议是一个高性能的(key/value)分布式内存数据库基于内存运行并支持持久化的NoSQL数据库是当前最热门的NoSQL数据库之一也被人们称为数据结构服务器。 Redis与其他 key - value 缓存产品有以下三个特点Redis支持数据的持久化可以将内存中的数据保持在磁盘中重启的时候可以再次加载进行使用Redis不仅仅支持简单的key-value类型的数据同时还提供listsetzsethash等数据结构的存储Redis支持数据的备份即master-slave模式的数据备份2.2 能干嘛 内存存储和持久化redis支持异步将内存中的数据写到硬盘上同时不影响继续服务取最新N个数据的操作如可以将最新的10条评论的ID放在Redis的List集合里面模拟类似于HttpSession这种需要设定过期时间的功能发布、订阅消息系统定时器、计数器2.3 怎么玩核心 数据类型、基本操作和配置持久化和复制RDB/AOF事务的控制复制主从关系2.4 MAC安装redis
详见安装Redis.txt
cd /usr/local/redis-6.2.6./bin/redis-server etc/redis.conf 启动服务./bin/redis-cli 打开redis客户端2.5 Redis的五大数据类型
String字符串string是redis最基本的类型你可以理解成与Memcached一模一样的类型一个key对应一个value。string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。string类型是Redis最基本的数据类型一个redis中字符串value最多可以是512M。Hash哈希类似java里的MapRedis hash 是一个键值对集合。Redis hash是一个string类型的field和value的映射表hash特别适合用于存储对象。类似Java里面的MapString,ObjectList列表Redis 列表是简单的字符串列表按照插入顺序排序。你可以添加一个元素导列表的头部左边或者尾部右边。它的底层实际是个链表Set集合Redis的Set是string类型的无序集合。它是通过HashTable实现实现的Zset(sorted set有序集合)Redis zset 和 set 一样也是string类型元素的集合且不允许重复的成员。
不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。zset的成员是唯一的但分数(score)却可以重复。2.6 常用命令
Key
set k1 v1、set k2 1、get k1
mset k7 v7 k8 v8 批量操作
mget k7 k8
del k1、strlen k1
append k1 v11 如果key已经存在,将指定的value追加到该 key 原来值的末尾.如果key不存在与set k1 v1一致select 1 选择数据库默认16个数据库初始使用0号库
dbsize 查看当前数据库key的数量
flushdb 清空当前数据库
flushall 清空所有数据库
ttl key 查看还有多少秒过期-1表示永不过期-2表示已过期 [ttl: time to live]
expire key 秒钟 为给定的key设置过期时间
type key 查看你的key是什么类型
exists key 判断某个key是否存在
move key db 当前库就没有了被移除了String【单值单value】
incr k3、 incrby k3 2
decr k3、 decrby k3 2 一定要是数字才能进行加减
getrange k1 0 3 如果是字符串则进行截取、如果是数字则输出
getrange k1 0 -1 截取全部字符串等同于get k1
setrange k1 0 aaaa 从下标0开始赋值会替代字符串后面的字符而不是后移
setnx k5 v5 setnx(set if not exist)不存在则赋值存在不赋值
setex k6 5 v6 setex(set with expire)键秒值k6的生命周期只有5s
getset k1 v11111 getset(先get再set)前提是该key已经存在List 【单值多valuevalue可重复】 Stack/ArrayList
lpush list01 1 2 3 4 5 类似入栈
lpop list01 从栈上边、队列左边读 // 5
rpop list01 从栈下边、队列右边读 // 1
rpush list02 1 2 3 4 5 类似入队列
lpop list02 从栈上边、队列左边读 // 1
rpop list02 从栈下边、队列右边读 // 5
lset list01 0 111 给指定下标赋值也即是替换
linsert list01 before/after 1 java 在制定元素22之前/之后插入元素java
lrange list01 0 -1 从栈上边、队列左边开始查询集合list01 // 1 2 3 4 5
lindex list01 1 按照索引下标获得元素从栈上边、队列左边读
llen list01 list01长度
lrem list01 2 3 删除list01的2个3
ltrim list01 0 3 截取指定范围的值后再赋值给key
rpoplpush list01 list02 rpoplpush 源列表 目的列表性能总结
它是一个字符串链表left、right都可以插入添加如果键不存在创建新的链表如果键已存在新增内容如果值全移除对应的键也就消失了。链表的操作无论是头和尾效率都极高但假如是对中间元素进行操作效率就很惨淡了。**
Set 【List单值多valuevalue不可以重复】 HashSet
sadd set01 1 1 2 3 4 4 添加set01 1 2 3
smembers set01 查看set所有元素
sismember set01 1 查看1是否是set01内元素【0不是1 是】
scard set01 获取集合里面的元素个数
srem set01 1 删除集合中元素
srandmember set01 3 从集合中随机显示3个整数
spop set01 集合中元素随机出栈
smove set01 set02 3 作用是将key1里的某个值赋给key2
sdiff set01 set02 差集属于set01不属于set02
sinter set01 set02 交集
sunion set01 set02 并集Hash【KV模式不变但V是一个键值对】
hset user id 11 name zhupeng
hger user id
hgetall user
hdel user id
hexists user id 判断key里面的某个值的key
hkeys user 查询所有key值
hvals user 查询所有value值
hlen user 查询key长度
hincrby user id 2 value值加
hincrbyfloat user score 0.5
hsetnx user age 27 字段不存在则加入Zset【在set基础上加一个score值。 之前set是k1 v1 v2 v3 现在zset是k1 score1 v1 score2 v2】zadd zset01 60 v1 70 v2 80 v3 增加
zrange zset01 0 -1 查询不包括分数score
zrange zset01 0 -1 withscores 查询包括分数score
zrangebyscore zset01 60 90 查询[60, 90]的value
zrangebyscore zset01 60 (90 查询[60, 90)的value
zrangebyscore zset01 (60 (90 查询(60, 90)的value
zrangebyscore zset01 60 90 limit 2 2 limit 开始下标步 多少步[Limit 作用是返回限制]
zrem zset01 v3 删除某score下对应的value值
zcard zset01 查询个数
zrank zset01 v1 查询下标
zrevrank key values值作用是逆序获得下标值
zrevrange
zrevrangebyscore key 结束score 开始score
3 Redis配置文件 Redis 的配置文件位于 Redis 安装目录下文件名为 redis.conf说明如下 1、Redis 默认不是以守护进程的方式运行可以通过该配置项修改使用 yes 启用守护进程
daemonize no
2、当 Redis 以守护进程方式运行时Redis 默认会把 pid 写入 /var/run/redis.pid 文件可以通过 pidfile 指定pidfile /var/run/redis.pid
3、指定 Redis 监听端口默认端口为 6379【6379 在手机按键上 MERZ 对应的号码而 MERZ 取自意大利歌女 Alessia Merz 的名字】
port 6379
4、绑定的主机地址bind 127.0.0.1
5、当客户端闲置多长秒后关闭连接如果指定为 0 表示关闭该功能timeout 300
6、指定日志记录级别Redis 总共支持四个级别debug、verbose、notice、warning默认为 notice loglevel notice
7、日志记录方式默认为标准输出如果配置 Redis 为守护进程方式运行而这里又配置为日志记录方式为标准输出则日志将会发送给 /dev/nulllogfile stdout
8、设置数据库的数量默认数据库为0可以使用SELECT 命令在连接上指定数据库iddatabases 16
9、Redis 默认配置文件中提供了三个条件
save 900 1
save 300 10
save 60 10000
分别表示 900 秒15 分钟内有 1 个更改300 秒5 分钟内有 10 个更改以及 60 秒内有 10000 个更改。
save seconds changes
指定在多长时间内有多少次更新操作就将数据同步到数据文件可以多个条件配合
10、指定存储至本地数据库时是否压缩数据默认为 yesRedis 采用 LZF 压缩如果为了节省 CPU 时间可以关闭该选项但会导致数据库文件变的巨大rdbcompression yes
11、指定本地数据库文件名默认值为 dump.rdbdbfilename dump.rdb
12、指定本地数据库存放目录dir ./
13、设置当本机为 slave 服务时设置 master 服务的 IP 地址及端口在 Redis 启动时它会自动从 master 进行数据同步slaveof masterip masterport
14、当 master 服务设置了密码保护时slav 服务连接 master 的密码masterauth master-password
15、设置 Redis 连接密码如果配置了连接密码客户端在连接 Redis 时需要通过 AUTH 命令提供密码默认关闭requirepass foobaredredis修改登陆密码config get requirepass # redis默认登陆密码为空”“config set requirepass “123456” # 设置redis登陆密码auth 123456 # 登陆
16、设置同一时间最大客户端连接数默认无限制Redis 可以同时打开的客户端连接数为 Redis 进程可以打开的最大文件描述符数如果设置 maxclients 0表示不作限制。当客户端连接数到达限制时Redis 会关闭新的连接并向客户端返回 max number of clients reached 错误信息maxclients 128
17、指定 Redis 最大内存限制Redis 在启动时会把数据加载到内存中达到最大内存后Redis 会先尝试清除已到期或即将到期的 Key当此方法处理 后仍然到达最大内存设置将无法再进行写入操作但仍然可以进行读取操作。Redis 新的 vm 机制会把 Key 存放内存Value 会存放在 swap 区maxmemory bytes
18、指定是否在每次更新操作后进行日志记录Redis 在默认情况下是异步的把数据写入磁盘如果不开启可能会在断电时导致一段时间内的数据丢失。因为 redis 本身同步数据文件是按上面 save 条件来同步的所以有的数据会在一段时间内只存在于内存中。默认为 noappendonly no
19、指定更新日志文件名默认为 appendonly.aofappendfilename appendonly.aof
20、指定更新日志条件共有 3 个可选值
no表示等操作系统进行数据缓存同步到磁盘快
always表示每次更新操作后手动调用 fsync() 将数据写到磁盘慢安全
everysec表示每秒同步一次折中默认值
appendfsync everysec
21、指定是否启用虚拟内存机制默认值为 no简单的介绍一下VM 机制将数据分页存放由 Redis 将访问量较少的页即冷数据 swap 到磁盘上访问多的页面由磁盘自动换出到内存中在后面的文章我会仔细分析 Redis 的 VM 机制vm-enabled no
22、虚拟内存文件路径默认值为 /tmp/redis.swap不可多个 Redis 实例共享vm-swap-file /tmp/redis.swap
23、将所有大于 vm-max-memory 的数据存入虚拟内存无论 vm-max-memory 设置多小所有索引数据都是内存存储的(Redis 的索引数据 就是 keys)也就是说当 vm-max-memory 设置为 0 的时候其实是所有 value 都存在于磁盘。默认值为 0vm-max-memory 0
24、Redis swap 文件分成了很多的 page一个对象可以保存在多个 page 上面但一个 page 上不能被多个对象共享vm-page-size 是要根据存储的 数据大小来设定的作者建议如果存储很多小对象page 大小最好设置为 32 或者 64bytes如果存储很大大对象则可以使用更大的 page如果不确定就使用默认值vm-page-size 32
25、设置 swap 文件中的 page 数量由于页表一种表示页面空闲或使用的 bitmap是在放在内存中的在磁盘上每 8 个 pages 将消耗 1byte 的内存。vm-pages 134217728
26、设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的可能会造成比较长时间的延迟。默认值为4vm-max-threads 4
27、设置在向客户端应答时是否把较小的包合并为一个包发送默认为开启glueoutputbuf yes
28、指定在超过一定的数量或者最大的元素超过某一临界值时采用一种特殊的哈希算法hash-max-zipmap-entries 64hash-max-zipmap-value 512
29、指定是否激活重置哈希默认为开启后面在介绍 Redis 的哈希算法时具体介绍activerehashing yes
30 指定包含其它的配置文件可以在同一主机上多个Redis实例之间使用同一份配置文件而同时各个实例又拥有自己的特定配置文件include /path/to/local.conf
4 Redis持久化【RDB、AOF】
持久化之RDB
RDB是什么
RDBRedis DataBase在指定的时间间隔内将内存中的数据集快照写入磁盘也就是行话讲的Snapshot快照它恢复时是将快照文件直接读到内存里。
过程
1Redis会单独创建fork一个子进程来进行持久化
2先将数据写入到一个临时文件中待持久化过程都结束了再用这个临时文件替换上次持久化好的文件。
整个过程中主进程是不进行任何IO操作的这就确保了极高的性能。RDB配置【SNAPSHOPPONG】#save 3600 1 # 15分钟变动1次#save 300 100 # 5分钟变动100次#save 60 10000 # 1分钟变动1w次save save时只管保存其它不管全部阻塞。bgsave Redis会在后台异步进行快照操作 快照同时还可以响应客户端请求。dbfilename dump.rdb 启用rdb持久化存储stop-writes-on-bgsave-error yes 如果配置成no不在乎数据不一致或者有其他方法控制rdbcompression yes 是否启动rdb文件压缩算法rdbchecksum yes 存储快照后还可以让redis使用CRC64算法进行数据校验大约会增加10%的性能小号如果希望得到最优的性能提升可以关闭该功能如何恢复将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可RDB优点适合大规模的数据恢复对数据完整性和一致性要求不高
RDB缺点Fork的作用是复制一个与当前进程一样的进程新进程的所有数据变量、环境变量、程序计数器等 数值都和原进程一致大致2倍的膨胀性需要考虑。在一定间隔时间做一次备份所以如果redis意外down掉的话就会丢失最后一次快照后的所有修改总结RDB是一个非常紧凑的文件。RDB在保存RDB文件时父进程唯一需要做的就是fork出一个子进程接下来的工作全部由子进程来做父进程不需要再做其他I0操作所以RDB持久化方式可以最大化redis的性能。与AOF相比在恢复大的数据集的时候RDB方式会更快一一些。数据丢失风险大。RDB需要经常fork子进程来保存数据集到硬盘上当数据集比较大的时候fork的过程是非常耗时的吗可能会导致Redis在一些毫秒级不能回应客户端请求。持久化之AOF
AOF是什么?AOFAppend Only File是以日志的形式来记录每个写操作将Redis执行过的所有写指令记录下来(读操作不记录) 只许追加文件但不可以改写文件redis启动之初会读取该文件重新构建数据换言之redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。AOF配置【APPEND ONLY MODE】appendonly no # 默认noappendfilename appendonly.aof # 文件名appendfsync [always/everysec/no]always 同步持久化redis每次发生数据改变都会被立即记录到磁盘性能较差但数据完整性最好everysec 默认推荐异步操作每秒记录一次最多损失1s的数据no 不进行持久化no-appendfsync-on-rewrite no 重写时是否运用appendfsync默认no即可保证数据安全性auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mbrewrite
是什么AOF采用文件追加方式文件会越来越大。为避免出现此种情况新增了重写机制 当AOF文件的大小超过所设定的阈值时Redis就会启动AOF文件的内容压缩 只保留可以恢复数据的最小指令集。可以使用命令bgrewriteaof
重写原理AOF文件持续增长而过大时会fork出一条新进程来将文件重写(也是先写临时文件最后再rename) 遍历新进程的内存中数据每条记录有一条的Set语句。重写aof文件的操作并没有读取旧的aof文件 而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件这点和快照有点类似.
触发机制Redis会记录上次重写时的AOF大小默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发auto-aof-rewrite-percentage 100auto-aof-rewrite-min-size 64mb 【一般3GB起步】AOF优点每修改同步appendfsync always 同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好每秒同步appendfsync everysec 异步操作每秒记录 如果一秒内宕机有数据丢失不同步appendfsync no 从不同步
AOF缺点相同数据集的数据而言aof文件要远大于rdb文件恢复速度慢于rdbAof运行效率要慢于rdb,每秒同步策略效率较好不同步效率和rdb相同总结AOF文件时一个只进行追加的日志文件Redis可以在AOF文件体积变得过大时自动地在后台对AOF进行重写AOF文件有序地保存了对数据库执行的所有写入操作这些写入操作以Redis协议的格式保存因此AOF文件的内容非常容易被人读懂对文件进行分析也很轻松对于相同的数据集来说AOF文件的体积通常要大于RDB文件的体积根据所使用的fsync 策略AOF的速度可能会慢于RDB如何选择
1、RDB持久化方式能够在指定的时间间隔内对数据进行快照存储AOF持久化方式记录每次对服务器的写操作当服务器重启时会重新执行这些命令来恢复原始数据Redis还会对AOF文件进行重写避免文件体积过大。
2、建议同时开启RDB、AOF持久化方式redis会优先载入aof文件来恢复原始数据因为通常情况下aof文件保存的数据集比rdb文件保存的数据集要完整。但是也不建议只用AOF因为RDB更适合备份数据库了而AOF数据不断变化不好备份。
3、只做缓存可以都不使用RDB、AOF性能建议因为RDB文件只做后备用途建议只在slave上持久化RDB而且重要15分钟备份一次就够了【只保留 save 900 1】如果启用AOF好处是在最坏情况下也只会丢失1s数据启动脚本简单加载自己的aof文件就可以恢复代价一是带来了持续的IO二是rewrite的最后将rewrite过程中产生的新数据写到新文件会造成不可避免的阻塞应当尽量减少rewrite的频率建议auto-aof-rewrite-min-size 设置为5G默认超过原来的100%进行重写。如果不启用AOF仅靠master-slave Replication实现高可用也可以能节省一大笔IO、以及重写rewrite带来的系统波动代价是如果master/slave同时倒掉会丢失十几分钟的数据启动脚本也要比较两个master/slave的RDB文件。5 Redis事务Transacttion
是什么可以一次执行多个命令本质是一组命令的集合。一个事务中的所有命令都会序列化按顺序地串行化执行而不会被其它命令插入不许加塞。能干嘛一个队列中一次性、顺序性、排他性的执行一系列命令。常用命令
命令 描述
MULTI 标记一个事务块的开始。
WATCH key [key …] 监视一个(或多个) key如果在事务执行之前这个key 被其他命令所改动那么事务将被打断。
UNWATCH 取消 WATCH 命令对所有 key 的监视。
EXEC 执行所有事务块内的命令。
DISCARD 取消事务放弃执行事务块内的所有命令。常见CASE case5watch监控 WATCH 使得 EXEC 命令需要有条件地执行 事务只能在所有被监视键都没有被修改的前提下执行 如果这个前提不能满足的话事务就不会被执行。 Watch指令类似乐观锁事务提交时如果Key的值已被别的客户端改变 比如某个list已被别的客户端push/pop过了整个事务队列都不会被执行 通过WATCH命令在事务执行之前监控了多个Keys倘若在WATCH之后有任何Key的值发生了变化 EXEC命令执行的事务都将被放弃同时返回Nullmulti-bulk应答以通知调用者事务执行失败。 PS悲观锁/乐观锁/CAS(Check And Set) 悲观锁(Pessimistic Lock), 顾名思义就是很悲观每次去拿数据的时候都认为别人会修改所以每次在拿数据的时候都会上锁这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制比如行锁表锁等读锁写锁等都是在做操作之前先上锁。【高一致性低并发】 乐观锁(Optimistic Lock), 顾名思义就是很乐观每次去拿数据的时候都认为别人不会修改所以不会上锁但是在更新的时候会判断一下在此期间别人有没有去更新这个数据可以使用版本号等机制。乐观锁适用于多读的应用类型这样可以提高吞吐量。乐观锁策略:提交版本必须大于记录当前版本才能执行更新。【高并发低一致性】 CAS信用卡可用余额和欠额案例
事务特性单独的隔离操作事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中不会被其他客户端发送来的命令请求所打断。没有隔离级别的概念队列中的命令没有提交之前都不会实际的被执行因为事务提交前任何指令都不会被实际执行 也就不存在”事务内的查询要看到事务里的更新在事务外查询不能看到”这个让人万分头痛的问题不保证原子性redis同一个事务中如果有一条命令执行失败其后的命令仍然会被执行没有回滚不遵循传统的ACID中的AI6 Redis主从复制、读写分离
是什么也就是我们所说的主从复制主机数据更新后根据配置和策略自动同步到备机的master/slaver机制Master以写为主Slave以读为主主要负责读写分离、容灾恢复。怎么玩slaveof 主库IP 主库端口 【配从(库)不配主(库)】准备工作启动多个Redis服务器部分配置文件参数修改如下
daemonize yes、pid文件名字、port指定端口、logfile日志名称、dump.rdb配置文件名字case1一主二仆【中心化架构】 常见问题
1、slave1、slave2是从头开始复制还是从切入点开始复制?比如从k4进来那之前的123是否也可以复制
答从头开始复制123也可以复制
2、从机是否可以写set可否
答从机不可写不可set主机可写
3、主机shutdown后情况如何从机是上位还是原地待命
答从机还是原地待命咸鱼翻身还是咸鱼
4、主机又回来了后主机新增记录从机还能否顺利复制
答能
5、其中一台从机down后情况如何依照原有它能跟上大部队吗
答不能跟上每次与master断开之后都需要重新连接除非你配置进redis.conf文件具体位置redis.conf搜寻#### REPLICATION ####case2薪火相传【去中心化架构】 上一个Slave可以是下一个slave的MasterSlave同样可以接收其他 slaves的连接和同步请求那么该slave作为了链条中下一个的master, 可以有效减轻master的写压力奴隶的奴隶还是奴隶中途变更转向会清除之前的数据重新建立拷贝最新的 slaveof 新主库IP 新主库端口 case3反客为主 使当前数据库停止与其他数据库的同步转成主数据库形成一个中心点 SLAVEOF no one case4哨兵模式(sentinel) 一组sentinel能同时监控多个master反客为主的自动版能够后台监控主机是否故障如果故障了根据投票数自动将从库转换为主库 怎么玩(使用步骤)
1、调整结构6379带着6380、6381
2、新建sentinel.conf文件名字绝不能错
3、配置哨兵,s填写内容
sentinel monitor host 127.0.0.1 6379 1
数字1表示主机挂掉后salve投票看让谁接替成为主机得票数多少后成为主机
4、启动哨兵
redis-sentinel /sentinel.conf上述目录依照各自的实际情况配置可能目录不同
5、正常主从演示
6、原有的master挂了
7、投票新选重新主从继续开工info replication查查看问题如果之前挂了的master重启回来会不会双master冲突
答 不会原master变成slave
