免费无限建站,注册公司100万要交多少钱,深圳网页设计网站制作,门户网站建设及运营文章目录 前言1. 配置环境1.1 环境介绍1.2 主库白名单1.3 主库参数配置 2. 流复制搭建2.1 备份恢复2.2 创建复制用户2.3 参数修改2.4 启动并检查2.5 同步流复制2.6 同步复制级别 3. 流复制监控3.1 角色判断3.2 主库查看流复制3.3 延迟监控3.4 备库查询复制信息 前言
PostgreSQ… 文章目录 前言1. 配置环境1.1 环境介绍1.2 主库白名单1.3 主库参数配置 2. 流复制搭建2.1 备份恢复2.2 创建复制用户2.3 参数修改2.4 启动并检查2.5 同步流复制2.6 同步复制级别 3. 流复制监控3.1 角色判断3.2 主库查看流复制3.3 延迟监控3.4 备库查询复制信息 前言
PostgreSQL 流复制Streaming Replication是 9.0 提供的一种新的 WAL 传递方法。使用流复制时每当 Primary 节点 WAL 产生就会马上传递到 Standby 节点流复制提供 异步 和 同步 两种模式同步模式可以保障数据 0 丢失。
1. 配置环境
1.1 环境介绍
主机名IP 地址角色数据目录172-16-104-7172.16.104.7Master/data/pgsql12/data/172-16-104-56172.16.104.56Standby/data/pgsql12/data/ PostgreSQL 版本PostgreSQL 12.2 操作系统CentOS Linux release 7.8.2003 (Core) 1.2 主库白名单
Master 节点配置 pg_hba.conf 表示接受流复制的用户连接
host replication all 0/0 md5上面这条 SQL 语句的含义是允许任意用户从任何网络0/0网络上发起到本数据库的流复制连接使用MD5的密码认证。
1.3 主库参数配置
# 监听
listen_addresses *# 流复制客户端的最大并发数设置为 0 表示禁用复制
max_wal_senders 10# WAL 日志级别
wal_level replica上面的参数需要重启 PostgreSQL 服务后生效。
2. 流复制搭建
使用 pg_basebackup 将主库数据备份恢复到 Standby 节点搭建 异步/同步 流复制步骤归纳
准备环境 PostgreSQL 主节点和备节点。参数调整 pg_hba.conf、postgresql.conf创建复制用户。备份主节点的数据恢复到备节点。修改 primary_conninfo 启动备库。检查是否启动成功。
2.1 备份恢复
在主库执行全量备份
pg_basebackup -D /data/pgsql12/backup -v -P -X stream -Upostgres -h 127.0.0.1 -p5432 -R将备份 SCP 到备库节点
scp -r ./backup/ root172.16.104.56:/data/backup关闭 Standby 节点清空 Standby 节点的数据文件或者使用 mv 修改目录名
# 备份数据目录或者可以直接清空
mv /data/pgsql12/data /data/pgsql12/data_bak
# 将备份文件转移到数据目录
mv /data/pgsql12/backup /data/pgsql12/data
# 修改文件属组
chown -R postgres:postgres /data/pgsql122.2 创建复制用户
主库创建专用于流复制的用户
CREATE ROLE repl REPLICATION LOGIN PASSWORD repl123;2.3 参数修改
PostgreSQL 使用 standby.signal 文件表示实例为 Standby 节点。在使用 pg_basebackup 备份添加 -R 参数write configuration for replication会在 postgresql.auto.conf 文件中写入 primary_conninfo 参数信息这里我们需要按照实际情况调整
primary_conninfo host172.16.104.7 port5432 userrepl passwordrepl1232.4 启动并检查
参数配置完成后启动 Standby 节点即可
pg_ctl -D /data/pgsql12/data/ -l /data/pgsql12/logs/start.log start在主节点可通过下方 SQL 查询流复制的监控信息
postgres# \x
Expanded display is on.postgres# select * from pg_stat_replication;
-[ RECORD 1 ]----------------------------------
pid | 27408
usesysid | 24865
usename | repl
application_name | walreceiver
client_addr | 172.16.104.56
client_hostname |
client_port | 40990
backend_start | 2023-09-05 14:11:56.97862708
backend_xmin |
state | streaming
sent_lsn | 6/4001BB0
write_lsn | 6/4001BB0
flush_lsn | 6/4001BB0
replay_lsn | 6/4001BB0
write_lag |
flush_lag |
replay_lag |
sync_priority | 0
sync_state | async
reply_time | 2023-09-05 15:03:58.40851808其中 state streaming 表示流复制状态正常如果有异常可以查看 error log 中的信息或者启动的时候就 tail -f error_log实时关注输出的异常信息。
2.5 同步流复制
上面 2.12.4 是介绍如何搭建 异步 流复制。
PostgreSQL 异步流复制的缺点是当主库损坏的时候激活备库可能会丢失一部分数据这于 MySQL 异步复制相同主库只管发送增量日志挂掉后可能有部分日志从库还没有接收到此时发生切换就会出现数据丢失同步复制可以解决该类问题。不过需要注意的是如果配置同步复制 Standby 节点挂掉会导致 Priamry 节点卡住所以一般会有多个 Standby 节点至少保障 WAL 同步到一个 Standby 节点。
同步复制配置多加一个 synchronous_standby_names 参数有 3 种配置方法
synchronous_standby_names s1,s2,s3在这个例子中如果有 s1、s2、s3 三台 Standby 节点在运行意味着 s1 为同步节点其他节点均为潜在同步节点即 WAL 只需传递给 s1 节点就可以提交。
synchronous_standby_names FIRST 2 (s1, s2, s3)在这个例子中如果有四个后备服务器 s1、s2、s3 和 s4 在运行两个后备服务器 s1 和 s2 将被选中为同步后备因为它们出现在后备服务器名称列表的前部。s3 是一个潜在的同步后备当 s1 或 s2 中的任何一个失效 它就会取而代之。s4 则是一个异步后备因为它的名字不在列表中。
synchronous_standby_names ANY 2 (s1, s2, s3)在这个例子中如果有四台后备服务器 s1、s2、s3 以及 s4 正在运行事务提交将会等待来自至少其中任意两台后备服务器的回复。s4 是一台异步后备因为它的名字不在该列表中。
现在我们的架构是一个 Primary 节点一个 Standby 节点现在通过修改参数调整为 同步流复制 修改主库参数
# 其中 walreceiver 为 Standby 节点的名字由 primary_conninfo 中的 application_name 设置
synchronous_standby_names walreceiver修改该参数不需要重启数据库使用 reload 重新加载配置即可
pg_ctl reload -D /data/pgsql12/data/在 Primary 节点查询流复制的状态信息
postgres# select * from pg_stat_replication;
-[ RECORD 1 ]----------------------------------
pid | 13561
usesysid | 24865
usename | repl
application_name | walreceiver
client_addr | 172.16.104.56
client_hostname |
client_port | 42126
backend_start | 2023-09-06 17:18:48.29746608
backend_xmin |
state | streaming
sent_lsn | 6/50007D0
write_lsn | 6/50007D0
flush_lsn | 6/50007D0
replay_lsn | 6/50007D0
write_lag |
flush_lag |
replay_lag |
sync_priority | 1
sync_state | sync
reply_time | 2023-09-06 17:45:00.70619608其中 sync_state 由 async 变为 sync 表示为同步模式。
2.6 同步复制级别
影响同步复制还需要关注一个参数 synchronous_commit 用来设置事务的同步级别
postgres# select * from pg_settings where name synchronous_commit;
-[ RECORD 1 ]---------------------------------------------------------
name | synchronous_commit
setting | on
unit |
category | Write-Ahead Log / Settings
short_desc | Sets the current transactions synchronization level.
extra_desc |
context | user
vartype | enum
source | default
min_val |
max_val |
enumvals | {local,remote_write,remote_apply,on,off}
boot_val | on
reset_val | on
sourcefile |
sourceline |
pending_restart | flocalWAL 日志被本地持久化后不用管远程事务 commit 就可以返回。remote_writeWAL 日志被传到备库的内存中不必等其被持久化事务 commit 才返回。remote_applyWAL 日志被传到备库并被 apply事务 commit 才返回。onWAL 日志被传到备库并被持久化不必等其被 apply事务 commit 才返回。off不必等 WAL 日志被本地持久化也不管是否传到远程事务 commit 都可以立即返回。
对于同步复制可选的值有 remote_write、remote_apply、on。
3. 流复制监控
3.1 角色判断
select pg_is_in_recovery();判断数据库是否为主库 f 表示是主库t 表示属于备库角色。
3.2 主库查看流复制
查看流复制信息可以在主库查看 pg_stat_replication 视图可以查看流复制的状态信息
sent_lsn发送 WAL 的位置。write_lsn备库已接收到这部分日志但还没有刷到磁盘中。flush_lsn备库已把 WAL 写入到磁盘中。replay_lsn备库应用 WAL 的位置。sync_state同步模式。state流复制状态。
select * from pg_stat_replication;输出结果
postgres# \x
Expanded display is on.postgres# select * from pg_stat_replication;
-[ RECORD 1 ]----------------------------------
pid | 13561
usesysid | 24865
usename | repl
application_name | walreceiver
client_addr | 172.16.104.56
client_hostname |
client_port | 42126
backend_start | 2023-09-06 17:18:48.29746608
backend_xmin |
state | streaming
sent_lsn | 6/50007D0
write_lsn | 6/50007D0
flush_lsn | 6/50007D0
replay_lsn | 6/50007D0
write_lag |
flush_lag |
replay_lag |
sync_priority | 1
sync_state | sync
reply_time | 2023-09-07 10:06:18.000504083.3 延迟监控
使用下方 SQL 可以查看 Standby 节点落后主库多少字节 WAL 日志
select pg_wal_lsn_diff(pg_current_wal_lsn(),replay_lsn) from pg_stat_replication; 3.4 备库查询复制信息
在备库也可以通过查询 pg_stat_wal_receiver 视图获得流复制的监控信息
pidWAL 接收进程 ID。status流复制状态只有 streaming 为正常状态。receive_start_lsnWAL 接收进程启动时使用的第一个 WAL 日志的位置。receive_start_tliWAL 接收进程启动时使用的第一个时间线编号。received_lsn已经接收到并且已经被写入磁盘的最后一个 WAL 日志的位置。received_tli已经接收到并且已经被写入磁盘的最后一个 WAL 日志的时间线编号。last_msg_send_time接收到最后一条 WAL 日志消息后向主库发回确认消息的发送时间。last_msg_receipt_time备库接收到最后一条 WAL 日志消息的接收时间。slot_name使用复制槽的名称。conninfo连接主库的连接串密码等安全相关的信息会被隐去。
select * from pg_stat_wal_receiver;postgres# \x
Expanded display is on.
postgres#
postgres# select * from pg_stat_wal_receiver;
-[ RECORD 1 ]---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
pid | 113395
status | streaming
receive_start_lsn | 6/5000000
receive_start_tli | 3
received_lsn | 6/50007D0
received_tli | 3
last_msg_send_time | 2023-09-07 10:20:00.20785608
last_msg_receipt_time | 2023-09-07 10:20:00.2097108
latest_end_lsn | 6/50007D0
latest_end_time | 2023-09-06 17:19:46.66122108
slot_name |
sender_host | 172.16.104.7
sender_port | 5432
conninfo | userrepl password******** dbnamereplication host172.16.104.7 port5432 fallback_application_namewalreceiver sslmodedisable sslcompression0 gssencmodedisable krbsrvnamepostgres target_session_attrsany
文章转载自： http://www.morning.zdnrb.cn.gov.cn.zdnrb.cn http://www.morning.sjbty.cn.gov.cn.sjbty.cn http://www.morning.rkxk.cn.gov.cn.rkxk.cn http://www.morning.gwkjg.cn.gov.cn.gwkjg.cn http://www.morning.bnlkc.cn.gov.cn.bnlkc.cn http://www.morning.wmrgp.cn.gov.cn.wmrgp.cn http://www.morning.xphls.cn.gov.cn.xphls.cn http://www.morning.sqmbb.cn.gov.cn.sqmbb.cn http://www.morning.znqxt.cn.gov.cn.znqxt.cn http://www.morning.wmyqw.com.gov.cn.wmyqw.com http://www.morning.xjtnp.cn.gov.cn.xjtnp.cn http://www.morning.mkpqr.cn.gov.cn.mkpqr.cn http://www.morning.hptbp.cn.gov.cn.hptbp.cn http://www.morning.tfgkq.cn.gov.cn.tfgkq.cn http://www.morning.ntdzjx.com.gov.cn.ntdzjx.com http://www.morning.rkmsm.cn.gov.cn.rkmsm.cn http://www.morning.zpzys.cn.gov.cn.zpzys.cn http://www.morning.bgpch.cn.gov.cn.bgpch.cn http://www.morning.kqrql.cn.gov.cn.kqrql.cn http://www.morning.nbnpb.cn.gov.cn.nbnpb.cn http://www.morning.nxkyr.cn.gov.cn.nxkyr.cn http://www.morning.jbfjp.cn.gov.cn.jbfjp.cn http://www.morning.nxbkw.cn.gov.cn.nxbkw.cn http://www.morning.pmlgr.cn.gov.cn.pmlgr.cn http://www.morning.kcwkt.cn.gov.cn.kcwkt.cn http://www.morning.hlshn.cn.gov.cn.hlshn.cn http://www.morning.dmtld.cn.gov.cn.dmtld.cn http://www.morning.smdiaosu.com.gov.cn.smdiaosu.com http://www.morning.xtyyg.cn.gov.cn.xtyyg.cn http://www.morning.yrmpr.cn.gov.cn.yrmpr.cn http://www.morning.ggqcg.cn.gov.cn.ggqcg.cn http://www.morning.bysey.com.gov.cn.bysey.com http://www.morning.hyryq.cn.gov.cn.hyryq.cn http://www.morning.qfmns.cn.gov.cn.qfmns.cn http://www.morning.qjdqj.cn.gov.cn.qjdqj.cn http://www.morning.zqdzg.cn.gov.cn.zqdzg.cn http://www.morning.kxbdm.cn.gov.cn.kxbdm.cn http://www.morning.mywnk.cn.gov.cn.mywnk.cn http://www.morning.zlbjx.cn.gov.cn.zlbjx.cn http://www.morning.mjgxl.cn.gov.cn.mjgxl.cn http://www.morning.slysg.cn.gov.cn.slysg.cn http://www.morning.qdlnw.cn.gov.cn.qdlnw.cn http://www.morning.lysrt.cn.gov.cn.lysrt.cn http://www.morning.bfcxf.cn.gov.cn.bfcxf.cn http://www.morning.dzqyn.cn.gov.cn.dzqyn.cn http://www.morning.fmkbk.cn.gov.cn.fmkbk.cn http://www.morning.hsgxj.cn.gov.cn.hsgxj.cn http://www.morning.wqbzt.cn.gov.cn.wqbzt.cn http://www.morning.gkdqt.cn.gov.cn.gkdqt.cn http://www.morning.ybnzn.cn.gov.cn.ybnzn.cn http://www.morning.xqgtd.cn.gov.cn.xqgtd.cn http://www.morning.gnjtg.cn.gov.cn.gnjtg.cn http://www.morning.kmqjx.cn.gov.cn.kmqjx.cn http://www.morning.rqhbt.cn.gov.cn.rqhbt.cn http://www.morning.qkwxp.cn.gov.cn.qkwxp.cn http://www.morning.elmtw.cn.gov.cn.elmtw.cn http://www.morning.wklhn.cn.gov.cn.wklhn.cn http://www.morning.hnmbq.cn.gov.cn.hnmbq.cn http://www.morning.pqrhb.cn.gov.cn.pqrhb.cn http://www.morning.mcbqq.cn.gov.cn.mcbqq.cn http://www.morning.zlgr.cn.gov.cn.zlgr.cn http://www.morning.prhqn.cn.gov.cn.prhqn.cn http://www.morning.cfhwn.cn.gov.cn.cfhwn.cn http://www.morning.qjdqj.cn.gov.cn.qjdqj.cn http://www.morning.wnhml.cn.gov.cn.wnhml.cn http://www.morning.bktzr.cn.gov.cn.bktzr.cn http://www.morning.fjtnh.cn.gov.cn.fjtnh.cn http://www.morning.fqtdz.cn.gov.cn.fqtdz.cn http://www.morning.npxht.cn.gov.cn.npxht.cn http://www.morning.ypbdr.cn.gov.cn.ypbdr.cn http://www.morning.hphfy.cn.gov.cn.hphfy.cn http://www.morning.qwbtr.cn.gov.cn.qwbtr.cn http://www.morning.sffwz.cn.gov.cn.sffwz.cn http://www.morning.ctxt.cn.gov.cn.ctxt.cn http://www.morning.rrcrs.cn.gov.cn.rrcrs.cn http://www.morning.bnqcm.cn.gov.cn.bnqcm.cn http://www.morning.bwfsn.cn.gov.cn.bwfsn.cn http://www.morning.mjbnp.cn.gov.cn.mjbnp.cn http://www.morning.zkqjz.cn.gov.cn.zkqjz.cn http://www.morning.sgbk.cn.gov.cn.sgbk.cn
