西安市高陵区建设局网站,opencart网站,网站设计规范,扬中网站设计公司1.一直以来想写下基于PostgreSQL的系列文章#xff0c;作为较火的数据ETL工具#xff0c;也是日常项目开发中常用的一款工具#xff0c;最近刚好挤时间梳理、总结下这块儿的知识体系。 2.熟悉、梳理、总结下PostgreSQL数据库相关知识体系。空间膨胀#xff08;主键、外键、… 1.一直以来想写下基于PostgreSQL的系列文章作为较火的数据ETL工具也是日常项目开发中常用的一款工具最近刚好挤时间梳理、总结下这块儿的知识体系。 2.熟悉、梳理、总结下PostgreSQL数据库相关知识体系。空间膨胀主键、外键、索引增加删除等操作更新频繁、磁盘爆满回收机制不生效或不及时、应用宕机应用跟PG空间波动较大的数据库安装在同一台服务器 3.欢迎批评指正欢迎关注跪谢一键三连 文章目录 1.Linux磁盘空间异常增加--问题定位排查2.PostgreSQL目录结构2.1 PostgreSQL一级目录下内容2.2 PostgreSQL二级目录data路径下内容 3.常用问题排查命令4.PostgreSQL数据库所有表及数据库目录5.部分参考链接 1.Linux磁盘空间异常增加–问题定位排查
如单日增加100-200GB问题排查步骤查找最近更新文件 -- 找到对应组件 -- 发现PG数据目录下增加文件根据经验怀疑是PG数据表频繁更新回收机制异常问题导致
2.PostgreSQL目录结构
2.1 PostgreSQL一级目录下内容 一级路径文件夹路径下存储的内容/bin包含PostgreSQL可执行文件如psql和其他实用程序。/data存数据文件的常见目录包括主数据库集群。包含诸如base等子目录其中存储实际的表数据。/lib包含PostgreSQL所需的共享库。/share可能包含如错误消息、时区信息和其他共享资源等文件。/doc文档文件/include编译与PostgreSQL交互的程序所需的头文件。PostgreSQL安装路径下详情如下图所示
2.2 PostgreSQL二级目录data路径下内容 二级路径文件夹或文件路径下存储的内容base/存储数据库的基本数据文件。每个数据库都有以 OID对象标识符命名的子目录包含该数据库所有表和索引的数据文件。global/包含全局性质的系统表空间文件。存放所有数据库共享的系统表如 pg_database、pg_authid 等。pg_tblspc/包含表空间的符号链接。每个符号链接指向实际的表空间目录表空间是用于组织数据库物理存储的一种方式。pg_twophase/包含两阶段提交中使用的文件。两阶段提交用于确保分布式事务的一致性。pg_stat_tmp/包含一些临时文件用于存储统计信息pg_stat/包含PostgreSQL收集的统计信息文件。这些文件记录数据库服务器运行时的性能统计信息如查询计划、锁等。pg_logical/包含用于逻辑复制的文件。逻辑复制允许将特定表、特定数据库对象或特定的数据更改复制到另一个数据库。pg_replslot/包含复制插槽信息的文件。复制插槽用于流复制中确保备用节点能够持续接收主节点的 WALWrite-Ahead Logging。pg_subtrans/包含用于存储子事务信息的文件。子事务用于处理并发事务中的多个子操作。pg_notify/包含用于存储异步通知信息的文件。异步通知允许数据库中的一个会话通知其他会话有关特定事件的发生。pg_snapshots/包含用于存储快照信息的文件。快照是一种数据库的一致性视图用于支持可重复读事务隔离级别。pg_serial/包含用于存储序列信息的文件。序列是 PostgreSQL 中生成唯一标识符的一种方式。postgresql.conf存放PostgreSQL服务器的配置参数如端口号、日志设置等。pg_hba.conf存放PostgreSQL的身份验证规则定义哪些主机和用户能够连接到数据库以及使用哪种身份验证方法。pg_ident.conf存放标识映射规则用于将操作系统用户映射到 PostgreSQL 数据库用户。data/路径下详情如下图所示
3.常用问题排查命令
查找大小大于1GB的文件find /path/to/search -type f -size 1G使用find命令结合mtime选项来找到最近更新的文件find . -type f -mtime -1查看每个文件夹的占用空间du -sh *
# du 是磁盘使用情况的缩写。
# -s 参数表示汇总每个参数的总用量。
# -h 参数表示以易读的格式例如 KB、MB、GB显示大小。
# * 表示当前目录下的所有文件和文件夹。# 查看所有子目录的大小并按大小排序
du -h --max-depth1 | sort -hr4.PostgreSQL数据库所有表及数据库目录 4.1 获取当前PostgreSQL中所有的表信息 select * from pg_tables4.2 显示数据目录 show data_directory4.3 查看pg_database这张表查看每一个数据库的oid select oid,datname from pg_databaseoid 对应的文件存储路径详情如下图所示 4.4 查询某张表的存储位置 -- 如:查询表youli_testtable的数据文件
select pg_relation_filepath(youli_testtable);4.5 查看该表的数据操作审计日志查看某张表的增加原因 -- 编辑PostgreSQL的配置文件postgresql.conf开启审计功能
-- audit_logging on
-- 新版本为 logging_collector on如下查询命令可能不再适用
SELECT *
FROM pg_audit_log
WHERE obj_name your_table AND action INSERT;4.6 查询服务器进程同时详细描述与之关联的用户会话和查询 select * from pg_stat_activity;4.7 清除表的碎片耗时非常长慎用 vacuum full youli_testtable;4.8 不回收空间只标记 vacuum youli_testtable;自带清理执行详情如下图所示 4.9 vacuum verbose public.youli_testtable执行结果及执行日志 vacuum作用范围可以是整张表清理过期元组及索引项并且不阻塞读和写。执行结果前后数据表大小对比 执行日志详情 vacuuming postgres.public.youli_testtabletable youli_testtable: truncated 128 to 96 pagesfinished vacuuming postgres.public.youli_testtable: index scans: 1pages: 32 removed, 96 remain, 33 scanned (25.78% of total)tuples: 4998 removed, 11226 remain, 0 are dead but not yet removableremovable cutoff: 57093, which was 1 XIDs old when operation endedfrozen: 0 pages from table (0.00% of total) had 0 tuples frozenindex scan needed: 33 pages from table (25.78% of total) had 4998 dead item identifiers removedindex youli_testtable_id_idx: pages: 98 in total, 26 newly deleted, 53 currently deleted, 27 reusable平均读取率0.000 MB/s平均写入率0.000 MB/sbuffer usage: 458 hits, 0 misses, 0 dirtiedWAL usage: 184 records, 0 full page images, 41742 bytes系统用法CPU:用户0.00 s系统0.00 s已用时间0.00 s4.10 其他参考命令 -- 清理并分析所有数据库
vacuumdb -a -z -v-- 并行清理并分析所有数据库如开4个并行
vacuumdb -a -z -j 4 -v-- 只分析特定的数据库如分析youli
vacuumdb --analyze-only -d youli -v5.部分参考链接
https://blog.csdn.net/weixin_48154829/article/details/134382728https://www.cnblogs.com/jonvy/p/16367769.html 文章转载自： http://www.morning.gqnll.cn.gov.cn.gqnll.cn http://www.morning.rdbj.cn.gov.cn.rdbj.cn http://www.morning.rycd.cn.gov.cn.rycd.cn http://www.morning.tnwwl.cn.gov.cn.tnwwl.cn http://www.morning.wmnpm.cn.gov.cn.wmnpm.cn http://www.morning.qdsmile.cn.gov.cn.qdsmile.cn http://www.morning.xkppj.cn.gov.cn.xkppj.cn http://www.morning.gqfbl.cn.gov.cn.gqfbl.cn http://www.morning.sfcfy.cn.gov.cn.sfcfy.cn http://www.morning.hnhgb.cn.gov.cn.hnhgb.cn http://www.morning.rwzkp.cn.gov.cn.rwzkp.cn http://www.morning.zfqr.cn.gov.cn.zfqr.cn http://www.morning.zzjpy.cn.gov.cn.zzjpy.cn http://www.morning.sypby.cn.gov.cn.sypby.cn http://www.morning.wwnb.cn.gov.cn.wwnb.cn http://www.morning.mzhgf.cn.gov.cn.mzhgf.cn http://www.morning.kyflr.cn.gov.cn.kyflr.cn http://www.morning.rwzqn.cn.gov.cn.rwzqn.cn http://www.morning.fwlch.cn.gov.cn.fwlch.cn http://www.morning.jzykq.cn.gov.cn.jzykq.cn http://www.morning.blfll.cn.gov.cn.blfll.cn http://www.morning.rgpbk.cn.gov.cn.rgpbk.cn http://www.morning.qpljg.cn.gov.cn.qpljg.cn http://www.morning.drnfc.cn.gov.cn.drnfc.cn http://www.morning.wspyb.cn.gov.cn.wspyb.cn http://www.morning.qbwyd.cn.gov.cn.qbwyd.cn http://www.morning.msgcj.cn.gov.cn.msgcj.cn http://www.morning.fbqr.cn.gov.cn.fbqr.cn http://www.morning.gsrh.cn.gov.cn.gsrh.cn http://www.morning.nlkhr.cn.gov.cn.nlkhr.cn http://www.morning.nqbpz.cn.gov.cn.nqbpz.cn http://www.morning.grwgw.cn.gov.cn.grwgw.cn http://www.morning.jklns.cn.gov.cn.jklns.cn http://www.morning.xpzgg.cn.gov.cn.xpzgg.cn http://www.morning.mdlqf.cn.gov.cn.mdlqf.cn http://www.morning.lpbrp.cn.gov.cn.lpbrp.cn http://www.morning.fflnw.cn.gov.cn.fflnw.cn http://www.morning.txzmy.cn.gov.cn.txzmy.cn http://www.morning.wnxqf.cn.gov.cn.wnxqf.cn http://www.morning.wjlhp.cn.gov.cn.wjlhp.cn http://www.morning.swyr.cn.gov.cn.swyr.cn http://www.morning.fqsxf.cn.gov.cn.fqsxf.cn http://www.morning.czqqy.cn.gov.cn.czqqy.cn http://www.morning.hdrrk.cn.gov.cn.hdrrk.cn http://www.morning.cbnxq.cn.gov.cn.cbnxq.cn http://www.morning.rydbs.cn.gov.cn.rydbs.cn http://www.morning.xxrwp.cn.gov.cn.xxrwp.cn http://www.morning.bsqbg.cn.gov.cn.bsqbg.cn http://www.morning.bhrbr.cn.gov.cn.bhrbr.cn http://www.morning.mkfr.cn.gov.cn.mkfr.cn http://www.morning.sh-wj.com.cn.gov.cn.sh-wj.com.cn http://www.morning.mcmpq.cn.gov.cn.mcmpq.cn http://www.morning.yfddl.cn.gov.cn.yfddl.cn http://www.morning.gynls.cn.gov.cn.gynls.cn http://www.morning.qbwmz.cn.gov.cn.qbwmz.cn http://www.morning.cryb.cn.gov.cn.cryb.cn http://www.morning.dbqg.cn.gov.cn.dbqg.cn http://www.morning.tgdys.cn.gov.cn.tgdys.cn http://www.morning.lzph.cn.gov.cn.lzph.cn http://www.morning.qfrmy.cn.gov.cn.qfrmy.cn http://www.morning.qfkdt.cn.gov.cn.qfkdt.cn http://www.morning.fhtmp.cn.gov.cn.fhtmp.cn http://www.morning.divocn.com.gov.cn.divocn.com http://www.morning.tyjp.cn.gov.cn.tyjp.cn http://www.morning.hcsqznn.cn.gov.cn.hcsqznn.cn http://www.morning.fwjfh.cn.gov.cn.fwjfh.cn http://www.morning.lxmks.cn.gov.cn.lxmks.cn http://www.morning.cgtrz.cn.gov.cn.cgtrz.cn http://www.morning.mmynk.cn.gov.cn.mmynk.cn http://www.morning.rfwgg.cn.gov.cn.rfwgg.cn http://www.morning.rpdmj.cn.gov.cn.rpdmj.cn http://www.morning.zlchy.cn.gov.cn.zlchy.cn http://www.morning.qjtbt.cn.gov.cn.qjtbt.cn http://www.morning.ktmnq.cn.gov.cn.ktmnq.cn http://www.morning.ztjhz.cn.gov.cn.ztjhz.cn http://www.morning.ebpz.cn.gov.cn.ebpz.cn http://www.morning.xqxrm.cn.gov.cn.xqxrm.cn http://www.morning.zlwg.cn.gov.cn.zlwg.cn http://www.morning.xbmwh.cn.gov.cn.xbmwh.cn http://www.morning.bkwd.cn.gov.cn.bkwd.cn
