大城网站制作,网站建设毕业设计说明书word文档,360免费建站391199,做设计必看十大网站谁进行优化#xff1f;优化什么#xff1f;
优化不能仅从数据库方面考虑#xff0c;比如#xff0c;在存储达到数据库极限、应用涉及人员设计的代码稀巴烂的情况下#xff0c;进行调优就是杯水车薪的效果。
涉及到优化人员#xff1a;
数据库管理员应用程序架构师应用…谁进行优化优化什么
优化不能仅从数据库方面考虑比如在存储达到数据库极限、应用涉及人员设计的代码稀巴烂的情况下进行调优就是杯水车薪的效果。
涉及到优化人员
数据库管理员应用程序架构师应用程序设计人员系统管理员存储管理员
涉及到的优化内容
应用程序:(与开发人员共享 ) SQL语句性能 更改管理实例优化: 内存 数据库结构 实例配置操作系统交互:(与系统管理员共享) 1/0 交换 参数
优化工具
用于优化的过程取决于工具
基本工具: 动态性能视图 统计信息 DEM工具AWR报告DBA脚本
优化方法
自上而下优化以下内容 在优化应用程序代码之前先优化设计 在优化实例之前先优化代码对可以带来最大潜在好处的方面进行优化并确定: 最长的等待 最大的服务时间达到目标时停止优化
内存管理
数据库管理系统是一种对内存申请和释放操作频率很高的软件如果每次对内存的使用都使用操作系统函数来申请和释放效率会比较低加入自己的内存管理是 DBMS 系统所必须的。通常内存管理系统会带来以下好处
申请、释放内存效率更高能够有效地了解内存的使用情况易于发现内存泄露和内存写越界的问题。
DM 数据库管理系统的内存结构主要包括内存池、缓冲区、排序区、哈希区等。根据系统中子模块的不同功能对内存进行了上述划分并采用了不同的管理模式。
从资源角度主要有 2 类对象内存池、缓冲区。
内存池
DM Server 的内存池包括共享内存池和其他一些运行时内存池。
共享内存池、备用内存池、字典缓冲区DICT_BUF_SIZE、Sql 缓冲区cache_pool_size, 运行时的内存池排序区、哈内希区、会话存池虚拟机内存池 共享内存池名称 share_pool 定义共享内存池是 DM Server 在启动时从操作系统申请的一大片内存。 DM 采用共享内存池的方式一次向操作系统申请一片较大内存作为共享内存池。当系统在运行过程中需要申请小片内存时可在共享内存池内进行申请当用完该内存时再释放掉即归还给共享内存池。 主要涉及参数初始大小增量大小和目标大小 DM 系统管理员可以通过 DM Server 的配置文件dm.ini来对共享内存池的大小进行设置共享池初始大小的参数为 MEMORY_POOL。如果在运行时所需内存大于配置值共享内存池也可进行自动扩展增量大小INI 参数 MEMORY_EXTENT_SIZE 指定了共享内存池每次扩展的大小参数 MEMORY_TARGET 则指定了共享内存池扩展到超过该值后空闲时会收缩到的大小目标大小。 查看方法 select para_name,para_value,para_type from v$dm_ini where para_name like %MEMORY%;Memory_target:指定单个共享内存池的目标大小 Memory_pool: 指定单个共享内存池的初始大小 Memory_extent_size:提定单个共享内存池的增量大小 Memory_N_pool:指定多个共享内存池 私有池会话内存池虚拟机内存池、排序缓冲区、哈希缓冲区
运行时内存池 DM Server 的一些功能模块在运行时还会使用自己的运行时内存池。这些运行时内存池是从操作系统申请一片内存作为本功能模块的内存池来使用如会话内存池、虚拟机内存池等。
缓冲区
数据缓冲区 数据缓冲区是 DM Server 在将数据页写入磁盘之前以及从磁盘上读取数据页之后数据页所存储的地方。这是 DM Server 至关重要的内存区域之一将其设定得太小会导致缓冲页命中率低磁盘 IO 频繁将其设定得太大又会导致操作系统内存本身不够用。
系统启动时首先根据配置的数据缓冲区大小向操作系统申请一片连续内存并将其按数据页大小进行格式化并置入“自由”链中。
数据缓冲区存在三条链来管理被缓冲的数据页 一条是“自由”链用于存放目前尚未使用的内存数据页 一条是“LRU”链用于存放已被使用的内存数据页(包括未修改和已修改) 一条即为“脏”链用于存放已被修改过的内存数据页。全部修改过的数据页执行checkpoint后脏页的数据全部落盘。写盘的时机checkpoint、脏链满的时候落盘、有个参数可以查多长时间写盘默认可能是3s需要查询。业务非常繁忙的时候可以修改一般情况下默认是1一次取一页。一次取多个页可以减少IO。但是并不是说这个数越大越好你读了很多页不一定能用上造成无用IO。应该取一个合适的值需要自己取试。
在系统运行过程中通常存在一部分“非常热”反复被访问的数据页将它们一直留在缓冲区中对系统性能会有好处。对于这部分数据页数据缓冲区开辟了一个特定的区域用于存放它们以保证这些页不参与一般的淘汰机制可以一直留在数据缓冲区中。
DM Server 中有四种类型的数据缓冲区分别是 NORMAL、KEEP、FAST 和 RECYCLE。 –NORMAL 缓冲区主要是提供给系统处理的一些数据页没有特定指定缓冲区的情况下默认缓冲区为 NORMAL –KEEP 的特性是对缓冲区中的数据页很少或几乎不怎么淘汰出去主要针对用户的应用是否需要经常处在内存当中如果是这种情况可以指定缓冲区为 KEEP。 –RECYCLE 缓冲区供临时表空间使用。 –FAST 缓冲区根据用户指定的 FAST_POOL_PAGES 大小由系统自动进行管理用户不能指定使用 RECYCLE 和 FAST 缓冲区的表或表空间。
dm.ini 文件中 BUFFER、KEEP、RECYCLE、FAST_POOL_PAGES这些值分别对应是 NORMAL 缓冲区大小、KEEP 缓冲区大小、RECYCLE 缓冲区大小、FAST 缓冲区数据页总数。
日志缓冲区从操作系统申请的 日志缓冲区是用于存放重做日志的内存缓冲区。为了避免由于直接的磁盘 IO 而使系统性能受到影响系统在运行过程中产生的日志并不会立即被写入磁盘而是和数据页一样先将其放置到日志缓冲区中。那么为何不在数据缓冲区中缓存重做日志而要单独设立日志缓冲区呢主要是基于以下原因 1、 重做日志的格式同数据页完全不一样无法进行统一管理 2、 重做日志具备连续写的特点 3、 在逻辑上写重做日志比数据页 IO 优先级更高。
DM Server 提供了参数 RLOG_BUF_SIZE 对日志缓冲区大小进行控制日志缓冲区所占用的内存是从共享内存池中申请的单位为页数量。
达梦数据库服务启动时向操作系统申请 6 块独立的内存数据缓冲区字典缓冲区日志缓冲区共享内存池备用内存池sql 缓冲区。 如果有会话连接则会去建立相关的内存池会话内存池排序内存池虚拟机内存池等会话结束后相关内存池回收。 服务器关闭OS 回收所有的内存。 1、数据缓冲区keep,recycle,normal,fast).服务器启动后向操作系统申请四块大小固定的内存做为四个分区服务器关闭前向操作系统归还内存。数据缓冲区不会拓展。 数据缓冲区四种类型 Normal: 普通数据页缓冲区满进行淘汰。 Fast:数据页回滚页常驻缓冲区 Recycle: 临时表数据页正常淘汰 Keep:普通数据页很少淘汰
5、日志缓冲区创建时从共享内存池分配内存服务器关闭前归还 内存日志缓冲区拓展时直接向共享内存池申请。
6、运行时内存池在需要使用的时候被创建使用完毕立即销毁 会话内存池虚拟机内存池排序区和哈希区。 Cpu (高速缓存----内存-内存缓冲区------磁盘
备用内存池
操作系统的内存池不沟通的情况下会用到备用内存池。
字典缓冲区
表非常多的时候可能需要扩大字典缓冲区。
SQL缓冲区
执行完SQL后SQL的解析或者结果集均缓存到SQL缓冲区。结果集的缓存就缓存一会儿会儿。 会判断结果集的数据是否改变如果没有改变下次还有可能用到。 如果有很多复杂的SQL或者有SQL包SQL缓冲区需要扩大。
图解 内存查询视图及修改
V$mem_pool 查看所有内存池的使用信息。 select * from V$mem_poolV$bufferpool
如果free0说明这个区域经常淘汰说明缓冲区的参数给太小。 fast经常出现淘汰的操作fast给小。
select * from V$bufferpoolBuffermpool
达梦数据库使用的内存
通过v$sql_stat 可以查询哪些SQL执行超过xx秒 可以设置 来设置阀值
Select * from v$mem_reginfo order by refnum desc;refnum特别大说明数据库内存一直在涨就需要分析为啥一直涨内存。
内存的使用情况
select * from v$sysstat where classid11;Rlog_buf_size rlog_pool_size v$rlogbuf Rlog_parallel_enbable1 Sp_set_para_value(1,’BUFFRE’,300);
后台的线程管理
达梦是单进程多线程的每一个实例只有一个进程 v$process; 查询所有线程
select * from v$threads监听线程在服务端口上进行循环监听一旦有来自客户的连接请求 监听线程被唤醒并生成一个会话申请任务。
工作线程DM 服务器的核心线程 任务线程:最多一千个。 工作线程是用来干活的 工作线程数和任务线程数在调优的时候经常用到。 工作线程最多64核达梦服务的核心线程从任务队列区任务完成响应的任务。最开始达梦为了能够及时响应线程的工作一个session过来均有一个工作线程完成减少线程切换代价提高系统效率。 工作线程可能忙不过来就有task线程相当于公司前台分配任务用的工作线程完成后在任务线程里面取数据。 用到CPU如果CPU核数太少但是工作线程调整太高此时无效。
IO 线程最为耗时的操作之一。Dm.ini IO_THR_GROUPS默认 8 个
调度线程 日志 flush 线程 日志归档线程 日志 APPLY 线程 MAL 系统相关线程
V$ latches :记录当前正在等待的线程信息 V$ THREADS:记录当前系统中活动线程的信息 V$ wthrd_history :记录自系统启动以来所有活动过的线程的要历史 信息。 V$ process :记录服务器进程信息。 V$ SESSIONS:显示当前会话的具体信息
sql 优化
85%的操作都在做SQL优化。
Select * from v$sessions where state ’ACTIVE’;首先了解SQL执行过程
语法分析字典缓冲区语义分析字典缓冲区权限判断字典缓冲区是否存在执行计划SQL缓冲区,buffer
Select * from v$sessions where state’ACTIVE’; --全部解析
SELECT * FROM v$sessions WHERE state’ACTIVE’;
虽然功能一样但是当作不同SQL又解析一遍就很慢。如果SQL规范书写写出来像一个人写的。会提高效率。
执行SQL:结果缓冲到sql缓冲区sql缓冲区排序区哈希区buffer、日志缓冲区
Sql 编写规则 1、统一编写风格 Select * from test; SELECT * FROM TEST; SETECT * FROM test;
2、使用绑定变量 Select * from test where id? Select * from test where id2 … 10000
3、避免排序 sort索引来代替 . sort是在磁盘进行排序慢。
4、减少表的重复扫描。
5、用 exist 替代 in Select * from test.t1 where id in (1,3,5,7,8,9); --找到3后续所有数据再对比一遍。 Select * from test.t1 where id exist (1,3,5,7,8,9); --找到3后面就不找了逻辑标识就变成true表示找到了
6、避免普通索引列上有计算。 Select * from tab1 where c-1123; --索引失效 如果非要使用到函数用函数索引 Select * from tab1 where c1231;
7、避免隐式转换 Bri (date) bri’1990-01-01’; Bri to_date(‘1990-01-01,’yyyy-mm-dd’); to_date() to_number() to_char() To_date(bri) to_date
8、尽量避免使用 select *
9、多表连接的时候必须使用别名来引用列记录数大于 1000 万时关 联的大表尽量不超过 4 个。
10、嵌套循环连接查询需要注意地方 选择小表作为驱动表统计信息尽量准确保证优化器选对驱动表。适当 使用索引。
11、hash join 特点 Hash 连接比较消耗内存 Hj_buf_golbal_size hj_buf_size hj_blk_size.
12、对于大批量 dml 操作分段提交,防止大事务。
13、尽量使用缓存。 缓存/内存速度是磁盘速度的几百倍。所以又redis内存缓存数据库
14、Delete update 加 where。 Select ename from emp e where exists (select ‘x’ from dept where dept_noe.dept_no and dept_cat ’A’) Select ename from dept d, emp e where e.dept_no d.dept_no and dept_cat’A’
影响 SQL 执行计划的因素 参数配置、统计信息、数据分布、索引、选择率连接顺序、连接方式。 Cpu,内存数据类型、锁等待网络延迟结果集大小。
创建索引的原则 1、根据索引查询只返回很少一部分行 2、索引作为一个较瘦版本的表 3、组合索引列的顺序合理安排最优化把等值匹配的列放最前面范围 匹配的放在后面。把过滤性好的列放前面。查询时组合索引只能利用一个 非等值字段。 不走索引 1、条件列不是索引首列。 2、条件列上有函数或计算。 3、存在隐式类型转换。 4、如果走索引会更慢。 5、没有更新统计信息。
实例优化
1.操作系统 CPU决定计算速度 Cpu_speed 每一个操作符都是有代价的 关注oom内存溢出数据库实例进程会被杀。 I/o 调度算法
2.实例 数据库架构INI 参数 通常不要轻易修改dm.ini特别是没有依据的情况下。 新版本安装的时候会有性能最优参数数据库会自动修改平常再观察依据实际情况修改。
3.SQL优化 相关视图 V$ sessions v$ lock v$sql_history
开启 sql 日志 SVR_LOG
SP_SET_PARA_VALUES(1,’SVR_LOG’,1);关闭 sql 日志
Sp_set_para_values(1,’SVR_LOG’,0);使用 sql 日志的流程 —设置 SQL 过滤规则只记录必要的 SQL生产环境不要设成 1 – 2 只记录 DML 语句 –3 只记录 DDL 语句 –22 记录绑定参数的语句 – 25 记录 SQL 语句和它的执行时间 –28 记录 SQL 语句绑定的参数信息
SELECT SF_SET_SYSTEM_PARA_VALUE(SQL_TRACE_MASK,2:3:22:25:28, 0,1);–同步日志会严重影响系统效率生产环境必须设置为异步日志
SELECT SF_SET_SYSTEM_PARA_VALUE(SVR_LOG_ASYNC_FLUSH,1,0,1); –下面这个语句设置只记录执行时间超过 200ms 的语句
SELECT SF_SET_SYSTEM_PARA_VALUE(SVR_LOG_MIN_EXEC_TIME,200, 0,1);–下面的语句查看设置是否生效
SELECT * FROM V$DM_INI where para_nameSVR_LOG_ASYNC_FLUSH;
SELECT * FROM V$DM_INI where para_nameSQL_TRACE_MASK;
SELECT * FROM V$DM_INI where para_nameSVR_LOG_MIN_EXEC_TI
ME;达梦数据库配置了执行计划重用的参数use_pln_pool; 0禁止执行计划的重用 1启用执行计划的重用功能。 2对不包含显示参数的语句进行常量参数优化。 3即使包含显示参数的语句也进行常量参数优化。
Sql 性能分析工具ET
ET 是 DM 自带的分析工具能统计 SQL 每个操作符的时间花费从而定位 到有性能问题的操作指导用户去优化。 INI 参数 ENABLE_MONITOR1, MONITOR_SQL_EXEC1 时ET 才能使用。
–两个参数均为动态参数可直接调用系统函数进行修改
SP_SET_PARA_VALUE(1,ENABLE_MONITOR’,1)SP_SET_PARA_VALUE(1,MONITOR_SQL_EXEC’,1)–关闭 ET
SP_SET_PARA_VALUE(1,ENABLE_MONITOR,0);
SP_SET_PARA_VALUE(1,MONITOR_SQL_EXEC,0);ET 功能的开启将对数据库整体性能造成一定影响优化工作结束后尽量关闭该功能以提升数据库整体运行效率
查看方式
执行 SQL 语句后客户端会返回 SQL 语句的执行号。单击执行号即可查看 SQL 语句对应的 ET 结果 ET 结果说明比如时间开销时间长 以及 占比比较高的 可作为优化的重点对象
OP: 操作符 TIME(us): 时间开销单位为微秒 PERCENT: 执行时间占总时间百分比 RANK: 执行时间耗时排序 SEQ: 执行计划节点号 N_ENTER: 进入次数
awr 报告
数据库快照是一个只读的静态的数据库。DM 快照功能是基于数据库实现的每个快照是 基于数据库的只读镜像。通过检索快照可以获取源数据库在快照创建时间点的相关数据信 息。 为了方便管理自动工作集负载信息库 AWRAutomatic Workload Repository的 信息系统为其所有重要统计信息和负载信息执行一次快照并将这些快照存储在 AWR 中。 用 户 在 使 用 DBMS_WORKLOAD_REPOSITORY 包之 前 需 要 提 前 调 用系 统 过 程 SP_INIT_AWR_SYS(1)创建包包创建成功后就可以使用空间数据类型以及包提供的方法。 DM 数据库在创建该包时默认创建一个名为 SYSAUX 的表空间对应的数据文件为 SYSAWR.DBF该表空间用于存储该包生成快照的数据。如果该包被删除那么 SYSAUX 表 空间也对应地被删除。 SYS.WRM$ _WR_CONTROL 记录快照的相关控制信息。 Sys.wrm$ _snapshot 记录快照的相关信息
1、初始化 awr 快照包
SQLSP_INIT_AWR_SYS(1);2、设置时间
SQL call dbms_workload_repository.awr_set_interval(10);3、手动生成快照
SQL call dbms_workload_repository.create_snapshot();4、查询快照
SQL select * from sys.wrm$_snapshot;5、生成 awr 报告
SQL call sys.awr_report_html(1,4,/dm8,awr1.html);数据库负载 db_time/(elapsed *cpus) 80% , 说明存在性能问题我们需要分析 top 事件或 sql order by elapse time
NON_parse cpu:sql 实际运行时间/(sql 实际运行时间sql 解析时间。太低表示 sql 解析消耗时间过多。 Execute to parse:语句执行与分析比例。如果 sql 重用率高则这个比例高。相关的动态视图。 BUFFER HIT 90% 等待事件v$ system_event, v$ session_event, v$ event_name, v$ sessions; 内存v b u f f e r , v buffer, v buffer,v bufferpool, v$ pool , V$ mem_pool; v$ cachepln; 文章转载自： http://www.morning.tpxgm.cn.gov.cn.tpxgm.cn http://www.morning.ttryd.cn.gov.cn.ttryd.cn http://www.morning.jfmyt.cn.gov.cn.jfmyt.cn http://www.morning.wknbc.cn.gov.cn.wknbc.cn http://www.morning.lwtfx.cn.gov.cn.lwtfx.cn http://www.morning.qpzjh.cn.gov.cn.qpzjh.cn http://www.morning.nbgfz.cn.gov.cn.nbgfz.cn http://www.morning.kyflr.cn.gov.cn.kyflr.cn http://www.morning.ftgwj.cn.gov.cn.ftgwj.cn http://www.morning.xwqxz.cn.gov.cn.xwqxz.cn http://www.morning.shprz.cn.gov.cn.shprz.cn http://www.morning.kzbpx.cn.gov.cn.kzbpx.cn http://www.morning.dqxph.cn.gov.cn.dqxph.cn http://www.morning.wpkr.cn.gov.cn.wpkr.cn http://www.morning.crfyr.cn.gov.cn.crfyr.cn http://www.morning.sphft.cn.gov.cn.sphft.cn http://www.morning.yhywr.cn.gov.cn.yhywr.cn http://www.morning.ysmw.cn.gov.cn.ysmw.cn http://www.morning.wdprz.cn.gov.cn.wdprz.cn http://www.morning.qfwzm.cn.gov.cn.qfwzm.cn http://www.morning.ryfpx.cn.gov.cn.ryfpx.cn http://www.morning.gnbtp.cn.gov.cn.gnbtp.cn http://www.morning.yskhj.cn.gov.cn.yskhj.cn http://www.morning.ndcjq.cn.gov.cn.ndcjq.cn http://www.morning.knrgb.cn.gov.cn.knrgb.cn http://www.morning.qrcsb.cn.gov.cn.qrcsb.cn http://www.morning.jcffp.cn.gov.cn.jcffp.cn http://www.morning.gyxwh.cn.gov.cn.gyxwh.cn http://www.morning.plhhd.cn.gov.cn.plhhd.cn http://www.morning.tsdjj.cn.gov.cn.tsdjj.cn http://www.morning.pphgl.cn.gov.cn.pphgl.cn http://www.morning.mnjwj.cn.gov.cn.mnjwj.cn http://www.morning.lwgrf.cn.gov.cn.lwgrf.cn http://www.morning.mnmrx.cn.gov.cn.mnmrx.cn http://www.morning.cmzcp.cn.gov.cn.cmzcp.cn http://www.morning.slwqt.cn.gov.cn.slwqt.cn http://www.morning.nfyc.cn.gov.cn.nfyc.cn http://www.morning.fmkjx.cn.gov.cn.fmkjx.cn http://www.morning.zhqfn.cn.gov.cn.zhqfn.cn http://www.morning.qyqmj.cn.gov.cn.qyqmj.cn http://www.morning.gqcd.cn.gov.cn.gqcd.cn http://www.morning.lzzqz.cn.gov.cn.lzzqz.cn http://www.morning.tnwgc.cn.gov.cn.tnwgc.cn http://www.morning.dmhs.cn.gov.cn.dmhs.cn http://www.morning.lqws.cn.gov.cn.lqws.cn http://www.morning.shprz.cn.gov.cn.shprz.cn http://www.morning.pmxw.cn.gov.cn.pmxw.cn http://www.morning.dmchips.com.gov.cn.dmchips.com http://www.morning.mttqp.cn.gov.cn.mttqp.cn http://www.morning.nydgg.cn.gov.cn.nydgg.cn http://www.morning.chjnb.cn.gov.cn.chjnb.cn http://www.morning.dlmqn.cn.gov.cn.dlmqn.cn http://www.morning.nzzws.cn.gov.cn.nzzws.cn http://www.morning.cnxpm.cn.gov.cn.cnxpm.cn http://www.morning.gglhj.cn.gov.cn.gglhj.cn http://www.morning.klzdy.cn.gov.cn.klzdy.cn http://www.morning.ryrpq.cn.gov.cn.ryrpq.cn http://www.morning.zpxwg.cn.gov.cn.zpxwg.cn http://www.morning.mjjty.cn.gov.cn.mjjty.cn http://www.morning.mbdbe.cn.gov.cn.mbdbe.cn http://www.morning.fdjwl.cn.gov.cn.fdjwl.cn http://www.morning.rkdw.cn.gov.cn.rkdw.cn http://www.morning.xlyt.cn.gov.cn.xlyt.cn http://www.morning.ftlgy.cn.gov.cn.ftlgy.cn http://www.morning.qfgxk.cn.gov.cn.qfgxk.cn http://www.morning.27asw.cn.gov.cn.27asw.cn http://www.morning.glkhx.cn.gov.cn.glkhx.cn http://www.morning.gryzk.cn.gov.cn.gryzk.cn http://www.morning.glxmf.cn.gov.cn.glxmf.cn http://www.morning.sqyjh.cn.gov.cn.sqyjh.cn http://www.morning.mjpgl.cn.gov.cn.mjpgl.cn http://www.morning.ckhry.cn.gov.cn.ckhry.cn http://www.morning.mxnrl.cn.gov.cn.mxnrl.cn http://www.morning.lsnbx.cn.gov.cn.lsnbx.cn http://www.morning.jbxd.cn.gov.cn.jbxd.cn http://www.morning.xwqxz.cn.gov.cn.xwqxz.cn http://www.morning.fjscr.cn.gov.cn.fjscr.cn http://www.morning.zcfmb.cn.gov.cn.zcfmb.cn http://www.morning.21r000.cn.gov.cn.21r000.cn http://www.morning.tbplf.cn.gov.cn.tbplf.cn
