郜耿志用友软件股份有限公司2013年8月效率优化-数据卸载YonyouSoftwareCo.,Ltd.目录一、数据卸载原理和方案二、卸载前的准备工作三、卸载后的优化工作四、效率比对文档YonyouSoftwareCo.,Ltd.2.1卸载框架按照会计年度卸载历史数据，提升系统效率。数据卸载解决方案YonyouSoftwareCo.,Ltd.2.2卸载原理将卸载年度的数据结存结转到第二年的期初数据上，以保证业务数据的正确性。2.3卸载步骤（1）备份一套正式环境以备查帐（2）在正式环境中做历史数据卸载，只保留最近几年的数据（3）支持按照公司进行模块卸载数据卸载解决方案YonyouSoftwareCo.,Ltd.目录一、数据卸载原理和方案二、卸载前的准备工作三、卸载后的优化工作四、效率比对文档YonyouSoftwareCo.,Ltd.卸载前的准备工作--事件及目的调整日志级别：目的：收集远程调用及SQL日志，以便同卸载后做对比，生成对比报告收集NMON信息：目的：收集CPU、IO等数据，以便同卸载后做对比，生成对比报告清理垃圾数据（dr=1）：目的：清理垃圾数据，减少数据量，以便数据卸载更快YonyouSoftwareCo.,Ltd.卸载前的准备工作--日志级别调整调整日志级别1、msql-log、mwsummary-log日志设置成Debug模式2、将上面两个日志大小调整为10M3、上面两个日志文件个数调整到100个调整原则：以可以保存一天的日志为基本准则YonyouSoftwareCo.,Ltd.调整方法1、打开ncSysConfig或者wasSysConfig2、点击log标签页，选中需要调整的日志项，双击滚动策略3、根据需要调整日志文件的大小及个数卸载前的准备工作--日志级别调整YonyouSoftwareCo.,Ltd.卸载前的准备工作--收集NMON信息NMON分析AIX和Linux性能的免费工具NMON工具可以为AIX和Linux性能专家提供监视和分析性能数据的功能，其中包括：CPU使用率内存使用情况内核统计信息和运行队列信息磁盘I/O速度、传输和读/写比率文件系统中的可用空间磁盘适配器页面空间和页面速度CPU和AIX规范消耗资源最多的进程IBMHTTPWeb缓存用户自定义的磁盘组计算机详细信息和资源……YonyouSoftwareCo.,Ltd.卸载前的准备工作--收集NMON信息安装NMON1）用root用户登录到系统中,建目录：#mkdir/test；2）把nmon用ftp或者通过其他介质拷贝到/test目录中；3）执行授权命令：#chmod+xnmon。配置NMON：为了实时监控系统在一段时间内的使用情况并将结果记录下来，我们可以通过运行以下命令实现：#./nmon-f-t-s120-c720n-f：按标准格式输出文件：_YYYYMMDD_HHMM.nmon；n-t：输出中包括占用率较高的进程；n-s120：每120秒进行一次数据采集n-c720：一共采集720次YonyouSoftwareCo.,Ltd.卸载前的准备工作--垃圾数据清理垃圾数据清理<红色标注出的为表名>DECLARECURSORc1ISSELECT/*+parallel(gl_detail)*/ROWIDrow_idFROMgl_detailWHEREdr=1orderbyrowid;c_commitCONSTANTPLS_INTEGER:=10000;BEGINFORc1recINc1LOOPDELETEFROMgl_detailWHEREROWID=c1rec.row_id;IF(MOD(c1%ROWCOUNT,c_commit)=0)THENCOMMIT;ENDIF;ENDLOOP;COMMIT;END;YonyouSoftwareCo.,Ltd.目录一、数据卸载原理和方案二、卸载前的准备工作三、卸载后的优化工作四、效率比对文档YonyouSoftwareCo.,Ltd.卸载后的优化工作--move表和索引重建Move表语法：altertablemove作用：降低高水位线、释放空间重建索引Alterindexxxxrebuild作用降低索引碎片重新收集统计信息注：对表进行move操作后，该表的索引会失效，必须rebuildYonyouSoftwareCo.,Ltd.卸载后的优化工作--其他优化SQL优化单个SQL优化分区表对大表进行分区（NC系统多数以PK_CORP作为分区列）工具AWR：查看AWR报告中的TOP10SQLNMC快照查看超过默认（180S）的SQL及线程YonyouSoftwareCo.,Ltd.目录一、数据卸载原理和方案二、卸载前的准备工作三、卸载后的优化工作四、效率比对工作YonyouSoftwareCo.,Ltd.效率比对工作1、分析nmon日志2、nmc多任务导入NC日志到Oracle3、分析NC日志4、生成对比图5、整体比对描述YonyouSoftwareCo.,Ltd.效率比对工作--分析NMON日志从服务器上下载生成好的.nmon日志文件使用nmonanalyser软件装载生成好的.nmon日志文件（如图所示）YonyouSoftwareCo.,Ltd.效率比对工作--分析NMON日志YonyouSoftwareCo.,Ltd.效率比对工作1、分析nmon日志2、nmc多任务导入NC日志到Oracle3、分析NC日志4、生成对比图5、整体比对描述YonyouSoftwareCo.,Ltd.效率比对工作--NMC多任务导入OracleNMC使用Oracle1、拷贝logdb_ora.xml，替换掉logdb.xml2、拷贝Oracle驱动包到lib文件夹下3、编辑MonitorConsole.cmd文件，添加红色标注出的Oracle驱动的路径YonyouSoftwareCo.,Ltd.效率比对工作--NMC多任务导入OracleYonyouSoftwareCo.,Ltd.效率比对工作--NMC多任务导入Oracle多任务同时导入Oracle1、在Oracle数据库中创建多个User，个数以Server个数为准，每个Server对应一个User2、复制跟Server个数相同的nmcClient个数，修改%nmc_home%\client\conf\resource\logdb.xml文件、修改对应的用户名3、同时启动多个nmcClient客户端开始导入对应Server的日志YonyouSoftwareCo.,Ltd.效率比对工作--NMC多任务导入Oracle多任务同时导入Oracle4、成功导入后，将多个User数据进行合并insertintosummaryselect/*+append*/*fromnc9.summary;5、删除不用的用户YonyouSoftwareCo.,Ltd.效率比对工作1、分析nmon日志2、nmc多任务导入NC日志到Oracle3、分析NC日志4、生成对比图5、整体比对描述YonyouSoftwareCo.,Ltd.效率比对工作--日志分析对比维度1、整体对比2、数据库对比3、抛去缓存线程后整体对比4、抛去缓存线程后数据库对比YonyouSoftwareCo.,Ltd.效率比对工作--日志分析查询全天执行任务数量：<9:00-18:00>selectcount(*)fromsummarywherebegintime>'2013-05-0809:00:00'andbegintime<'2013-05-0818:00:00';查询全天执行任务从数据库读取记录数：<9:00-18:00>selectsum(readrownum)fromsummarywherebegintime>'2013-05-0809:00:00‘andbegintime<'2013-05-0818:00:00';YonyouSoftwareCo.,Ltd.效率比对工作--日志分析查询全天执行业务数量：<9:00-18:00>selectcount(*)fromsummaryswheres.remotecallmethod!='nc.bs.dbcache.intf.IDBCacheBS.getColumnsValues'ands.remotecallmethod!='nc.bs.dbcache.intf.IDBCacheBS.runSQLQuery'ands.remotecallmethod!='nc.bs.dbcache.intf.ICacheVersionBS.getOutDateVersions'andbegintime>'2013-05-0809:00:00'andbegintime<'2013-05-0818:00:00';YonyouSoftwareCo.,Ltd.效率比对工作--日志分析查询全天任务执行耗时总数：<9:00-18:00>selectsum(costtime)fromsummarywherebegintime>'2013-05-0809:00:00'andbegintime<'2013-05-0818:00:00';查询全天任务执行SQL耗时总数：<9:00-18:00>selectsum(sqlcosttime)fromsummarywherebegintime>'2013-05-0809:00:00'andbegintime<'2013-05-0818:00:00';YonyouSoftwareCo.,Ltd.效率比对工作--日志分析查询全天业务执行SQL耗时总数：<9:00-18:00>selectsum(sqlcosttime)fromsummaryswheres.remotecallmethod!='nc.bs.dbcache.intf.IDBCacheBS.getColumnsValues'ands.remotecallmethod!='nc.bs.dbcache.intf.IDBCacheBS.runSQLQuery'ands.remotecallmethod!='nc.bs.dbcache.intf.ICacheVersionBS.getOutDateVersions'andbegintime>'2013-05-0809:00:00'andbegintime<'2013-05-0818:00:00';YonyouSoftwareCo.,Ltd.效率比对工作1、分析nmon日志2、nmc多任务导入NC日志到Oracle3、分析NC日志4、生成对比图5、整体比对描述YonyouSoftwareCo.,Ltd.月结效率比对图--CPU使用率全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)2013-5-86676812013-6-85958732013-6-28536461性能提升25%19%33%515253545556575853%8%13%18%23%28%33%提升25%提升19%提升33%CPU使用率2013-5-82013-6-82013-6-28性能提升CPU使用率提升百分比YonyouSoftwareCo.,Ltd.全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)2013-5-81784251121792013-6-81303117113752013-6-2890310681106性能提升98%135%97%250750125017502250275010%30%50%70%90%110%130%150%提升98%提升135%提升97%IOPS2013-5-82013-6-82013-6-28性能提升次数提升百分比月结效率比对图--IOPSYonyouSoftwareCo.,Ltd.全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)2013-5-89768425782769156065159515892013-6-86308519861541560953310440942013-6-28521360873154332741256746970性能提升87%79%101%100000000300000000500000000700000000900000000110000000010%30%50%70%90%110%提升87%提升79%提升101%总耗时(ms)2013-5-82013-6-82013-6-28性能提升耗时(ms)提升百分比月结效率比对图--总耗时YonyouSoftwareCo.,Ltd.全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)2013-5-87653423772214350294043706602013-6-85172063271231214082726586812013-6-28400842385116327525199629720性能提升91%90%103%5000000015000000025000000035000000045000000055000000065000000075000000085000000085%87%89%91%93%95%97%99%101%103%提升91%提升90%提升103%SQL耗时(ms)2013-5-82013-6-82013-6-28性能提升耗时(ms)提升百分比月结效率比对图--SQL耗时YonyouSoftwareCo.,Ltd.全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)全天(9:00-18:00)上午(9:30-11:30)下午(14:30-18:00)2013-5-87565954242189063663998683912013-6-84891204671131327102612306512013-6-28391496811113731199194781339性能提升93%92%105%5000000015000000025000000035000000045000000055000000065000000075000000088%93%98%103%108%提升93%提升92%提升105%业务SQL耗时(ms)2013-5-82013-6-82013-6-28性能提升AxisTitle耗时(ms)提升百分比月结效率比对图--业务SQL耗时YonyouSoftwareCo.,Ltd.效率比对工作1、分析nmon日志2、nmc多任务导入NC日志到Oracle3、分析NC日志4、生成对比图5、整体比对描述YonyouSoftwareCo.,Ltd.效率比对工作--整体比对描述从四方面进行整体描述<对比卸载前和卸载后>应用服务器数据库服务器后台任务耗时用户体验
