NC双数据源引擎NC技术支持部:郝锁军haosj日期:2013-08-01主题OLTP和OLAP型数据数据库什么是双数据源引擎利用物化视图实现双数据源利用灾备软件实现双数据源案例OLTP和OLAP型数据数据库联机事务处理OLTP（on-linetransactionprocessing）主要是执行基本的、日常的事务处理.比如在银行存取一笔款，就是一个事务交易。OLTP的特点一般有:1.实时性要求高；2.数据量不是很大；3.交易一般是确定的，；4.并发性要求高并且严格的要求事务的完整、安全性。OLTP和OLAP型数据数据库联机分析处理OLAP（On-LineAnalyticalProcessing）是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态报表系统。OLAP的特点一般有：1.实时性要求不是很高，很多应用顶多是每天更新一下数据；2.数据量大，因为OLAP支持的是动态查询，所以用户也许要通过将很多数据的统计后才能得到想要知道的信息，例如时间序列分析等等，所以处理的数据量很大；3.因为重点在于决策支持，所以查询一般是动态的，也就是说允许用户随时提出查询的要求。于是在OLAP中通过一个重要概念“维”来搭建一个动态查询的平台（或技术），供用户自己去决定需要知道什么信息。OLTP和OLAP型数据数据库两者的区别OLTPOLAP用户操作人员、低级管理人员决策人员、高级管功能日常操作处理分析决策DB设计面向应用面向主题数据当前的,最新细节的,二维历史的,聚集的存取读/写数十条记录读上百万条记录工作单位简单的事务复杂的查询用户数上千个上百个DB大小GBTBOLTP和OLAP型数据数据库NC业务具有特殊性：•业务包含典型的OLTP业务：如财务凭证单据录入，供应链单据录入；•也包含比较典型的OLAP业务：如汇总报表查询、自定义查询；大计算大事务的业务如月末结帐、成本计算、报表计算等。•对于大数据量或复杂业务的查询(即OLAP业务),对内存、CPU、IO的消耗会很多，造成典型的OLTP业务运行也很慢，如本来一张凭证保存很快，但是，如果有用户在做复杂的自定义查询,该凭证的保存速度会很慢。OLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：1）NC系统出现异常缓慢，业务基本无法进行；通过nmc可以看到当前系统有很多长时间的线程在执行当中，执行耗时都较长；可以发现线程基本上都是查询引擎的自定义查询报表：OLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：2）利用top可以看到磁盘I/O高达100%（hdisk4为数据pdisk）OLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：3）iostat210OLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：4）可以看到后来数据库有大量的自定义查询的sqlOLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：5）可以看到除了查询引擎以外还有二次开发写的订单视图，逻辑读和物理读非常高；OLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：6）利用查看进程排列，nmon–》t（cpu）OLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：7）nmon---–》t---》5：按I/O排序OLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：8）nmonOLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：9）利用如下的语句查看对应I/O排在前面进程对应的sqlselectc.addr,c.INST_ID,a.SQL_TEXT,a.SQL_ID,v.SID,v.EVENTfromgv$processc,gv$sessionv,gv$sqltextawherec.ADDR=v.PADDRanda.HASH_VALUE=v.SQL_HASH_VALUEanda.ADDRESS=v.SQL_ADDRESSandc.spid='1511462';OLTP和OLAP型数据数据库查询引擎报表过多执行导致的性能问题：10）接近中午查询引擎等的大部分业务退掉以后得情况什么是双数据源引擎NC中OLAP业务导致的问题：在NC的自定义查询中会用到很多基本表，由于自定义查询嵌套的表层次较多，用到临时表等，再加上数据量大，因此，查询很慢，影响NC简单业务的正常运行；双数据源引擎：在另外一个数据库上同步生产数据库的数据，在NC中创建一个新的数据源，指向这个备库。这使在做自定义查询时,对数据库的压力转移到另外一台数据库服务什么是双数据源引擎双数据源引擎的实现方式利用物化视图方式：在另外一个数据库上创建基表的物化视图利用灾备软件：GoldenGate、SharePlex、DSG利用物化视图实现双数据源将基表数据同步到另外一个数据库上物化视图中物化视图在某种意义上说是一种特殊的物理表物化视图可以用于预先计算并保存表连接或聚集等耗时较多的操作的结果可以避免进行这些耗时的操作,而从快速地得到结果，降低数据库利用物化视图实现双数据源物化视图实现双数据源引擎的步骤1）数据库上的设置：确认复制库安装在存储上确定需要复制的表建立datalink生产库上建立MVLOG物化试图日志复制库上建立MV物化试图复制库上建立刷新组和任务从生产库上导出索引的DDL语句,然后在复制库上执行更新备库统计信息并建立统计分析任务利用物化视图实现双数据源物化视图实现双数据源引擎的步骤2）NC-ERP上的设置：增加连接到复制库上的数据源设置查询引擎的数据源在自定义查询报表中切换数据源到复制库切换完数据源后报表查询查询引擎管理注册节点更改利用物化视图实现双数据源物化视图实现双数据源引擎的步骤3）物化视图的维护：更改刷新时间：登录到PLSQL,找到刷新组job，右键编辑(EDIT)如:/*10:Mins*/sysdate+10/(60*24)表示10分钟执行一次.将10更改为2,则为2分钟执行一次.查看有多少个复制任务组selectrname,job,next_date,interval,brokenfromall_refreshwhererowner='NC';查看复制任务组的子任务SELECTname,type,rname,job,next_date,interval,brokenFROMALL_REFRESH_CHILDRENWHEREOWNER='NC';删除一个复制任务组EXECUTEDBMS_REFRESH.DESTROY(NAME=>‘JBLJOB’);/commit;利用物化视图实现双数据源物化视图实现双数据源引擎的步骤3）物化视图的维护：删除复制组中的一个子任务BEGINDBMS_REFRESH.SUBTRACT(name=>'JBLJOB’',list=>'bd_corp',lax=>TRUE);END;/commit;查看各个物化视图的复制情况selectmview_name,last_refresh_datefromdba_mviewswhereowner='NC'orderbylast_refresh_datedesc;查看物化视图LOG【在生产库上执行】select*fromdba_mview_logs;利用物化视图实现双数据源物化视图实现双数据源引擎的步骤3）物化视图的维护：删除一个物化视图DropMATERIALIZEDVIEWviewname;删除一个物化视图LOGDropMATERIALIZEDVIEWLOGon“viewlogname”；利用灾备软件实现双数据源GoldenGate是什么:GoldenGate提供异构环境下交易数据的实时捕捉、变换、投递，主要是支持异构数据库环境下的变化数据同步。TDM具有:实时性秒一级延迟异构环境支持在不同平台和数据库环境下复制数据以交易为单位复制维护交易一致性特性:高性能能够以低资源消耗完成每秒数千交易的复制可扩展开放的结构使客户适应各种异构数据平台可靠保证数据的连续可用利用灾备软件实现双数据源GoldenGateTDM工作原理网络源数据库目的数据库双向复制队列文件:暂存数据变化.传输:数据经过压缩和加密传送到目的地.Capture:实时读取交易日志捕捉数据变化并可实现过滤.Delivery:执行所需的数据变化，然后将数据变化提交到目的库.CaptureSourceTrailTargetTrailSourceTrailTargetTrailDeliveryDeliveryCapture利用灾备软件实现双数据源GoldenGateTDM工作原理实现:将实时报表从主系统剥离，可根据客户需求定制显著提高主系统性能用途:实时报表提高系统性能和可用性利用灾备软件实现双数据源灾备软件实现双数据源引擎的步骤：1）数据库上的设置：源端安装及配置配置源端GoldenGate进程组目标端安装及配置配置目标端GoldenGate进程组初始化同步数据测试利用物化视图实现双数据源物化视图实现双数据源引擎的步骤2）NC-ERP上的设置：参考上面；3）GoldenGate维护；案例双引擎实际项目的应用贝因美、恒安：物化视图巨石：DSG参考文档：《NC数据双引擎方案.doc》《Oracle_GoldenGate_Config_Vhaosj.docx》
