NMC使用手册NCV5.docVIP免费

NMC智能监控目录第一部分:开始使用NMC........................................................................................................7第一章：概述......................................................................................................................7名词解释..............................................................................................8技术架构..............................................................................................9监控服务之间的关系.........................................................................10核心特性............................................................................................10带来的好处........................................................................................11基于NMC的插件开发.......................................................................11第二章：部署和使用........................................................................................................11单机的部署........................................................................................11集群的部署........................................................................................12WAS启用安全管理............................................................................12服务器端主要的配置文件.................................................................13服务器端部署的几个注意事项.........................................................14NMC客户端的获取............................................................................15启动客户端........................................................................................16客户端使用的几种模式.....................................................................16利用邮件传输协议进行远程监控.....................................................17客户端主要的配置文件.....................................................................18第二部分:实时监控..............................................................................................................19概述....................................................................................................................................19第三章：OverView............................................................................................................21功能概述............................................................................................21参数....................................................................................................21详细功能介绍....................................................................................21第四章：进程监控............................................................................................................22功能概述............................................................................................23参数....................................................................................................23详细功能介绍....................................................................................25第五章：线程监控............................................................................................................30功能概述............................................................................................30参数....................................................................................................30详细功能介绍....................................................................................31第六章：数据库监控........................................................................................................37功能概述............................................................................................37参数....................................................................................................37详细功能介绍....................................................................................39第七章：客户端监控........................................................................................................41功能概述............................................................................................42参数....................................................................................................42NC系统的配置...................................................................................43详细功能介绍....................................................................................44第八章：CPU.....................................................................................................................47功能概述............................................................................................47参数....................................................................................................47详细功能介绍....................................................................................48第九章：内存监控............................................................................................................49功能概述............................................................................................49参数....................................................................................................49详细功能介绍....................................................................................50第十章:最佳实践..............................................................................................................51第三部分:离线分析..............................................................................................................53概述....................................................................................................................................53第十一章：消息中心........................................................................................................54功能概述............................................................................................54参数....................................................................................................55详细功能介绍....................................................................................57第十二章：日志抽取........................................................................................................65功能概述............................................................................................65参数....................................................................................................65详细功能介绍....................................................................................66第十三章：日志录制........................................................................................................71功能概述............................................................................................71参数....................................................................................................72详细功能介绍....................................................................................72第十四章：日志分析........................................................................................................74功能概述............................................................................................75参数....................................................................................................75详细功能介绍....................................................................................75第十五章：最佳实践........................................................................................................79第四部分:集群管理..............................................................................................................81概述....................................................................................................................................81第十六章：安全设置........................................................................................................82功能概述............................................................................................82参数....................................................................................................82详细功能介绍....................................................................................82第十七章：进程管理........................................................................................................83功能概述............................................................................................83参数....................................................................................................83详细功能介绍....................................................................................83第十八章：参数设置........................................................................................................84功能概述............................................................................................84参数....................................................................................................84详细功能介绍....................................................................................84第十九章：补丁管理........................................................................................................85功能概述............................................................................................85参数....................................................................................................86详细功能介绍....................................................................................86第二十章：最佳实践：....................................................................................................92第一部分:开始使用NMC第一章：概述要保障规模不断扩大的应用并保障稳定高效，服务器集群和负载均衡是必由之路，开始集群站点在个数位时可以人工进行管理，但当站点变成几十、几百时，靠人工来管理和维护无疑成为灾难，于是自动化、智能型、可视化的主动监控系统-NMC应运而生。NMC是先进的性能监控、性能分析、系统管理平台。NMC将极大地提高性能监控、性能分析、系统管理的深度和效率，从而获得更好的服务质量和客户满意度。对于大规模的复杂的IT系统，NMC将变得不可或缺。在监控方面，它融入了先进的性能监控思想，比如分布式监控服务、多层穿透、信息采集和分析分离、事件驱动的快照机制等，监控的对象覆盖了NC性能关注的所有方面，包括数据库，中间件，客户端等等。在性能分析方面，它具有强大的日志抽取、分析能力，提供了丰富的图表展现功能，可以对NC、JVM、线程、快照、CPU、内存，客户端，在线用户等日志进行抽取和分析，同时预置了大量的分析模型。在系统管理方面，它采用了主动发现主动管理的思想，可以在中间件出现故障时主动管理，从而提高系统可靠性；集成的补丁管理工具可以帮助管理员对补丁进程快速部署和回滚，极大提高集群环境下补丁管理的效率。名词解释监控域:一个服务中心和一组受管于这个服务中心的监控实例的集合。这些监控实例可以分布在多个物理服务器上。监控实例由一组监控服务组成。在一个监控域中，所有的监控实例管理的监控服务都将其监控资源通过服务管理器向服务中心注册，监控服务资源由服务中心统一对外发布。服务中心(ServiceCenter):一个监控域的核心管理进程，用于注册监控域内所有的服务资源，同时提供服务启动控制、访问日志、服务请求路由、安全检查、动态参数刷新功能。一个监控域内有且只有一个服务中心，所有的监控实例必须设置服务中心服务器。监控客户端只需要连接服务中心服务器即可访问整个监控域的服务资源。监控域和服务中心关系如图1-1：图1-1监控域-服务中心的关系消息：监控服务产生的警告。消息可以驱动生成快照。比如，线程监控发现某个任务执行时间超过3分钟，于是产生一条消息。这条消息驱动生成了中间件和数据库的快照。快照：对系统运行时生成的详细的运行态信息。这些信息用于帮助具体地定位问题。比如中间件的线程详细堆栈，SQL堆栈。数据库的执行计划等。快照消息绑定。技术架构图1-2NMC技术架构NMC客户端是集成的监控UI，是基于插件的UI框架；客户端通过多种协议与服务中心通信，包括HTTP(s)，Email，JMS；服务中心接到客户端请求后，服务中心管理器通过服务定位器对服务进行定位，将请求的服务资源将请求路由到相应的监控进程；监控进程将请求转交给服务管理器，通过服务管理器将请求转交给具体的服务实例处理；一个监控域中可以有一个或者多个监控实例。监控服务之间的关系图1-3监控服务的关系NMC一个很重要的优势就是服务之间可以相互穿透，比如进程到线程再到数据库信息的穿透、客户端到线程信息的穿透。在多层架构的系统中，这种层与层之间的监控信息的穿透可以帮助你更加系统地，精确地分析问题。监控服务都会生成日志和产生消息，这些日志和消息可以进一步成为日志分析的数据来源。核心特性集成的性能监控、问题分析、系统管理的平台；提供HTTP、Email、OFFLine等多种连接或者使用模式；支持多个监控域。每个监控域支持多个服务器、多种类型的监控服务；从客户端到中间件，数据库的无缝的全面的监控体系；支持中间件层和数据库层信息的相互穿透；支持客户端日志和服务器端日志的相互穿透；提供强大的中间件进程级的监控和管理功能；提供细粒度的线程监控功能；提供了强大灵活的日志抽取和分析功能；提供了一种事件驱动的进行主动监控主动管理的功能；集成了补丁管理的功能；实现了监控服务的安全和监控目标安全的隔离。带来的好处可获得对系统的高度洞察力。使用NMC的实时监控可以获得实时掌握系统的运行状态，无论是系统概要的层面还是细粒度的线程层面，都一览无余。对日志和消息的分析可以评估系统整体运行状态、预测风险。快速发现和定位问题。无论通过实时监控还是离线分析，都可以快速发现定位性能问题。相对于传统的监控工具，NMC可以更加快速地帮助你定位性能问题。提高系统可用性。进程监控服务提供的主动管理，故障自动回复的功能可提高系统的可用性。即，当进程监控服务检测到中间件不响应时自动将其重启，或者将备份的服务器加入到集群，从而实现系统的高可用性。简洁高效的工作流。比如日志录制提供了响应终端用户的服务工作流，补丁挂你和进程定时重启提供了补丁维护的工作流。管理变得简单。系统管理员可以彻底地从补丁管理和中间件管理中解脱出来，把精力放到更加重要的事情上去。基于NMC的插件开发NMC无论是服务器端还是客户端都采用支持插件的架构，无论是已有的监控服务还是新开发的监控服务很容易打包成NMC的服务，进而集成到NMC。图1-4开发NMC插件第二章：部署和使用单机的部署单机只需要启动单个NMCserver即可，此时，这个NMCserver同时充当服务中心和监控服务器。启动方法：Cd%NCHOME%/NMC/server./startmonitor.bat(%NCHOME%特指NC实际安装路径的变量。主要以windows平台作为示例。)集群的部署集群环境即需要监控多个服务器目标，需要在每个物理服务器上启动一个NMCserver。具体步骤如下：在每个节点上指定服务中心地址。可以通过configure.bat命令，也可以直接修改./conf/service.xml中servicecenter部分来实现。图2-1配置服务中心先启动服务中心服务器启动节点服务器特别注意：如果重启服务中心服务器，则节点服务器必须重启！WAS启用安全管理WAS启用安全管理时，NMC如果要对WAS进行管理(比如启动，停止)，需要一些特殊配置。以下通过一个实际的例子来说明:WASHome：/u01/IBM/WEBSphere/AppServerWAS安全管理用户名/密码：root/rootroot具体步骤如下：createtrustkeystore一定要用WAS带的keytool。导出证书：WAS_home/java/bin下执行以下命令：keytool-export-v-keystore/u01/IBM/WEBSphere/AppServer/profiles/Dmgr01/config/cells/ncprd01Cell01/key.p12-storepassWEBAS-storetypePKCS12-aliasdefault-file/nchome/NMC/server/ibm.cer导入证书：在WAS_home/java/bin下执行以下命令：keytool-import-v-noprompt-keystore/nchome/NMC/server/WASkeystore-storepassrootroot-file/yc57gold/NMC/server/ibm.cer-aliasufida.cer–trustcacerts修改monitor.properties配置文件，添加如下参数：adminusername=rootadminpassword=rootrootjavax.net.ssl.trustStore=/nchome/NMC/server/WASkeystorejavax.net.ssl.trustStorePassword=rootroot修改startmonitor0.sh(bat)，用WAS的JDK启动；exportJAVA_HOME=/u01/IBM/WEBSphere/AppServer/java启动NMC一定要使用startmonitor0.sh(bat)命令启动服务；服务器端主要的配置文件./conf/service.xml服务实例和服务中心的配置文件，是核心配置文件，主要可进行如下配置：服务中心地址每个服务的属性是否启动；是否域内单例；是否生成消息；对于消息的处理方式（快照或者警告）。./conf/monitor.properties各种监控服务的参数的配置文件，是一个核心的配置文件,可以通过如下方式修改：直接编辑文件；通过configure.bat来修改；NMC客户端的参数配置，这种方式直接生效不需要重启实例。./conf/monitor-log.properties日志配置文件。可以通过直接修改文件，修改后必须重启实例才能生效。./conf/mail.properties邮件服务器配置文件。邮件服务器主要用于消息中心和通过邮件方式访问监控服务（见通过邮件访问监控服务部分），可以通过直接修改配置文件或者configure.bat。图2-2配置邮件服务器服务器端部署的几个注意事项对中间件和数据库的监控依赖于%NCHOME%/ierp/bin/prop.xml文件，为了部署方便，建议将监控服务和NC中间件代码部署在一个服务器上。如果要单独部署，需要在monitor.properites中指定prop.xml。如果在WAS管理控制台中更改了单个Server或者集群中某个成员Server的端口，一定要在NC的prop.xml文件中修改该对应的端口，要保证prop.xml和真实环境信息的一致性。Linux/UNIX环境特别注意要将NMC/server/bin和NMC/server/目录下的文件赋予可执行权限。把任务放到后台执行(nohup)。JRE_HOME要设置为JDK1.5或者以上的版本。修改NMC端口需要修改NMC/server/conf/server.conf，NMC/server/conf/services.xml，%NCHOME%/resource/monitor.properties三个文件。如果是数据库是RAC环境，需要在prop.xml文件中将数据源拆分成两个针对单个实例的数据源,这样可以保证做快照和数据库检查的性能，可以单独提供一个prop.xml用于NMC。比如：<databaseUrl>jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=10.12.167.11)(PORT=1521))(ADDRESS=(PROTOCOL=TCP)(HOST=10.12.167.12)(PORT=1521))(LOAD_BALANCE=yes)(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=ncdata)))</databaseUrl>改成以下两个数据源:<dataSource><dataSourceName>dbsource11</dataSourceName>……..<databaseUrl>jdbc:oracle:thin:@10.12.167.11:1521:ncdata</dataDbaseUrl>…....</dataSource><dataSource><dataSourceName>dbsource12</dataSourceName>………<databaseUrl>jdbc:oracle:thin:@10.12.167.11:1521:ncdata</dataDbaseUrl>………….</dataSource>NMC客户端的获取客户端可以用以下两种方式获得：直接使用%NCHOME%/NMC/client；或者从服务器上下载一个最新的客户端。下载地址为http://{servicecenterhost}:{port}/NMC/client.exe比如：http://192.168.8.112:9999/NMC/client.exe启动客户端设置JAVA_HOME进入客户端目录，执行monitorconsole.bat。图2-2NMC客户端登录对话框客户端使用的几种模式HTTP(默认)：使用HTTP传输协议访问监控服务。EMAIL:使用邮件传输协议来访问监控服务。主要用于无法通过HTTP协议访问远程监控服务器的情况。这种传输方式提供了更灵活的接入方式。OFFLINE:脱机模式。主要用于基于消息和日志的分析。利用邮件传输协议进行远程监控利用邮件传输协议进行远程监控是一种非常灵活的连接方式。只要保证服务器端能收邮件，客户端能发邮件就可以进行实时监控。主要的配置如下：在服务中心服务器配置邮件服务器图2-4配置邮件服务器配置conf/services.xml将maillistner服务设置为启动:<service><serviceName>maillistner</serviceName><implementClass>nc.monitor.service.mailreceiver.MailListener</implementClass><isStart>true</isStart><isSingle>true</isSingle><isNeedSecurityCheck>true</isNeedSecurityCheck></service>配置monitor.properties修改如下属性：#远程调用消息处理器#收邮件fromPOP_REMOTECALL_EMAILADDR=srv@ufida.com.cn#发送邮件时指定的邮件fromSMTP_SRC_MAIL_ADDR=monitor@ufida.com.cn#邮件访问控制列表，用；格开MAIL_ACCESS_RULE=liujb@ufida.com.cn；#邮件不满足规则将邮件从邮件服务器上删除DelMail_OutOfRule=false注意：监听的邮件帐号最好是专用帐号！客户端登陆时，选择登陆的传输方式为Email。图2-5选择email作为通信方式客户端主要的配置文件./conf/resource/domain.xml：登录过的监控域的历史记录。./conf/resource/resource-client.xml客户端插件的配置文件。./conf/SQL/fixSQL.cfg数据库监控脚本配置文件。./conf/SQL/logSQL.cfg日志分析预置脚本配置文件。第二部分:实时监控概述实时监控是常规的监控方法。问题正在发生，或者你正在客户现场，实时监控可以让你第一时间扑捉到当前系统正在发生什么，问题的定位和解决方案随之而来。NMC支持实时监控的服务主要的包括：OverView、进程监控、线程监控、数据库监控、CPU、内存，客户端监控等。OverView提供了一个系统概要；进程监控提供了进程级的信息；线程监控提供线程级的信息；CPU和内存监控提供系统级的信息；客户端监控提供客户端的性能和系统在线人数的信息。每个服务都提供了监控整个系统的某个部分的任务，把这些服务的信息整合起来就看到整个系统的全景。NMC实时监控有如下优势：可多层信息穿透。这种层与层之间的直接关联可更加全面深入的定位和分析问题；从客户端到中间件在到数据库的端到端的无缝监控；完整的信息。NMC提供的全方位，各个层次，满足各种监控需要的信息。第三章：OverView图3-1OverView功能概述提供一个部署结构样式的全局的系统运行状况视图，包括系统运行状态、每个中间件的JVMheap信息、线程信息、数据库的活动会话等。当系统出现异常，会有警告提示。参数无详细功能介绍自动刷新设置：设置视图的自动刷新时间间隔。单位为秒，默认为5秒刷新一次；点击数据库组件进入数据库监控节点，点击中间件组件进入线程监控节点。第四章：进程监控图4-1进程监控-JVM视图图4-2进程监控-WEB线程视图4-3进程监控-数据库activesession视图功能概述进程监控服务主要实现如下功能:对中间件状态检查，包括端口响应的时间和内存使用的情况，比如，当发现中间件不能正常工作，则可以选择对其自动重启或者动态加入一个备份的中间件；将JVMHEAP的使用情况、中间件响应时间、WEBthread及serivcethread信息采样，将采样信息写入日志，通过日志分析可以对系统进行性能评估和性能诊断；更新数据库连接池的信息和数据库活动会话的信息；对中间件进行管理，比如重启，生成JAVACORE，HEAPDUMP，设置定时重启等。参数NodeAgentHost中间件管理服务器地址，WEBSPHEREDM服务器的地址默认为127.0.0.1，如果为WEBLOGIC中间件，则为WEBLOGICmanager的地址。NodeAgentPort中间件管理服务器的端口，WEBSPHEREDM的端口默认为8879，如果没有启集群，则为所在服务器的NodeAgent的端口，默认为8880，如果中间件为WEBLOGIC，默认端口为7001。Servertype中间件服务器的类型，默认为WAS，可以选择WAS，WEBLOGIC，NC。Adminusername中间件管理员。如果WASadmin启用了安全管理，则需要设置。如果服务器为WEBLOGIC，此参数必须设置。Adminpassword中间件管理员密码。如果WASadmin启用了安全管理，则需要设置，WEBLOGIC中间件此参数必须设置。Propfile默认为../../ierp/bin/prop.xml，修改此参数必须重启监控服务。notResponseThreshold中间件端口响应时间的阀值，单位为毫秒。即当响应时间超过这个阀值，则认为端口探测失败，默认为5000毫秒。此参数需要和fail.trytimes配合使用。fail.trytimes端口探测的次数，即如果连续fail.trytimes次此端口探测失败，则认为中间件已经不能正常工作，需要重启。默认为8。此参数需要和notResponseThreshold配合使用。servlet默认为service/monitorservlet，不需要修改。MemoryThreshold内存报警阀值。此值算法如下heapfree/heaptotal。默认为0.005。此参数需要和MemoryTrytimes配合使用。MemoryTrytimes连续javaheap探测的次数，即当连续这些次数探测失败，则发送快照消息或者重启中间件。默认为10次。此参数需要和MemoryThreshold配合使用。logDuration进行中间件信息采样同时将信息写入日志的时间间隔，默认为10秒。日志会写入./logs/mw/。restartWhenCheckResponsefailure检查端口失败是否重启.。默认为truerestartWhenCheckMemoryfailure检测JVM内存失败是否重启，如果为否，则只是发送报警消息，默认为false。dumpHeapWhenRestart检查中间件失败是否要做HEAPDUMP，默认为false。dumpThreadWhenRestart检查中间件失败是否要做THREADDUMP，默认为false。N1_PLUGIN_FILEN+1Standby需要指定HIS插件的配置文件，默认为空。N1_STANDBYSERVER_KEYN+1Standby需要指定HIS插件的备份中间件，默认为空。EnableLOCKGC中间件重启时是否做LOCKGC，默认true。如果为true，则中间件重启时将这个中间件的PKLOCK全部清除。详细功能介绍中间件-管理-启动对选择的中间件进行启动，支持右键。中间件-管理-重启对选择的中间件进行重启，支持右键。中间件-管理-停止。对选择的中间件进行启动，支持右键。中间件-管理-定时设置定时重启，支持右键。如下图，则设置ncMem01每隔7天凌晨零点自动重启。图4-4设置自动重启中间件-管理-DUMPHEAP对所选择的中间件生成HEAPDUMP，支持右键。中间件-管理-DUMPTHREAD对所选择的中间件生成THREADDUMP，支持右键。中间件-GC对所选择的中间件做FULLGC，右键功能。中间件-监控-线程监控对选择的中间件穿透到线程监控节点，支持右键。中间件-监控-全局监控进入全局监控节点，即对所有的中间件在一个视图中进行监控。中间件-定时刷新设置设置进程视图自动刷新的时间间隔，默认为5秒。图4-5设置自动刷新中间件-刷新刷新当前视图。中间件-详细信息说明双击任何表行，则自动弹出其详细信息。4-6进程监控详细信息字段解释：字段说明服务名中间件名称状态中间件当前状态，目前有三种状态:Running、down、starting主机中间件服务器地址端口中间件端口重启定时定时重启的配置，可以通过右键或者管理->定时设置WEB线程池WEBcontainer线程池的大小WEB线程远程调用线程数服务线程后台服务的线程数JVMmax(m)JVMheap的设置(max)JVMtotal(m)JVMheap当前的total值JVMfree(m)JVMheap当前的free值JVMused(m)JVMheapused上次端口检查耗时最近一次端口探测的响应时间可管理如果启动WEBSPHEREDM或者WEBLOGICmanager，则为true，否则为false.可管理意味着可以远程对中间件进行启动，关闭，生成HEAPDUMP、THREADDUMP。当监控服务发现中间件不响应时，可以根据监控服务配置的管理策略对其自动重启.如果不能管理，则意味着只能做监控数据库-刷新对数据库监控视图进行刷新。数据库-查询进入所选择的数据库的查询节点。数据库监控详细信息说明选中上面的任何一行，如newSQL所在的行，然后双击，则弹出下面的对话框:图4-7数据库详细信息字段解释:字段说明数据源数据源名称数据库类型数据库类型连接字符串数据库的jdbc连接串连接池大小显示为default-max连接池已用在对应的中间件连接池中有多少连接为使用状态dbActiveSessions数据库的活动会话数最近检查时间最近进行数据库健康检查的时间第五章：线程监控图5-1线程监控功能概述实时对线程信息细粒度的监控，包括线程堆栈、SQL堆栈、性能信息、业务信息、线程状态，等待事件等等；对单个线程穿透到数据库；终止一个线程；查询垃圾线程；对单个线程进行独立跟踪；联查业务，联查操作员详细信息等业务功能。参数MW_THREAD_CHECK_INTERVAL中间件WEB线程检查时间间隔，单位为秒，默认为120s。注意：WEB线程处理的是从客户端发起的请求。MW_THREAD_CHECK_MAXCOSTTIME中间件一个WEB线程运行时间的阀值，单位为秒，超过这个时间仍没有结束则发送快照消息，默认为180秒。MW_THREAD_CHECK_MAXCOUNTOFSQL中间件一个WEB线程执行的SQL最大数量，如果超过这个值，则发送快照消息，默认为1000个。MW_THREAD_CHECK_MAXCOSTOFONESQL=120中间件一个线程最耗时的SQL阀值，单位为秒，如果SQL的耗时超过这个值，则发送快照消息，默认为120秒。详细功能介绍视图线程详细信息选中任何一个线程双击，则弹出详细对话框图5-2线程详细对话框可以看到详细的线程信息。字段解释：字段说明服务全局模式下中间件的名称线程名称线程名称线程状态当前线程状态当前事件当前线程正在做的事件（见线程事件）主要的事件包括：获取数据库连接SQL翻译、执行SQL、调用EJB、序列化、往客户端写数据、调用master、线程到数据库的映射、回滚，提交等性能统计当前线程到当前的性能统计（详见性能统计字段解释）耗时当前线程运行到目前的执行时间，单位为毫秒远程调用方法远程调用方法客户端地址发起远程调用的客户端地址操作员发起远程调用的操作员主键操作员编码发起远程调用的操作员名称操作员名称发起远程调用的操作员名称.性能统计字段解释:字段说明SQLcosttime当前线程所有SQL的累计执行时间(不包括fetch结果集)readresulttime当前线程fetch结果集的累计时间，单位为毫秒readrownum当前线程累计fetch了多少条记录writetoclienttime当前线程写数据到客户端的时间(网络耗时)，单位为毫秒writetoclientbytes当前线程写到客户端的总字节数readfromclienttime当前线程从客户端读请求的耗时，单位为毫秒readfromclientbytes当前线程从可客户端读请求的字节数notclosedconnectioncount当前线程没有关闭的数据库连接数Sql详细信息线程SQL堆栈解释:字段说明Sql第一条为统计信息，包括SQL执行数量总计、SQL执行时间总计(不包括fetch结果集)，占用数据库连接数总计执行状态有两种状态：running、finished耗时Sql执行时间数据库连接执行SQL的数据库连接ID数据源执行SQL的数据源名称注意：任何有SQL的地方，都可以通过鼠标选择这个SQL进行格式化，从而使SQL更加易读。例如将如下这段详细信息格式化：<record><SQL>SELECTpk_jobbasfil，pk_deptdoc，pk_psndoc，pk_custdoc，pk_vendoc，pk_jobmngfil，sealflag，remcode，memo，pk_corpFROMbd_jobmngfilwherepk_jobmngfilin(selectpkfromDBCache_bd_jobmngfil)</SQL><数据库连接id>562378...