金蝶EAS Cloud EAS系统性能问题诊断处理方法(2).ppt

EASEAS性能问题诊断处理方法性能问题诊断处理方法金蝶软件（中国）有限公司金蝶软件（中国）有限公司EASEAS产品支持部陈钧产品支持部陈钧版权所有©1993-2010金蝶软件(中国)有限公司P2导读导读摘要介绍EAS的部署模型和基本工作原理，可能引发性能问题的环节和诱因，并从系统上线前的参数检查调整，到系统运行期间的监控，出现问题后的跟踪分析方法等方面进行较深入地阐述。适用范围供EAS实施人员，部署与性能工程师参考，适用EASv5.3及后续版本。版权所有©1993-2010金蝶软件(中国)有限公司P3目录目录目标和范围实施日常工作内容EAS产品部署模型集群部署建议环境检查和参数调整问题分析和诊断方法EAS常见性能问题实际案例分析其他注意事项版权所有©1993-2010金蝶软件(中国)有限公司P4目标和范围目标能够根据实际软硬件环境完成部署和参数调整工作，保障EAS基本运行性能。具备EAS运行性能的监控能力，在出现问题的时候能够有效描述问题场景，收集必要的数据用于分析。具备基本的问题诊断和分析能力，针对环境和部署相关的问题，有能力自行处理和解决。范围本文档适用于EASV5.3以及V5.4版本。本文档主要涉及环境相关问题处理以及系统性能和稳定性问题分析解决。产品功能性的Bug，则主要提供信息收集建议。版权所有©1993-2010金蝶软件(中国)有限公司P5实施日常工作内容-性能稳定性相关部署以及服务器运行参数调整应用服务器、数据库服务器、操作系统。问题跟踪诊断，数据收集主动监控并发现问题。被动处理和解决问题。产品升级及验证应用服务器升级、数据库升级及验证。DBA部分职责数据库备份恢复，统计分析等。版权所有©1993-2010金蝶软件(中国)有限公司P6EAS部署模型－网络图数据库服务器EAS客户机EAS客户机EAS客户机EAS服务器1EAS服务器2EAS服务器n。。。集群前端机（LoadBalancer）EAS应用服务器集群状态服务器版权所有©1993-2010金蝶软件(中国)有限公司P7EAS部署模型－部署图ClusterServerAppServerEASServer(Master)RPCServerRPCServer端口：11034HTTPServer基础服务状态数据EAS业务组件工作流、调度服务、网络控制、License等Session状态数据集群配置数据ormrpc_loadbalance.propertiesClusterControlerRClientEASClientRPCClient服务器连接信息/eas/client/set-client-env.batR自动更新组件EAS业务组件TCPReasclientfilesRbosconfig.xmlAppServerEASServer(Slaver)RPCServerRHTTPServerEAS业务组件Session状态数据bosconfig.xmlAppServerEASServer(Slaver)RPCServerRHTTPServerEAS业务组件Session状态数据bosconfig.xmlHTTP1、对于集群控制器而言，无所谓主从服务器，Master是由从服务的bosconfig指定的。2、一些需要在内存中保存状态的基础服务在集群中只能有一个运行实例，运行这些实例的服务器称之为Master。3、一旦Master出现故障，将影响所有客户端使用，此时Master和Slaver都必需重新启动。版权所有©1993-2010金蝶软件(中国)有限公司P8EAS部署模型－部署图(6.0)ClusterServerAppServerEASServer2RPCServerRPCClusterHTTPServer单例服务状态数据EAS业务组件调度服务、银企直联等单例服务Session状态数据集群配置数据ormrpc_loadbalance.propertiesClusterControlerRClientEASClientRPCClient服务器连接信息/eas/client/set-client-env.batR自动更新组件EAS业务组件TCPReasclientfilesRbosconfig.xmlAppServerEASServer1RPCServerRHTTPServerEAS业务组件Session状态数据bosconfig.xmlAppServerEASServer3RPCServerRHTTPServerEAS业务组件Session状态数据bosconfig.xmlHTTP1、一些在集群环境下只能有一个运行实例的服务称之为单例服务，为了提升可靠性，可以设置备用单例服务器。2、除了单例服务器外，其他服务器实例都是对等关系，没有主次之分。3、节点失效后，会自动迁移到正常节点并重建状态信息，客户端业务不会中断。4、集群将做为EAS基本部署形态以提升整体可用性。HTTPClustereasclientfilesReasclientfilesR版权所有©1993-2010金蝶软件(中国)有限公司P9EAS集群模型特点支持本机和多机集群：一台机器可以部署多个EAS组成本机集群；可以将多个服务器上EAS组成多机集群；两种模式可以混合使用；异构的应用服务器之间可以组成集群。自动负载均衡和高可用特性：大并发时减少单点内存占用，降低故障几率；根据预设权重以及运行期的实例负荷情况进行自动负载均衡；当实例健康状态恶化，无法自行恢复时，系统会主动重启相应的实例；实例因故障失效后，客户端能重新连接到正常实例，且当前工作内容不会丢失；在运行期可以动态地装载或者卸载EAS运行实例。自主集群技术：不依赖操作系统或者应用服务器的集群技术。版权所有©1993-2010金蝶软件(中国)有限公司P10集群部署建议参考依据应用服务器配置，CPU数量，内存容量等。每1个CPU、2.5G内存可以部署一个EAS节点。可以在多个服务器上部署集群节点，应用服务器之间带宽至少100Mbps。应用服务器和数据库服务器之间的带宽至少100Mbps，建议1Gbps或者以上。结合应用规模和服务器的实际运行负荷进行规划，通常超过100并发用户就应该考虑集群部署模式。集群部署方法EASV5.1只能手工进行集群部署。EASV5.2管理控制台内置了集群部署功能。EASV6.0支持高可用集群以及Portal集群。版权所有©1993-2010金蝶软件(中国)有限公司P11环境检查和参数调整客户端内存相关参数调整服务器操作系统Windows、AIX、HP-UX、LinuxJAVA环境JDK以及应用服务器数据库服务器Oracle9i&10gDB2V8&V9SQLServer版权所有©1993-2010金蝶软件(中国)有限公司P12环境检查和参数调整-客户端EAS客户端主要以使用Windows系统为主，虽然可以运行在其他平台，但尚未经过完整测试。机器配置：CPU，P41.7G及以上；内存建议512M及以上；硬盘，至少2G空闲。操作系统：使用WindowsXP及以上版本。如果客户端内存达到512M或者以上，考虑增加EAS客户端的内存限制。修改eas/client/bin下的set-client-env.bat。SETJVM_MAX_HEAPSIZE=368（不要超过内存总量70%）版权所有©1993-2010金蝶软件(中国)有限公司P13环境检查和参数调整-服务器操作系统#OS检查项目及方法应用服务器数据库服务器1Windows内存：我的电脑属性至少2G，若>=4G可部署本机集群至少2G，建议>=4G2磁盘空间：资源管理器至少5G用于安装EAS100-500G不等，与应用规模相关3/3GB：c:\boot.ini（仅适用32位版本）>=2G时建议打开>=4G时建议打开4/PAE：c:\boot.ini（仅适用32位版本）N/A>=6G时建议打开，同时需要调整Oracle参数5AIX操作系统版本：oslevel-r建议5300-04或者以上建议5300-04或者以上6内核版本(32,64)：bootinfo-K32位，64位均可要求64位7内存容量：prtconf至少2G，若>=4G可部署本机集群至少2G，建议>=4G8内核参数：vmo-aminperm%=3;lru_file_repage=0,strict_maxclient=0;#vmo-pominperm%=3…minperm%=3;lru_file_repage=0,strict_maxclient=0;#vmo-pominperm%=3…9磁盘空间：df-g每挂载点占用少于80%。至少5G用于安装EAS每挂载点占用少于80%。Oracle使用100-500G不等，与应用规模相关10换页空间：lsps-a一般按2倍物理内存设置,若内存达到16G，则设置为物理内存一半一般按2倍物理内存设置,若内存达到16G，则设置为物理内存一半11资源限制：ulimit-a建议全部改成无限制。修改/etc/security/limits建议全部改成无限制。修改/etc/security/limits12进程限制：smittychgsysN/A每用户进程数>512，随并发规模增加而调整，大于oracle的processes参数。13异步IO：smittychaioN/A确保已经打开，每CPU最大值调整为80。版权所有©1993-2010金蝶软件(中国)有限公司P14环境检查和参数调整-服务器操作系统#OS检查项目及方法应用服务器数据库服务器14HP-UX操作系统版本：uname-a11.23及以上版本11.23及以上版本15内核版本(32,64)：getconfKERNEL_BITS建议64位要求64位16内存容量：sam至少2G，若>=4G可部署本机集群至少2G，建议>=4G17内核参数：sam使用HPjconfig工具检查操作系统配置和参数。若干参数需要调整，请参考详细配置说明18磁盘空间：bdf每挂载点占用少于80%。至少5G用于安装EAS每挂载点占用少于80%。Oracle使用100-500G不等，与应用规模相关19换页空间：swapinfo一般按2倍物理内存设置,若内存够大，交换空间建议2G即可一般按2倍物理内存设置,若内存够大，交换空间建议2G即可20Linux操作系统版本：uname-a版本>2.6.9版本>2.6.921内核版本(32,64)：getconfLONG_BIT32位，64位均可要求64位22内存容量：grepMemTotal/proc/meminfo至少2G，若>=4G可部署本机集群至少2G，建议>=4G23内核参数：sysctl-aN/A若干参数需要调整，请参考详细配置说明24磁盘空间：df-h每挂载点占用少于80%。至少5G用于安装EAS每挂载点占用少于80%。Oracle使用100-500G不等，与应用规模相关25换页空间：grepSwapTotal/proc/meminfo一般按2倍物理内存设置,若内存达到16G，则设置为物理内存一半一般按2倍物理内存设置,若内存达到16G，则设置为物理内存一半26资源限制：ulimit-a检查设置有无异常，通常无需调整。检查设置有无异常，通常无需调整。版权所有©1993-2010金蝶软件(中国)有限公司P15环境检查和参数调整-JAVA环境#类别检查项目及方法建议或要求备注1IBMJDK版本检查：进入jdk所在目录下的/bin目录，java-version（Windows)./java-version（Linux,Unix）1.4.2SR5及以上或者1.5.0SR3及以上WebSphere请进入AppServer/java/bin，其他请进入/eas/server/bin/set-server-env中JAVA_HOME指定的路径下的bin目录。2JVM参数检查1.4.2-Xgcpolicy:subpool(AIX)-Xgcpolicy:optavgpause(其他)-Xk50000-Xp10240k,512k1.5-Xgcpolicy:gencon-Xmn300m打开WebSphere控制台。进入“应用程序服务器>server1>进程定义>Java虚拟机”，检查通用JVM实参。其他应用服务器，检查eas/server/bin/set-server-env.sh(bat)中的JVM_CUSTOM_PARAMS变量3SUNJDK同上1.5.0_08及以上版本4JVM参数检查-XX:NewSize=300m-XX:MaxTenuringThreshold=3-XX:+UseParallelOldGC-XX:+DisableExplicitGCNew区内存至少300M对象在New区存活超过3次则移动到Old区Old区使用并行GC策略禁止System.gc()最小堆内存和最大堆内存建议相等，≥1024m≤1536m。5HPJDK同上1.5.0.05及以上版本6JVM参数检查同SUNJDK7ApusicApusic和EAS捆绑，无需检查。N/A8WebSphere版本检查：进入WebSphere/AppServer/bin，shversionInfo.sh5.1.1.13及以上版本，6.0.2.13及以上版本。版权所有©1993-2010金蝶软件(中国)有限公司P16环境检查和参数调整-数据库#数据库检查项目及方法建议或要求备注1Oracle9i&10g版本检查：进入sql*plussql>select*fromv$version;9.2.0.8，10.2.0.1及以上进入sql*plus方法，在数据库服务器上执行sqlplus"/assysdba"，下同2字符集检查：进入sql*plussql>select*fromv$nls_parameterswhereparameterlike'%CHARACTERSET';返回结果应该都是UTF8AL32UTF8也没有问题，目前使用客户较少。3共享及专用服务器模式：使用数据库配置助手，dbcaWindows：直接在命令行执行dbca。Linux,Unix：以oracle用户身份执行dbca，执行之前可能需要设定DISPLAY环境变量。尽量采用专用服务器模式由于应用服务器基于连接池管理，所以不建议Oracle使用共享服务器这种类似连接共用的机制。9i的共享服务器模式排序内存参数需要手工设定无法自动扩展也是原因之一。4数据库参数显示或者调整：进入sql*plus查看参数sql>showparameters参数名称修改参数sql>altersystemset参数=值scope=spfile;注：以下以8G内存的服务器为例采用scope=spfile修改的参数在oracle重启后才会生效。如果Oracle是以pfile方式启动的，则需要手工修改init*.ora文件。版权所有©1993-2010金蝶软件(中国)有限公司P17环境检查和参数调整-数据库#数据库检查项目建议或要求备注5Oracle9i&10gsga_target5600moracle10g参数，设定后oracle自动管理SGA内存，此时db_cache_size以及若干pool_size的设定值为最小控制值。6sga_max_size5600m内存总量×70%db_cache_size+shared_pool_size+java_pool_size+large_pool_size不应大于此值。7db_cache_size4500m数据缓存，尽量大一些。8shared_pool_size1000m根据内存容量和并发规模可进一步增大。9java_pool_size16mOracle升级的时候，需要将此参数调大，请参考升级说明。10large_pool_size16m专用服务器模式通常不使用large_pool，如果是共享服务器模式，需要增加此值为processes*3m左右。11pga_aggregate_target1000m大约等于参数processes*3m左右。12processes300oracle服务器进程上限，约等于并发用户数×80%13optimizer_index_caching90使Oracle倾向于使用索引。14optimizer_index_cost_adj50使Oracle倾向于使用索引。15workarea_size_policyauto用于排序等内存根据需要自动扩展。9i共享服务器模式下无效。16“_b_tree_bitmap_plans”false避免EAS某些功能执行计划差17“_no_or_expansion”true同上18“_complex_view_merging”false避免EAS某些功能触发OracleBug19默认统计分析采样率100%由于EAS是一套账机制，多个组织的数据集中存放，不采用100%全采样统计分析，容易导致执行计划恶化，性能差异可能会有数十倍。9i默认是全采样，但10g默认是“auto”，需要修改成100%。注意：参数调整以不会导致Paging为前提。版权所有©1993-2010金蝶软件(中国)有限公司P18环境检查和参数调整-数据库32位Windows上让Oracle使用4G以上的内存，10g有成功案例，以8G内存服务器为例：增加注册表项\HKEY_LOCAL_MACHINE\SOFTWARE\ORACLE\<HOMENAME>下增加REG_SZ类型AWE_WINDOW_MEMORY,值：1288490188。(1.2G）。用做DB缓存并与4GB以上内存的交换空间。通过将SGA_TARGET的参数设置为0，关闭Oracle10g的自动内存管理。修改参数USE_INDIRECT_DATA_BUFFERS=true，使Oracle可以使用4GB以上内存来做数据缓存。修改DB_BLOCK_BUFFERS参数的值为655360，将使用655360*8192(db_block_size)=5GB内存用做数据库缓存。清除DB_CACHE_SIZE参数设定，altersystemresetdb_cache_sizescope=spfilesid='*';修改SGA_MAX_SIZE=6000m。版权所有©1993-2010金蝶软件(中国)有限公司P19环境检查和参数调整-数据库#数据库检查项目及方法建议或要求17DB2V8&V9版本检查：Linux,Unix：#su-db2inst1$db2levelWindows：在cmd命令行模式下输入：db2level必须在DB28.1Fixpack11以上18字符集检查：Linux,Unix：$db2connecttoeas假设数据库名为eas$db2getdbcfgWindows：命令行中输入db2cmd，在命令行模式下输入：db2connecttoeas假设数据库名为easdb2getdbcfg查看Databasecodeset是否是UTF-819参数检查和调整：参见《EAS实施环境指南》每个操作系统页签中参数配置说明20数据缓冲池显示或者调整：进入db2cmd查看缓冲池db2connecttodbnamedb2“select*fromsyscat.bufferpools”修改缓冲池大小示例：db2alterbufferpoolEASBP8ksize100000//这里的size为页面的个数,例如8k表空间即表示有那么多个8k,16k表空间即表示有这么多个16k。真实容量要经过计算才能得到。通用规则为缓冲池所占内存数为系统内存的一半，如果有应用经验丰富的技术专家可以根据客户数据的特征进行专门优化调整，以下的建议值都为通用规则。注：以下以4G内存的服务器为例21EASBP8k125000个8k页面22EASBP16k30000个16k页面23EASBP32k15000个32k页面版权所有©1993-2010金蝶软件(中国)有限公司P20环境检查和参数调整-数据库SQLServer配置建议－大内存支持当系统的内存超过1G，就可以打开相应的开关以使得系统或者应用程序可以访问更多的内存。系统盘根目录下的隐藏文件Boot.ini中可以添加两个选项/3GB、/PAE/3GB，此选项为应用程序增加可寻址空间达到3GB，操作系统则只保留1GB。/PAE<物理地址扩展>，当物理内存超过4G时，打开此选项以使Windows可以通过AWEAPI访问4GB以外的物理内存。注：此配置建议仅适用于SQLServer的32位版本版权所有©1993-2010金蝶软件(中国)有限公司P21环境检查和参数调整-数据库SQLServer-处理器控制参数当SQLServer为专用服务器的时候，建议打开提升SQLServer优先级的选项。纤程是比线程更小的运行单位，由SQLServer管理，建议打开。版权所有©1993-2010金蝶软件(中国)有限公司P22环境检查和参数调整-数据库SQLServer配置建议－大内存支持这两个开关适用的操作系统版本MicrosoftWindows2000AdvancedServerMicrosoftWindows2000DatacenterServerMicrosoftWindowsServer2003，EnterpriseEditionMicrosoftWindowsServer2003，DatacenterEditionMicrosoftWindowsSmallBusinessServer2003选项打开的时机4GBRAM/3GB8GBRAM/3GB/PAE16GBRAM/3GB/PAE16GB+RAM/PAE（此时OS需要2GB空间用于管理扩展内存）版权所有©1993-2010金蝶软件(中国)有限公司P23环境检查和参数调整-数据库SQLServer配置建议－大内存支持Boot.ini示例[bootloader]timeout=0default=multi(0)disk(0)rdisk(0)partition(2)\WINNT[operatingsystems]multi(0)disk(0)rdisk(0)partition(2)\WINNT=“MicrosoftWindows2000AdvancedServer”/fastdetect/3GB/PAE版权所有©1993-2010金蝶软件(中国)有限公司P24环境检查和参数调整-数据库SQLServer配置建议－大内存支持当操作系统打开/3GB选项后，SQLServer会自动使用更多的内存。当操作系统打开/PAE选项后，需要在SQLServer中打开选项才可以使用额外的内存。SP_CONFIGURE'aweenabled',1RECONFIGUREGO重新启动SQLServer后，此选项生效。SQLServer会用尽所有的扩展内存，除非配置“maxservermemory”选项。此时不建议运行多个SQLServer实例。版权所有©1993-2010金蝶软件(中国)有限公司P25问题的分析和诊断某个客户抱怨系统很慢，原因？客户机：机器配置、EAS参数、其它程序影响、病毒、杀毒软件。网络：带宽、延迟、丢包、通讯故障、病毒泛滥。集群前置机：均衡失效、内存溢出、连接泄漏、停止响应。自动更新服务器：更新流量过大、阻塞。应用服务器：内存泄漏、连接泄漏、文件句柄泄漏、CPU消耗、停止响应、进程消失、磁盘空间满、License失效。数据库服务器：阻塞、死锁、高IO、高CPU、磁盘空间满。版权所有©1993-2010金蝶软件(中国)有限公司P26问题的分析和诊断1确定问题的严重/紧急程度，影响范围1.1系统已经瘫痪应用服务器无法启动；数据库无法启动；服务器无法连接；网络中断等。1.2系统整体非常缓慢大面积出现白屏；难以登录；响应时间衰减严重；无法自动更新；1.3部分用户/功能慢部分客户端慢；部分功能慢；特定条件下功能慢等。2出现性能问题之前发生过什么变化？（起因分析）2.1最近系统做过升级或者打过补丁没有？操作系统，数据库，EAS服务器如果最近刚好做过升级等，可能是导致问题的诱因。2.2最近服务器配置调整过没有？操作系统的参数，EAS配置，数据库参数调整不当可能导致性能问题。2.3最近网络是否有过调整变化？网络如果发生故障，比如受到蠕虫病毒攻击、路由器故障等，可能影响网络质量进而影响EAS性能。2.4其它业务系统是否也有问题？企业的其它业务系统是否也有故障？其诱因可能也是导致EAS性能问题的根源。版权所有©1993-2010金蝶软件(中国)有限公司P27问题的分析和诊断讲解内容包括日志和配置文件收集服务器长期运行数据收集客户端问题诊断网络故障诊断应用服务器诊断数据库服务器诊断Linux，Unix常用命令版权所有©1993-2010金蝶软件(中国)有限公司P28日志和配置文件收集当发生问题需要处理的时候，第一时间需要保护现场并收集必要的信息用于诊断。#类别文件名及作用查看工具备注1客户端client/bin/set-client-env.bat,客户端环境配置文件记事本以及其他文本查看工具包括JAVA，EAS路径，服务器连接信息等，内存设定。（内存设定在个别版本EAS中需要修改client.bat）2客户端client/bin/client.bat,EAS启动脚本同上包括EAS启动命令和参数，可以指定JAVA最大和最小内存占用。3客户端client/bin/client.vmlog,最近一次EAS的运行日志同上其中会记录系统运行的详细情况和出现的异常信息。每次启动客户端会删除原有的内容。4客户端client/logs/autoupdate.log同上自动更新日志，会保存历史记录。5客户端client/logs/log4j.log同上EAS运行日志，类似client.vmlog。会保存历史日志，另外还有可控制日志详细程度。受client/deploy/client/log4j.properties控制，需要专业人士协助配置。6客户端client/logs/log4j.log.*同上log4j.log的历史记录，每天一个。7服务端$instance_home/bin/set-server-env.bat,服务端环境配置文件，会被EAS启动脚本、管理控制台启动脚本调用。Windows平台同上，其他平台通常可以使用vi,less,dtpad等，也可以下载到Windows平台用UltraEdit等工具查看。$instance_home依EAS实例名称而不同，default实例位于eas/server；而具体的实例则位于eas/server/instances/<实例名>下。如果是Linux,Unix平台，文件的扩展名是.sh，下同。文件中包含了保证EAS运行的基本参数，如JAVA路径、实例路径、应用服务器控制参数等。版权所有©1993-2010金蝶软件(中国)有限公司P29日志和配置文件收集#类别文件名及作用查看工具备注8服务端$instance_home/deploy/bosconfig.xml，$instance_home/deploy/*.properties，集群控制器，EAS节点的配置文件。同上V5.1集群需要手工管理ormrpc_loadbalance.properties,bosconfig.xml等文件。V5.2以后版本通常不需要手工调整。9服务端$instance_home/bin/start*.bat,stop*.bat，启动和停止EAS节点，集群控制器的脚本。同上直接调用这些脚本即可启停EAS，无需管理控制台。还可以依此写出批处理的脚本。10服务端$eas_home/apusic/logs/apusic*.log,$instance_home/apusic/logs/apusic*.log,$wasprofile_home/logs/server1/System*.log,应用服务器日志。同上$eas_home，EAS安装目录。其中包括应用服务器启动和运行日志，包括异常信息等。11服务端$eas_home/eas/server/tools/admin/admin.bat，EAS管理控制台启动脚本。同上此脚本会先调用set-server-env.bat，取得环境配置信息。12服务端$eas_home/eas/server/tools/admin/admin.vmoptions，影响EAS部署行为的配置文件。同上包含KSQLTrace开关等部署相关选项，改变后通常需要重新部署。13服务端$eas_home/eas/server/tools/admin/admin.vmlog，admin.log4j.log*，EAS管理控制台运行日志。同上在进行数据库升级过程中如果有错误，在日志文件中会有详细的体现。14服务端$instance_home/bin/jvm_gc.log，$wasprofile_home/logs/server1/native_stderr.log，JVMGC日志，后者为IBMWebSphere下的。同上。另可用，IBMJDK：pmatHPJDK：jmeter$wasprofile_home，WebSphere的profile路径。日志中包含JVM的内存使用状况，GC频度，时间消耗等信息。set-server-env.bat中的VERBOSE_GC必须为true才会收集；WebSphere则需要在其控制台中的Java虚拟机选项页中打开“详细垃圾收集”。版权所有©1993-2010金蝶软件(中国)有限公司P30日志和配置文件收集RPC日志记录操作过程中客户端与应用服务器或者应用服务器与数据库服务器之前的交互过程，每次交互执行的动作、消耗的时间、数据流量等。用于诊断特定功能性能问题的有效手段。EASV5.3开始内置RPC日志记录特性。日志配置开关客户端默认是打开状态。V5.3服务器端默认关闭，可用如下方法动态打开关闭打开：http://ip:port/easupdater/logmanager?ksql=on&rpcsql=on&sqlplan=on关闭：http://ip:port/easupdater/logmanager?ksql=off&rpcsql=off&sqlplan=offV5.4服务器端默认开启，记录执行超过10s的操作日志。版权所有©1993-2010金蝶软件(中国)有限公司P31日志和配置文件收集V5.4日志存储路径有较大变化客户端所有日志存放在client/logs目录，服务端则存放在每个实例目录下的logs中。如eas/server/cluster/logs、eas/server/profiles/server1/logs等。eassupport工具自动收集日志和诊断信息EAS5.3打PT010990或者包含这个补丁的综合补丁。EASV5.4及后续版本内置了eassupport工具。能够自动收集客户端和服务端的EAS运行日志、系统配置、网络诊断信息等。收集方法客户端：执行eas/client/bin下的eassupport.bat。服务端：执行eas/server/bin下的eassupport.bat（Windows平台）或者eassupport.sh（Linux、Unix平台）。执行完成后会在bin目录下生成一个support*.zip文件。收集过程可能需要较长时间，中途可能会有异常提示，忽略即可。版权所有©1993-2010金蝶软件(中国)有限公司P32服务器长期运行数据收集目的反映服务器和网络在一段历史时期的负荷和压力分布，用于设备更新调整等决策依据。通过异常的压力和流量发现系统问题及时加以解决。用于不同客户之间的并发压力对比分析。收集工具免费工具：Cacti专业工具：HPOpenView收集内容网络流量、CPU、IO等参考《网络监控工具Cacti安装配置指南.ppt》版权所有©1993-2010金蝶软件(中国)有限公司P33客户端问题诊断分析客户端日志分析client/bin/client.vmlog(V5.3及之前版本)中的输出信息。查看client/logs目录下运行日志、自动更新日志等。检查set-client-env.bat中的设置。内存根据机器实际配置调整。设置全下载更新或者按需更新。EAS系统中的系统菜单|系统信息功能显示JVM内存消耗、网络带宽等信息，如果是IBMJDK，可以收集Dump文件用于分析内存泄漏等问题。任务管理器查看Java进程CPU、内存占用。物理内存可用数。jconsole（jdk5.0）分析GC，线程等。版权所有©1993-2010金蝶软件(中国)有限公司P34网络故障诊断连通性测试ping<ip>-l1000–n100，响应时间少于50ms，丢包率少于2次。文件下载测试从应用服务器进行http文件下载，速度应大于16KB/S。下载文件可正常打开，没有错误。eassupport工具收集最新版本会自动进行ping、rpcping、tracert、下载测试等。流量监测DUMeter，Cacti。发现流量异常，判断是否有病毒等问题。版权所有©1993-2010金蝶软件(中国)有限公司P35应用服务器诊断本章节将从以下几个方面讲解操作系统性能数据收集JDK参数调整优化GC日志的收集和分析DUMP信息的收集和分析EAS节点故障诊断集群控制器故障诊断版权所有©1993-2010金蝶软件(中国)有限公司P36应用服务器诊断操作系统性能数据AIX：topas、vmstat、sar、netstatWin：任务管理器，性能监视器版权所有©1993-2010金蝶软件(中国)有限公司P37应用服务器诊断JDK参数优化尽量使用1.5最新版本的JDK(只有WAS6.0必须使用1.4JDK）。使用分代垃圾收集策略，一开始就分配最大内存给JVM。禁止调用System.gc()堆大小通过部署工具修改，建议最大内存不要超过1536m如果是1.5JDK，建议最小堆内存和最大堆内存设置一样大。修改…/eas/server/bin/set-server-env.sh(bat)文件，修改变量JVM_CUSTOM_PARAMS。IBMJDK：-Xgcpolicy:gencon-Xmn300mSun(HP)JDK：-XX:NewSize=300m-XX:+UseParallelOldGC-XX:+DisableExplicitGC-XX:MaxTenuredThreshold=3版权所有©1993-2010金蝶软件(中国)有限公司P38应用服务器诊断针对IBMJDK1.4.2优化参数-Xgcpolicy:subpool：AIX平台专用优化选项，能够更加有效智能的进行内存分配。-Xgcpolicy:optavgpause：一种并行垃圾回收算法。-Xk50000-Xp10240k,512k：减少碎片几率。添加方法WAS：“应用程序服务器>server1>进程定义>Java虚拟机”中的“通用JVM实参”。版权所有©1993-2010金蝶软件(中国)有限公司P39应用服务器诊断GC日志收集V5.3及以后版本默认都是开启GC日志的。WAS的GC日志存放在native_stderr.log，通常位于…/WebSphere/AppServer/profiles/<profile>/logs/server1Apusic应用服务器，文件名jvm_gc*.log，位于V5.3：/server/jvmlogs，server/instances/<instance_name>/jvmlogs。V5.4：/server/profiles/<profile_name>/logsIBMJDK、HPJDK可以输出丰富的GC日志，SUNJDK较简单。警告：WAS不会自动清理日志文件，需要人工清理，否则文件可能会变得非常巨大。版权所有©1993-2010金蝶软件(中国)有限公司P40应用服务器诊断IBMJDKGC日志分析（1.4.2）<AF[15]:AllocationFailure.need32008bytes,18700mssincelastAForCON><AF[15]:managingallocationfailure,action=2(1174776/345694464)(35998016/38410496)><GC(90):freeingclasssun.reflect.GeneratedSerializationConstructorAccessor555(70a30660)><GC(90):freeingclassrpc_generate._PROXY_com_1_kingdee_1_eas_1_base_1_forewarn_1_IForewarnRunTime(70ac6060)><GC(90):unloadedandfreed2classes><GC(90):BytesTraced=169092003(Foreground:85306974+Background:83785029)State=0><GC(90):GCcyclestartedMonSep1110:27:272006<GC(90):heaplayout:(85580968/345694464)(36715568/38410496)/0><GC(90):freed85123744bytes,31%free(122296536/384104960),in98ms><GC(90):mark:72ms,sweep:26ms,compact:0ms><GC(90):refs:soft10(age>=32),weak0,final22,phantom0><AF[15]:completedin100ms>解释：因申请31K内存触发了自应用服务器启动以来的第15次AF事件，上一次AF或者GC事件发生在18s之前。AF触发了第90次GC，本次GC共释放81M内存，完成后空闲31%，堆大小为366M（384104960）。整个AF周期共耗时100ms。(看起来一切正常）版权所有©1993-2010金蝶软件(中国)有限公司P41应用服务器诊断从GC日志中发现异常一次超过1M的内存申请。（导致内存碎片，OOM）AF完成时间超过10s，间隔1s内。（内存泄漏）堆到最大值且空闲内存持续低于10%。（内存泄漏）GC频繁，1s内发生一至多次。（程序异常）参考资料http://www-128.ibm.com/developerworks/java/jdk/diagnosis/142.htmlGC日志示例展示版权所有©1993-2010金蝶软件(中国)有限公司P42应用服务器诊断利用工具gcanalyzer分析GC日志生成GC总体分析报告。汇总展示GC内存和时间消耗信息。表格方式展示GC事件的详细信息（可排序）。图形方式展示GC事件的趋势。可以分析1.4和1.5的gc日志。工具下载http://www.alphaworks.ibm.com/tech/pmat/download版权所有©1993-2010金蝶软件(中国)有限公司P43应用服务器诊断（GC分析）版权所有©1993-2010金蝶软件(中国)有限公司P44应用服务器诊断Dump分析（IBMJDK）HeapDump：JVM内存Dump（HeapDump文件）。通过它可以快速诊断导致内存消耗的原因。JavaDump：JVM运行信息Dump（JavaCore文件）。包括环境信息，线程状态，锁，堆栈等。用于诊断程序异常。打开Dump收集开关WAS请修改startServer.sh，其它环境修改…/eas/server/bin/set-server-env.sh。增加下面的环境变量并export。IBM_HEAPDUMP=trueJAVA_DUMP_OPTS="ONOUTOFMEMORY(JAVADUMP,HEAPDUMP),ONINTERRUPT(NONE)“当发生OOM时，系统通常会自动DUMP。当发生异常时，可以用kill-3<pid>生成HeapDump和JavaDump。WAS的Dump文件会生成到相应的profile目录下，其它情况下通常会生成到…/eas/server/bin目录下。名字为heapdump*.phd,javacore*.txt。版权所有©1993-2010金蝶软件(中国)有限公司P45应用服务器诊断Dump分析工具HeapAnalyzer用于诊断和分析内存泄漏问题。以树状结构展示对象结构，可以逐层展开。显示对象的DeepSize，列表显示同类型对象。较大的Dump文件可能需要64位JDK，>4G内存才能打开。ThreadandMonitorDumpAnalyzerJVM运行统计信息（Java堆，GC情况等）线程运行情况，线程数量、状态、堆栈等。线程死锁监测，锁定的资源分析等。同一个进程的多个JavaDump对比分析。工具下载：http://www.alphaworks.ibm.com/tech/heapanalyzer/downloadhttp://www.alphaworks.ibm.com/tech/jca/download版权所有©1993-2010金蝶软件(中国)有限公司P46应用服务器诊断（Heap分析）版权所有©1993-2010金蝶软件(中国)有限公司P47应用服务器诊断（JavaCore分析）版权所有©1993-2010金蝶软件(中国)有限公司P48应用服务器诊断HPJDKGC日志分析工具HPJmeter，丰富的图形多角度展示GC情况。汇总显示GC统计信息显示JVM的详细参数以及操作系统当前信息运行期间堆内存使用趋势图显示每次GC的时间消耗图内存分配总量变化趋势图每秒内存分配量变化图每个内存区的大小和内存使用趋势图版权所有©1993-2010金蝶软件(中国)有限公司P49应用服务器诊断版权所有©1993-2010金蝶软件(中国)有限公司P50应用服务器诊断EAS节点故障类型集群控制器失效或者故障原因：JDK、操作系统、程序Bug影响所有客户端无法工作。单点失效（进程Crash等严重故障）原因：通常是JDKBug、操作系统环境等引起导致连接该节点的用户中断。点击“尝试重连”，EAS客户端会自动转移到正常的节点。重启该节点，可自动加入集群环境。如果是Master失效，通常须重启集群。单点故障（出现CPU高占用，内存泄漏等）原因：业务功能内存占用过大，连接泄漏，程序Bug等。连接该节点的用户响应变慢，白屏等。可以手工重启该节点，只影响部分用户。如果是Master故障，将影响所有用户，通常重启集群才能解决。版权所有©1993-2010金蝶软件(...