⼤大项⽬目性能优化⽤用友⽹网络科技股份有限公司姓名刘智宇2017年年6⽉月9⽇日01020304沟通计划与⽬目标技术⼯工具何谓“⼤大项⽬目”？“⼤大项⽬目”特点•⽤用户量量⼤大、并发⼤大•业务量量⼤大、数据量量⼤大•项⽬目销售⾦金金额、利利润⼤大•预期价值⼤大•关键客户沟通•明确关键客户，保持沟通畅通•主动调研及反馈•与集团⽀支持、研发保持良好沟通、结果反馈计划与⽬目标•明确性能问题处理理的整体计划与⽬目标•按优先级处理理，优先解决影响⾯面⼴广的问题•尽早⽴立竿⻅见影技术•局域⽹网很快，⼴广域⽹网很慢•系统越⽤用越慢•并发⽀支撑能⼒力力不不好•服务器器宕机常⻅见的性能问题•内存泄漏漏•内存溢出•远程调⽤用多，流量量过⼤大•弹性设计问题技术•硬件配置：CPU、内存、⽹网络、磁盘•软件配置：集群规模、数据库和中间件的⾼高可⽤用•参数设置：OS、JVM、DB等巡检技术•登录•挂起、宕机•常⽤用业务操作：节点打开、增删改查、审批全局性能问题技术•远程调⽤用次数<=6个•⽹网络流量量在启⽤用压缩流的情况下，上下⾏行行流量量之和<=30KB单点性能指标案例例：⽹网络质量量问题Tracingroutetogpms.foton.com.cn[60.247.11.209]overamaximumof30hops:110ms1ms1ms172.20.135.1225ms23ms24msSonjaLaptop[0.0.0.0]3748ms838ms753ms197.236.35.814644ms59ms73ms197.236.35.825362ms1560ms255ms172.18.247.21761077ms1143ms959ms172.18.248.267807ms856ms780ms132.162.203.41.static.impol.net[41.203.162.132]8585ms614ms624msrrba-ip-hsll-1-wan.telkom-ipnet.co.za[196.25.2.121]91092ms1030ms1010mslon-ip-hsll-1-gig-0-1-0.telkom-ipnet.co.za[196.43.9.46]101464ms1404ms1258ms182-126-245-83.packetexchange.net[83.245.126.182]111352ms1424ms1553ms202.97.90.21121544ms1672ms1822ms202.97.52.169131842ms1739ms1747ms202.97.53.233141917ms1798ms1542ms202.97.53.16515***Requesttimedout.161361ms1360ms1277msbj141-133-237.bjtelecom.net[219.141.133.237]171433ms1435ms1448msbj141-130-38.bjtelecom.net[219.141.130.38]181287ms1293ms1264ms209.11.247.60.static.bjtelecom.net[60.247.11.209]Tracecomplete.南⾮非英国中国电信北北京市电信案例例：远程调⽤用过多问题⼀一个操作，城域⽹网300次远程调⽤用耗时330s，降低到10次3s远程调⽤用消耗⽹网络资源，⼴广域⽹网中远程调⽤用越少越好即使不不考虑⽹网络，远程调⽤用次数过多也⾮非常影响性能项⽬目经验总结JVM•JVM：OpenJDK、Oracle、IBM•NC常⽤用•不不同JVM参数设置差异•-Xmx-Xms-XX:PermSize-XX:MaxPermSize案例例：内存问题•两台应⽤用服务器器配置•CPU：Intel(R)Xeon(R)CPUE7-4807@1.87GHz，24Cores•RAM：64G•问题•中间件经常挂起•中间件经常内存溢出宕机•操作系统内存经常被耗尽，⼤大量量使⽤用swap案例例：内存问题问题1：WAS实例例数量量不不合理理•业务⾼高峰时段最⼤大并发800左右•⽬目前两台应⽤用服务器器共启动19个server•每个server的最⼤大web线程池为100，总计1900个•每个jvm的最⼤大heap设置为-Xmx4096m经过访谈和系统监控发现调整后•node1启动1个master和4个server•node2启动6个server问题2：内存溢出•WebsphereBugPM17848•IBM为了了提⾼高WAS实例例的启动速度，将EJB的初始化采⽤用懒加载的⽅方式加载，但这个特性会造成⼀一定概率的内存泄露露问题3：系统内存耗尽•Linux6.x新特性导致•Master所在的实例例进程占⽤用⼤大量量内存，⾼高达17G，造成系统内存吃紧解决⽅方案：exportMALLOC_ARENA_MAX=4案例例经验总结硬件配置、节点、实例例、并发之间的关系理理解JVM内存结构，合理理设置JVM参数要敏敏感swap空间的使⽤用⼀一定要看懂javacore、heapdump获取转储•IBMJDK•Linux系统：kill-3或nmc•WinServer：wsadmin•OracleJDK•-XX:+HeapDumpOnOutOfMemoryError•-XX:HeapDumpPath=${⽬目录}案例例：CPU100%问题问题现象WAS集群启动后master进程CPU占⽤用率100%，通过nmc监控发现⼤大量量处理理集群消息的线程被阻塞原因及解决⽅方案NCHome下存在⼤大量量离线消息，集群启动后开始同步这些消息，通常的解决⽅方案是⼿手⼯工删除离线消息虽然可以通过删除离线消息解决问题，但是研发⼀一直没有定位耗尽CPU的问题代码，通过top-H命令定位问题线程id，再与转储的javacore对⽐比，最终定位问题代码案例例：CPU100%问题案例例经验总结熟练运⽤用转储⽂文件熟悉Linux操作系统命令凡事需要重复劳动的解决⽅方案，都没有根本解决问题合理理使⽤用数据缓存案例例：数据缓存问题问题现象GPR报告中发现⼤大量量缓存查询结果集巨⼤大，耗时很⻓长案例例：数据缓存问题解决⽅方案将bd_address表的缓存类型调整为LFU完了了吗？案例例：数据缓存问题通过询问客户得知，每天晚上其供应链系统会通过外部交换平台向NC导⼊入收付单据，其中包括地址信息字段案例例经验总结数据缓存需要专项调优，不不同⾏行行业，档案⼤大⼩小不不同对数据异动保持敏敏感最好能够具备握编码能⼒力力，代码阅读能⼒力力并⾏行行计算合理理使⽤用并⾏行行计算可以充分利利⽤用集群资源，提升业务处理理的性能，但由于NC技术架构与业务的特殊性，需要充分考虑弹性设计，并且做好充分的压⼒力力测试验证案例例：预算性能问题某项⽬目预算取数操作数据量量较⼤大，性能⽆无法满⾜足客户的要求。问题现象优化⽅方案•改造计算任务操作⽅方式，⽀支持批量量提交，后台计算任务分布于集群每个server上（并⾏行行计算）•任务提交后⽴立即返回，⽆无需等待计算结束，稍后可通过任务列列表查看任务执⾏行行结果（异步）结果：客户很满意但是！客户DBA抗议了了！案例例：预算性能问题案例例：预算性能问题优化思路路•问题的根本在于预算取数的SQL量量巨⼤大，并且没有使⽤用绑定变量量•预算取数的特点是从各模块抓取数据，预算产品只提供接⼝口，具体实现有个业务模块⾃自⼰己负责•也就是说SQL分散于各个模块，代码⽆无法集中调整•OracleCURSOR_SHARING参数是否可以解决问题案例例：预算性能问题测试：CURSOR_SHARING=FORCE案例例：预算性能问题取数任务耗时对⽐比案例例经验总结充分利利⽤用硬件资源平衡好中间件与数据库之间的负载弹性设计很重要•什什么情况下打补丁可以不不⽤用部署？•什什么情况下打补丁可以不不⽤用重启master？提问⼯工具•NMC：针对UAP平台订制开发的监控⼯工具，可⽤用来维护UAP集群环境，监控运⾏行行状态，定位性能问题等•JProfiler：⼀一款强⼤大的全功能Java剖析⼯工具，可分析内存、CPU、⽹网络、线程等•友云⾳音：APM（ApplicationPerformanceManagement）是指以真实⽤用户体验和端到端应⽤用性能管理理为核⼼心，实现⾃自上⽽而下的IT管理理新模式，帮助⽤用户快速准确发现、定位和解决影响企业应⽤用性能问题和可⽤用性问题，提⾼高企业应⽤用的可靠性和质量量，保证⽤用户得到良好的⽤用户体验，降低IT总拥有成本（TCO）•⼀一个⼈人负责n家客户，感觉身体被掏空•性能问题有点多•到底什什么原因导致的系统慢•巡检报告给客户看什什么•⼀一定要去现场吗，⽼老老婆要离婚了了SaaS性能数据在云端在家⾥里里也可以看到客户系统的运⾏行行情况多租户⼀一个⽹网站搞定所有管辖⽤用户的系统性能监控定位问题业务级到代码级的问题定位粒度任你选，NC不不再是⿊黑盒报告根据汇报⻆角⾊色订制并⾃自动⽣生成系统性能报告，⽆无需现场求密码监控投屏Q&A
