分享交流一次测试环境异常卡顿的情况及解决
# 背景描述
- 需要在一台客户提供的空虚拟机上部署星空环境并恢复账套用做测试,客户账套备份25GB,恢复出来有300GB。
# 问题
- 环境恢复后异常卡慢,在该虚拟机中做任何操作都要反应1分钟以上。
# 解决尝试
### 查看机器配置及任务管理器
- 查看该虚拟机系统配置为 server 2016 ,E3-1220 V5 3.00GHz 2核4线程 16GB 1T
- 查看任务管理器情况,CPU 14%, 内存 96% ,无L1缓存等
- 我在纠结为什么这个CPU没有三级缓存,但是对比其他正常的虚拟机系统配置,并没有特别异样,都没有三级缓存,16GB不至于如此卡顿,内存96%也不应该卡到在机器上点任何东西都无法响应(其他正常环境也经常有内存96%的情况)。
- 怀疑是该虚拟机所属硬件配置有些问题(但我无法知道所属硬件是什么配置,只知道这台虚拟机和其他虚拟机在不同硬件上)
### 增加内存及虚拟内存
- 虽然并不觉得是内存不够的问题,但是增加内存也是一个值得尝试的办法,于是一方面联系客户给虚拟机加了6GB内存,一方面增加了虚拟内存。
### 数据库限制内存
- 在机器内存加到24GB后,内存仍然是96%,查看任务管理器,发现绝大部分都被Sql Server进程占用(可能由于该账套太大了300GB),于是开始限制数据库内存为8GB(从客户了解到它们的生产环境128GB内存之前也经常被Sql Server进程占满)。
- 在限制了数据库内存后,查看任务管理器,内存可保持在75%以下了,但是卡顿状态依然存在,所以说并不是内存不够的问题。
### 重启机器和服务
- 从出现问题,到期间的各种尝试,都试过多次重启机器、重启站点等,但是均未解决。
### 是否机器硬件问题
- 此时已经没了头绪,内心笃定是这台虚拟机的硬件不给力。(也确实没时间一直泡在这个问题上摸索了,还有很多其他的任务,此事就暂时搁置了)
- 两个星期后(期间一直没关机,也没任何人登录过),再次登录这台虚拟机,惊奇的发现机器不卡了,然后我删除旧账套,重新恢复了一个账套,打包等等操作都是正常流畅的,虽然机器正常了,但这说明并不像是机器硬件问题。
- 直到几天后重启了一下机器,突然又回到了卡顿的状态,我顿觉不妙却又不知道哪里有问题。
### 磁盘活动查看
- **毫无头绪->一线生机**
- 就在我没什么头绪的时候,本着看看详细参数的想法我在任务管理器中打开了【资源监视器】,CPU和内存情况都没特殊的,但旁边的磁盘监控却发现了异常,磁盘读写是满的,这并不正常,内存的占用率高已经排除了,磁盘的还没有,于是查看哪个进程的磁盘读写占用率高,发现还是sqlservr.exe,并且一直持续。
- 于是先关闭sqlserver试试,关闭后机器突然变得正常了。(其实早应该关掉试试的,但是总觉得CPU不高,内存也限制了,肯定不是sql的问题了)
### 关闭计划任务
- 在知道了是sqlserver导致的硬盘IO占满的问题后,瞬间就想到了后台任务定时计划等,于是将JobProcess服务关闭,再开启sql服务,机器恢复正常,不再卡顿。(需注意的是:如果出现了卡顿,就算立刻关闭了JobProcess服务也不可以,猜测是已经执行的计划任务仍然在跑,所以还是需要重启sqlserver服务)
- 但是一旦有补丁包安装,JobProcess服务又会自动开启。
- 最终办法:在管理中心对数据中心取消勾选“允许执行计划”就可以解决。
- 相关可能的无用服务也可以关闭:
- K3CloudGuardService 星空安全卫士(新版才出现的)
- K3CloudTomcat 只用于轻分析
# 反思感触
- 整个排查尝试过程是很痛苦的,因为特别的卡顿,每一个动作都反应极慢,极其打击处理尝试的积极性。
- 磁盘活动查看确实是这次的一个突破口,回神一想,虽然我确实没有主动考虑磁盘监控这点,但是重点是为什么这机器的任务管理器里没有磁盘监控呢?(个人的笔记本都默认带磁盘监控,server系统居然不带?)如果任务管理器里有磁盘监控,那么我第一次打开任务管理器的时候就会发现磁盘不对劲了!!!
- 搜索相关帖子,使用命令开启了磁盘监控。diskperf -Y
- 虽说是后台计划导致的,但是其他虚拟机环境内存也不大,也没关过jobprocess,从来没出现过这种卡顿情况,所以和这虚拟机的硬件肯定是脱不了关系的!
亲,管理中心对数据中心取消勾选“允许执行计划”,就能解决这个问题,升级也不怕。
还是账套数据300G的原因,个人认为CPU,内存,硬盘读取速度影响很大
分享交流一次测试环境异常卡顿的情况及解决
# 背景描述- 需要在一台客户提供的空虚拟机上部署星空环境并恢复账套用做测试,客户账套备份25GB,恢复出来有300GB。# 问题- 环境恢复...
点击下载文档
本文2024-09-16 17:15:01发表“云星空知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-k3cloud-14499.html
您需要登录后才可以发表评论, 登录登录 或者 注册
最新文档
热门文章