电脑桌面
添加蚂蚁七词文库到电脑桌面
安装后可以在桌面快捷访问

苍穹Elasticsearch日志占用量大分析方法

来源:金蝶云社区作者:金蝶2024-09-231

苍穹Elasticsearch日志占用量大分析方法

1 业务背景

随着业务量的增长,苍穹的elasticsearch日志(es日志)也会逐渐增大。在INFO级别输出全部信息的日志的情况下,一般每天的日志量在10G-100G(随业务而定),如果日志量特别大,硬盘消耗很快,就需要分析是什么原因引起。


2 解决方案

查看elasticsearch日志索引,定位占用大的日志索引名(下图是个示例,其占用空间较小)

# curl http://es地址:es端口/_cat/indices?v -u 用户名:密码




找到索引名后,查看该索引前对应的es数据,根据className关键字对索引前100个类名进行分组并统计分析出现的次数

# curl -H "Accept: application/json" -H "Content-type: application/json" -XPOST -d '{"query": {"match_all": {}},"aggs": {"per_count": {"terms": {"size":100,"field": "className.keyword"}}},"size": 0}' http://es地址:es端口/索引名/_search -u 用户名:密码



返回数据是一个json格式内容,可以用在线json工具转换一下方便查阅。上图看到key为kd.bos.rabbitmq.RabbitmqFactory的className出现最多,327122次

然后我们查看这个key对应的相关日志内容:

# curl -XPOST "http://es地址:es端口/索引名/_search" -u 用户名:密码 -H 'Content-Type: application/json' -d '{"size": 0,"query": {"match": {"className": "苍穹className类名"}},"aggs": {"na

苍穹Elasticsearch日志占用量大分析方法

1 业务背景随着业务量的增长,苍穹的elasticsearch日志(es日志)也会逐渐增大。在INFO级别输出全部信息的日志的情况下,一般每天的日志量在...
点击下载文档文档为doc格式

声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。

确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息
QQ群
  • 答案:my7c点击这里加入QQ群
支持邮箱
微信
  • 微信