苍穹Elasticsearch日志占用量大分析方法

1 业务背景
随着业务量的增长,苍穹的elasticsearch日志(es日志)也会逐渐增大。在INFO级别输出全部信息的日志的情况下,一般每天的日志量在10G-100G(随业务而定),如果日志量特别大,硬盘消耗很快,就需要分析是什么原因引起。
2 解决方案
查看elasticsearch日志索引,定位占用大的日志索引名(下图是个示例,其占用空间较小)
# curl http://es地址:es端口/_cat/indices?v -u 用户名:密码

找到索引名后,查看该索引前对应的es数据,根据className关键字对索引前100个类名进行分组并统计分析出现的次数
# curl -H "Accept: application/json" -H "Content-type: application/json" -XPOST -d '{"query": {"match_all": {}},"aggs": {"per_count": {"terms": {"size":100,"field": "className.keyword"}}},"size": 0}' http://es地址:es端口/索引名/_search -u 用户名:密码
返回数据是一个json格式内容,可以用在线json工具转换一下方便查阅。上图看到key为kd.bos.rabbitmq.RabbitmqFactory的className出现最多,327122次
然后我们查看这个key对应的相关日志内容:
# curl -XPOST "http://es地址:es端口/索引名/_search" -u 用户名:密码 -H 'Content-Type: application/json' -d '{"size": 0,"query": {"match": {"className": "苍穹className类名"}},"aggs": {"na苍穹Elasticsearch日志占用量大分析方法
1 业务背景随着业务量的增长,苍穹的elasticsearch日志(es日志)也会逐渐增大。在INFO级别输出全部信息的日志的情况下,一般每天的日志量在...
点击下载文档文档为doc格式
声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。
上一篇
已经是第一篇



