苍穹monitor ELK日志收集的完整链路及配置
首先苍穹monitor日志的传输链路是:
应用(mservice或各种分应用)-> kafka -> logstash ->es
1. 首先是怎么控制应用把日志传到kafka
通过mc的公共环境配置查看如下图:
如图中所示的配置是个很长的xml拉到最后可以看到log的输出方式,这里要配置了kafka,应用的日志才会存到kafka。当然还有一个条件就是应用所在的网络能够访问kafka的网络。
2. kafka是被动存队列的中间件,他不会主动发送或者获取数据。他只要启动状态正常就OK
3. logstash,需要去kafka中取数据解析后存入elactseach(es),在logstash的配置文件可以看到这些信息。
logstash配置文件的查找方法:
先查找服务配置文件内容:cat /usr/lib/systemd/system/logstash.service
这个--path.config后面的路径就是配置文件路径,然后分析一下配置文件中的内容:
这部分的配置主要就是kafka的取数据方式说明,主要注意的是kafka的地址是否正确,然后就是topic,topic可以理解为队列名称,应用写数据到kafka中是写到一个固定的topic,这边logstash读也要读对应的topic才能够读到数据,苍穹写的时候是按照'集群名称-log'这样的方式去写的,这个需要对应上,接着看下面es的配置部分:
这部分声明了es的访问方式和账号密码,需要正确的账号密码才能把日志写入到es。
PS:确认es账号密码是否正确的方式可以通过以下命令测试:(上图用户密码为测试截图,以现场实际内容为准)
curl http://127.0.0.1:9200/_cat/indices -uelastic:Cosmic@2020
我们查询日志的时候也需要配置ES的账号密码,在mc的集群配置中:
以上就是整个日志配置的详细链路,如果ES的密码未知可以通过另一篇文章重置:https://vip.kingdee.com/article/241498782590921984
苍穹monitor ELK日志收集的完整链路及配置
本文2024-09-23 01:14:14发表“云苍穹知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-cangqiong-144656.html