苍穹monitor ELK日志收集的完整链路及配置

栏目:云苍穹知识作者:金蝶来源:金蝶云社区发布:2024-09-23浏览:1

苍穹monitor ELK日志收集的完整链路及配置

首先苍穹monitor日志的传输链路是:

应用(mservice或各种分应用)-> kafka -> logstash ->es


1. 首先是怎么控制应用把日志传到kafka

通过mc的公共环境配置查看如下图:

image.webp

如图中所示的配置是个很长的xml拉到最后可以看到log的输出方式,这里要配置了kafka,应用的日志才会存到kafka。当然还有一个条件就是应用所在的网络能够访问kafka的网络。


2. kafka是被动存队列的中间件,他不会主动发送或者获取数据。他只要启动状态正常就OK


3. logstash,需要去kafka中取数据解析后存入elactseach(es),在logstash的配置文件可以看到这些信息。

logstash配置文件的查找方法:

先查找服务配置文件内容:cat  /usr/lib/systemd/system/logstash.service

image.webp

这个--path.config后面的路径就是配置文件路径,然后分析一下配置文件中的内容:

image.webp

这部分的配置主要就是kafka的取数据方式说明,主要注意的是kafka的地址是否正确,然后就是topic,topic可以理解为队列名称,应用写数据到kafka中是写到一个固定的topic,这边logstash读也要读对应的topic才能够读到数据,苍穹写的时候是按照'集群名称-log'这样的方式去写的,这个需要对应上,接着看下面es的配置部分:

image.webp

这部分声明了es的访问方式和账号密码,需要正确的账号密码才能把日志写入到es。

PS:确认es账号密码是否正确的方式可以通过以下命令测试:(上图用户密码为测试截图,以现场实际内容为准)

curl http://127.0.0.1:9200/_cat/indices -uelastic:Cosmic@2020


我们查询日志的时候也需要配置ES的账号密码,在mc的集群配置中:

image.webp


以上就是整个日志配置的详细链路,如果ES的密码未知可以通过另一篇文章重置:https://vip.kingdee.com/article/241498782590921984

苍穹monitor ELK日志收集的完整链路及配置

首先苍穹monitor日志的传输链路是:应用(mservice或各种分应用)-> kafka -> logstash ->es1. 首先是怎么控制应用把日志传到kafka通...
点击下载文档
确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息