苍穹多集群共有ELK配置
1 业务情景:
因为客户硬件资源不足,现在希望非生产环境共用一套ELK日志系统从而节约硬件资源。
注释:通常非生产环境包含:开发环境、集成测试环境、预发布环境
2 配置方法:
首先,此文章的前提是按照标准工具部署方法已经部署了一套集群的ELK集群
之后,在配置其他集群共用这套日志系统
那么如何怎样配置哪?在配置之前我们先看下日志架构图,了解日志流转的过程
通过上面的流程图可知,最后日志的展现需要下面四个步骤
微服务把日志写到kafa中
logstash要在kafaka中读取对应日志
logstash把日志写到ElasticSearch中
通过monitor查询ES中的日志信息
只需要完成上面四个步骤的操作,并且对多集群加以区分就可以实现多集群共用一套ELK
其中第一步骤和第四步骤在对应的对应的苍穹MC中完成,第二步骤和第三步骤通过修改logstash的配置完成
2.1、MC修改苍穹集群相关配置指向(完成第一步骤和第四步骤)
1、修改苍穹日志输出到kafaka中(默认是输出到本地)
/root/config/mservice/prop/log.config
修改 log.config 里面只留kafka。
右边的值是logback配置文件格式。
/root/config/web/prop/web:log.config
修改 log.config 配置日志同时可以写到本地和kafka中
2、正确填写kafka机器信息
log.kafka.ip_port
3、修改ES信息(目的是实现上面的第四步骤,通过monitor查询ES中的日志信息)
登录MC,基础数据维护--环境公共配置项
monitor.es.url=http://172.18.2.131:9200/ (根据实际情况修改) 修改成elasticsearch的IP 默认端口就是9200
2.2、修改logstash配置文件,使其消费不同集群写到ES中
logstash多集群配置,下面两个关键点需要特别注意,已经用颜色标识
topics代表的是苍穹日志写到kafka中所创建的存储区域
type是给这个topic的内容打了标签,后面写到ES中就是根据这个做的判断
红色标识是集群1的信息,蓝色标识是集群2的信息,绿色标识根据标识做信息区分
3 总结
多集群共用一套ES,需要在集群的mc中修改苍穹日志输出关联的kafka信息,填写monitor读取的ES信息。另外,发现日志混淆的时候,检查logstash的配置,topic和type两个字段是区分多个集群的关键点
苍穹多集群共有ELK配置
本文2024-09-23 01:14:15发表“云苍穹知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-cangqiong-144657.html
- 鼎捷EAI整合規範文件V3.1.07 (集團).pdf
- 鼎捷OpenAPI應用場景說明_基礎資料.pdf
- 鼎捷OpenAPI應用場景說明_財務管理.pdf
- 鼎捷T100 API設計器使用手冊T100 APIDesigner(V1.0).docx
- 鼎新e-GoB2雲端ERP B2 線上課程E6-2應付票據整批郵寄 領取.pdf
- 鼎新e-GoB2雲端ERP B2 線上課程A4使用者建立權限設定.pdf
- 鼎新e-GoB2雲端ERP B2 線上課程C3會計開帳與會計傳票.pdf
- 鼎新e-GoB2雲端ERP B2 線上課程E6-1應付票據.pdf
- 鼎新e-GoB2雲端ERP B2 線上課程A5-1進銷存參數設定(初階篇).pdf
- 鼎新e-GoB2雲端ERP B2 線上課程D2帳款開帳與票據開帳.pdf