苍穹多集群共有ELK配置

栏目:云苍穹知识作者:金蝶来源:金蝶云社区发布:2024-09-23浏览:1

苍穹多集群共有ELK配置

1 业务情景:

因为客户硬件资源不足,现在希望非生产环境共用一套ELK日志系统从而节约硬件资源。


注释:通常非生产环境包含:开发环境、集成测试环境、预发布环境


2 配置方法:

首先,此文章的前提是按照标准工具部署方法已经部署了一套集群的ELK集群

之后,在配置其他集群共用这套日志系统


那么如何怎样配置哪?在配置之前我们先看下日志架构图,了解日志流转的过程

通过上面的流程图可知,最后日志的展现需要下面四个步骤

  1. 微服务把日志写到kafa中

  2. logstash要在kafaka中读取对应日志

  3. logstash把日志写到ElasticSearch中

  4. 通过monitor查询ES中的日志信息

只需要完成上面四个步骤的操作,并且对多集群加以区分就可以实现多集群共用一套ELK


其中第一步骤和第四步骤在对应的对应的苍穹MC中完成,第二步骤和第三步骤通过修改logstash的配置完成


2.1、MC修改苍穹集群相关配置指向(完成第一步骤和第四步骤)

1、修改苍穹日志输出到kafaka中(默认是输出到本地)

/root/config/mservice/prop/log.config

修改 log.config 里面只留kafka

右边的值是logback配置文件格式。

/root/config/web/prop/web:log.config

修改 log.config  配置日志同时可以写到本地和kafka中



2、正确填写kafka机器信息

log.kafka.ip_port


3、修改ES信息(目的是实现上面的第四步骤,通过monitor查询ES中的日志信息)

登录MC,基础数据维护--环境公共配置项

 

monitor.es.url=http://172.18.2.131:9200/  (根据实际情况修改) 修改成elasticsearch的IP 默认端口就是9200


2.2、修改logstash配置文件,使其消费不同集群写到ES中

logstash多集群配置,下面两个关键点需要特别注意,已经用颜色标识

  1. topics代表的是苍穹日志写到kafka中所创建的存储区域

  2. type是给这个topic的内容打了标签,后面写到ES中就是根据这个做的判断


红色标识是集群1的信息,蓝色标识是集群2的信息,绿色标识根据标识做信息区分


3 总结

多集群共用一套ES,需要在集群的mc中修改苍穹日志输出关联的kafka信息,填写monitor读取的ES信息。另外,发现日志混淆的时候,检查logstash的配置,topic和type两个字段是区分多个集群的关键点

苍穹多集群共有ELK配置

1 业务情景:因为客户硬件资源不足,现在希望非生产环境共用一套ELK日志系统从而节约硬件资源。注释:通常非生产环境包含:开发环境、集成...
点击下载文档
确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息