1 概述

苍穹使用的日志收集组件包含kafka、logstash和elasticsearch，日志展示在苍穹monitor中，替代传统的kibana组件。

                                     消息发布                                   分布式搜索                                 数据收集

                                     消息订阅                                   数据分析                             多类型日志数据处理  

                                                                                      全文检索

                                                                                      结构化检索

苍穹ELK的日志收集流程如下：

苍穹微服务将日志发布到kafka队列中，logstash根据配置的kafka的topic，从kafka中收集日志并输出到指定的es数据库的索引中，苍穹monitor（web服务）再从es中读取日志数据并展示。

2 基本操作

2.1 Kafka

•启动

systemctl start kafka

•停止

systemctl stop kafka

•查看运行状态

systemctl status kafka

•监听端口

服务端口：9092

config/server.properites

•日志文件路径

logs/server.log

•实时查看日志队列

bin/kafka-console-consumer.sh --bootstrap-server [地址:端口] --topic [主题名]

2.2 Logstash

systemctl start logstash

•停止

systemctl stop logstash

•查看运行状态

systemctl status logstash

服务端口：9600

conf/javalog.conf

•日志文件路径

logs/logstash-plain.log

2.3 Elasticsearch

•启动

systemctl start es

•停止

systemctl stop es

•查看运行状态

systemctl status es

•监听端口

服务端口：9200

集群端口：9300

•配置文件路径

config/elasticsearch.yml

•日志文件路径

配置文件中 path.logs 定义

•查看日志索引

curl –XGET [-u 用户名:密码] http://es地址:端口/_cat/indices?v

•清理日志

curl -X DELETE [-u 用户名:密码] http://es地址:端口/索引名