1 排查思路

monitor日志收集展示依赖于elasticsearch(es)、logstash、kafka服务。苍穹日志收集链路为：苍穹服务 --> kafka --> logstash --> elasticsearch --> monitor

首先对常见的错误进行排查：

1.1  检查kafka、logstash、es服务是否正常运行

以下为服务正常运行截图:

systemctl status kafka
netstat -nalp|grep 9092|grep -i listen

若状态为inactive,重启kafka。

systemctl restart kafka

systemctl status logstash
netstat -nalp|grep 9600|grep -i listen

若状态为inactive,重启logstash。

systemctl restart logstash

systemctl status es
netstat -nalp|grep 9200|grep -i listen

若状态为inactive,重启es。

systemctl restart es

1.2  检查elk服务安装目录的磁盘占用

检查磁盘占用是否超过85%（超过85%，es进入只读状态无法写入日志）。

df -h

(1) 若超过了85%,先查看是否是es数据占用了太多磁盘空间（esdata目录），若是，可以

选择给磁盘扩容（磁盘空间较小）或者手动删除es日志索引，若是其他大文件占用的磁盘

空间，自行判断进行清理或者扩容。

查看esdata目录大小。

du -sh esdata

查看索引。

curl http://127.0.0.1:9200/_cat/indices -uelastic:Cosmic@2020

删除对应日期的es索引数据，比如*2021-04*会匹配到21年4月份的日志，*2021-04-22*可以匹配到4月22日的日志，根据以下命令进行修改，若需要删除全部日志，清空esdata下内容并重启es。

curl -X DELETE http://127.0.0.1:9200/*2021-04* -u elastic:Cosmic@2020

(2) 针对以上es数据大的问题。

① 检查是否设置了定时清理任务。

若没有设置，使用crontab -uelsearch -e 设置定时任务。

crontab -uelsearch -e
0 1 * * *  sh /home/elsearch/autoclear.sh

② 检查/home/elsearch/autoclear.sh文件中指定的账号密码是否有误。

可以使用以下命令重置账号密码（其中elastic处填写账号，Cosmic@2020为密码）：

curl -u kdadmin:Kdes_2019 -XPUT 'http://127.0.0.1:9200/_xpack/security/user/'elastic'/_password?pretty' -H 'Content-Type: application/json' -d '{ "password" : "'Cosmic@2020'" }'

(3) 磁盘超过85%，清理空间之后需要使用命令解除索引只读状态。

curl -XPUT -H "Content-Type: application/json" http://127.0.0.1:9200/_all/_settings -d '{"index.blocks.read_only_allow_delete": null}' -uelastic:Cosmic@2020

(4) 以上操作后，仍无法显示日志，重启下服务。

systemctl restart es logstash kafka

1.3 检查日志有没有输出到kafka和es

(1) 检查日志有没有输出到kafka。

① 切换到kafka的bin目录下，执行以下命令查看是否有topic产生,有”集群编码-log”的topic才是正常的。

./kafka-topics.sh --list --zookeeper zookeeperip:2181

例：

./kafka-topics.sh --list --zookeeper 10.203.12.8:2181

② 执行以下命令查看日志是否输出到kafka。                                

./kafka-console-consumer.sh --bootstrap-server kafkaip:9092 --from-beginning --topic [TopicName]

例：

./kafka-console-consumer.sh --bootstrap-server 10.203.12.20:9092 --from-beginning --topic
ierp-log

若有输出类似以下结