日志分类存储，降本增效好帮手

栏目：云苍穹知识作者：金蝶来源：金蝶云社区发布：2024-09-23浏览：3

日志分类存储，降本增效好帮手

随着苍穹业务不断增长，苍穹系统每天产生了巨大的日志数据量，如何在保障能够通过日志快速排查问题的前提下，有效降低存储成本，成为各个大客户的难题。你是否也有以下心声：

因为日志规模不断攀高导致存储成本增加而焦虑？

因为在排查问题时，查询不到几天前的重要日志而懊恼？

你是否想按不同的日志级别定义不同的清理策略？

现在，告诉你一个好消息，以上这些问题都可以通过Monitor新特性“日志分类存储查询方案”解决。本期文章将一步步带你使用日志分类存储查询方案。

1 适用版本

该功能适用版本为金蝶云·苍穹V5.0.011及以上。

2 特性展示

日志分类存储方案可将不同分类的日志存储到不同的ElasticSearch日志库，实现按分类清理、查询的功能，有效降低日志存储成本，提升日志查询性能。

上传图片

日志分类存储方案

3 应用案例

案例需求背景：将苍穹Error级别日志与其他级别日志分开存储到不同的ElasticSearch索引进行存储，通过Monitor选择不同日志库进行查询，ElastiSearch中设置Error级别日志保留最近7天日志，其他级别日志只保留最近3天的日志。

实现上述日志存储需求的详细操作步骤如下：

第一步：在logstash的output属性配置不同级别日志输出到不同的ElasticSearch索引，配置如下：

output {
   if [level] == "ERROR" {
elasticsearch {
action => "index"
hosts => ["http://ip:port"]
index => "basecloud-log-error-%{+yyyy-MM-dd}"
ssl => "***"
user => "***"
password => "***"
keystore => "***"
keystore_password => "***"
}
}
   if [level] in ["INFO","WARN","DEBUG"] {
elasticsearch {
action => "index"
hosts => ["http://ip:port"]
index => "basecloud-log-other-%{+yyyy-MM-dd}"
ssl => "***"
user => "***"
password => "***"
keystore => "***"
keystore_password => "***"
}
}
   }

第二步：MC配置日志查询索引：key值为：monitor.es.config value配置为如下json串，其中index需要配置为第一步配置的前缀（name+number+url必填，其他参数按需配置）。详细配置方法如下：

[{
"name": "其他日志库",
"number": "Other",
"url": "http://ip:port",
"index":"basecloud-log-other-",
"us": "***",
"pp": "***",
"sslEnable":***,
"certificatePath":"***",
"certificatePP":"***"
},
{
"name": "Error日志库",
"number": "Error",
"url": "http://ip:port",
"index":"basecloud-log-error-",
"us": "***",
"pp": "***",
"sslEnable":***,
"certificatePath":"***",
"certificatePP":"***"
}]

第三步：在Monitor中查询日志时，通过日志库下拉框选择不同日志库进行查询。

上传图片

查询日志

第四步：在ElasticSearch中配置日志清理脚本，根据索引名称配置不同的清理策略。脚本如下：

#!/bin/bash
#如 "INFO","WARN","DEBUG"级别日志保留3天
curl -k -u ***:*** -XDELETE http://ip:port/basecloud-log-other-$(date +\%Y-\%m-\%d -d "3 days ago")
#如 "ERROR" 级别日志保留7天
curl -k -u ***:*** -XDELETE http://ip:port/basecloud-log-error-$(date +\%Y-\%m-\%d -d "7 days ago")

4 亮点价值

日志按分级、分类分开存储，提升日志查询性能；
可及时清理不重要的的日志，有效降低日志存储成本；
重要日志可以保留更长时间，可查询分析更长时间的历史日志。

5 划重点

金蝶云·苍穹V5.0H2新增日志分类存储功能，详情如下：

通过将重要日志与其他日志分开存储，其他日志可单独按较短时间周期进行清理，降低日志存储成本。重要日志可单独按较长时间周期进行清理，可保留更长时间，便于通过日志查询分析历史问题。
不同分级、分类日志分开存储，查询时可以分开查询互不影响，实质上极大地减少了查询日志的总量，从而大幅度提升日志查询效率。

想了解更多金蝶云·苍穹V5.0新特性？点击“金蝶云·苍穹V5.0新特性”，建议收藏，回看不迷路~

#往期推荐#

# 告警管理，系统健康看护新利器

更多精彩内容，”码“上了解↓

上传图片