大表冷热数据分离 之 数据归档
随着业务的持续开展,系统数据经过一段时间的积累,表存储的容量会逐渐扩大。为避免因表存储容量过大带来的系统性能问题,金蝶云·苍穹推出了数据归档功能,提供冷热数据分离存储的解决方案。
在绝大部分场景下,数据可以根据时间远近、业务关注度等原则划分为“冷数据”和“热数据”。例如,在业务日志类场景中,业务通常只关注一段时间之内的数据,如近一个月或半年。
通过合理的冷热分离设计,可以降低当期表数据量,提升当期表性能,且将大量业务冷数据转存于成本较低的存储器中,可有效降低存储成本。
本期文章便带大家详细了解数据归档的功能特性和实施过程。
1 适用版本
该功能适用版本为金蝶云·苍穹V4.0.017及以上。
2 功能速览
苍穹数据归档的功能特性主要包括以下7个方面:
1. 适配苍穹领域模型:表头-分录-子分录-扩展表。
2. 支持级联单据归档:存在上下游关联关系的表单同步归档。
3. 支持同步基础资料:表单引用同库基础资料同步归档。
4. 支持物理归档库分区:支持同个数据库实例配置多个归档库分区。
5. 支持数据迁移定时执行:通过调度计划定时迁移待归档数据。
6. 支持查看归档数据:列表自动显示当期/归档库下拉框,可选择查询归档库数据。
7. 支持反归档:可对已归档的数据进行反归档操作。
数据归档的主要流程
3 功能实施
3.1 如何启用数据归档
启用苍穹数据归档,需分别设置MC归档开关和苍穹归档开关:
MC归档开关:在MC的启动参数里增加MC的归档开关“mc.archive.config=true”,然后重启MC,配置后MC可挂载物理归档库。
苍穹归档开关:在MC中配置苍穹归档服务参数“archive.enable=true”,然后发布,重启后苍穹会执行归档相关服务。
3.2 如何判断数据是否适合归档
区分单据是否适合归档,可以从以下3个维度判断:
数据量:单据表数据行超5千万行,造成存储性能问题。
数据终态:数据走到终态后,只有读请求而没有写请求。
用户意愿:用户或者业务接受新旧数据分开存储,不影响主体业务开展。
一般而言,满足上述条件时,可对数据进行归档。
3.3 如何配置数据归档
数据归档的主要配置项包括以下3个方面:
归档库:配置归档数据目标存储库。
归档规则:配置数据迁移的抽取条件规则,及目标存储库配置。
调度计划:定义归档规则执行的时间计划。
功能菜单入口为:【系统服务云】→【配置工具】→【数据归档】。
数据归档菜单
一、归档库配置
步骤一:挂载物理归档库
在MC中添加物理归档库,配置入口为:【MC租户管理】→【数据中心】→【归档信息】面板。其中:
DB库:按分库添加DB归档库;
ES库:ES日志单据归档按账套添加ES归档库。
挂载物理归档库示例
步骤二:配置归档库分区
添加物理归档库后,按业务维度在物理归档库上添加归档库分区,如按季度/年度添加归档库分区。通过归档分区设置可有效节省数据库资源成本。
配置入口:【数据归档】→【归档管理】→【归档库管理】。
归档库管理界面示例
二、归档规则配置
定义数据抽取条件规则,如按业务日期范围、单据状态等抽取,配置时自动带出引用的同库基础资料,在数据迁移时会将同库基础资料数据同步到归档库,用于归档库执行关联查询。
配置入口:【数据归档】→【归档管理】→【单据归档规则】。
归档规则配置示例
三、调度计划配置
定义归档规则执行的时间计划,可在同个调度中执行多个归档规则,配置后,平台调度会定时执行数据迁移,将符合条件的数据抽取到归档库中。
配置入口:【数据归档】→【归档管理】→【归档调度计划】。
调度计划配置示例
3.4 如何查看归档数据
数据抽取到归档库后,如何查看归档数据呢?有以下两种方法:
方法一:苍穹系统序时簿列表会自动显示归档库下拉框,只需要选择对应归档库,即可查询归档数据:
序时簿列表自动显示归档库下拉框
方法二:通过数据归档API,设置归档路由映射上下文对归档数据进行访问,代码示例如下:
try (ArchiveRoute ar = ArchiveRoute.mapRoute("scm","scm_2018")){ // 在此处,所有对scm库的访问将转向归档库scm_2018 }
4 亮点价值
1. 提供冷热数据分离存储的解决方案,有效解决时间维度引起的数据累积问题,降低当期库存储数据量,提高当期表性能;
2. 数据迁移可通过调度计划定时自动执行,且归档后的冷数据支持查询和反归档操作,便捷高效。
5 划重点
1. 金蝶云·苍穹数据归档功能,将已完结的业务数据转移到独立的存储中,降低当期库存储数据量,提高当期表性能,达到冷热数据分离存储效果,且已归档数据支持在序时簿列表中通过当期/归档期下拉选择查看,高效便捷。
2. 在使用数据归档功能时,应先从数据量、判断数据、用户意愿三个维度判断数据是否适合归档。对于适合归档的数据,配置步骤如下:
步骤一:配置归档库,即归档数据的目标存储库,包括挂载物理数据库、配置归档库分区;
步骤二:配置归档规则,即定义数据抽取条件规则;
步骤三:配置调度计划,即定义归档规则执行的时间计划,以定时自动执行数据迁移,将符合条件的数据抽取到归档库中。
#往期推荐#
更多精彩内容,”码“上了解↓
大表冷热数据分离 之 数据归档
本文2024-09-23 00:28:06发表“云苍穹知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-cangqiong-139655.html