大表冷热数据分离 之 数据归档

随着业务的持续开展,系统数据经过一段时间的积累,表存储的容量会逐渐扩大。为避免因表存储容量过大带来的系统性能问题,金蝶云·苍穹推出了数据归档功能,提供冷热数据分离存储的解决方案。
在绝大部分场景下,数据可以根据时间远近、业务关注度等原则划分为“冷数据”和“热数据”。例如,在业务日志类场景中,业务通常只关注一段时间之内的数据,如近一个月或半年。
通过合理的冷热分离设计,可以降低当期表数据量,提升当期表性能,且将大量业务冷数据转存于成本较低的存储器中,可有效降低存储成本。
本期文章便带大家详细了解数据归档的功能特性和实施过程。
1 适用版本
该功能适用版本为金蝶云·苍穹V4.0.017及以上。
2 功能速览
苍穹数据归档的功能特性主要包括以下7个方面:
1. 适配苍穹领域模型:表头-分录-子分录-扩展表。
2. 支持级联单据归档:存在上下游关联关系的表单同步归档。
3. 支持同步基础资料:表单引用同库基础资料同步归档。
4. 支持物理归档库分区:支持同个数据库实例配置多个归档库分区。
5. 支持数据迁移定时执行:通过调度计划定时迁移待归档数据。
6. 支持查看归档数据:列表自动显示当期/归档库下拉框,可选择查询归档库数据。
7. 支持反归档:可对已归档的数据进行反归档操作。

数据归档的主要流程
3 功能实施
3.1 如何启用数据归档
启用苍穹数据归档,需分别设置MC归档开关和苍穹归档开关:
MC归档开关:在MC的启动参数里增加MC的归档开关“mc.archive.config=true”,然后重启MC,配置后MC可挂载物理归档库。
苍穹归档开关:在MC中配置苍穹归档服务参数“archive.enable=true”,然后发布,重启后苍穹会执行归档相关服务。
3.2 如何判断数据是否适合归档
区分单据是否适合归档,可以从以下3个维度判断:
数据量:单据表数据行超5千万行,造成存储性能问题。
数据终态:数据走到终态后,只有读请求而没有写请求。
用户意愿:用户或者业务接受新旧数据分开存储,不影响主体业务开展。
一般而言,满足上述条件时,可对数据进行归档。
3.3 如何配置数据归档
数据归档的主要配置项包括以下3个方面:
归档库:配置归档数据目标存储库。
归档规则:配置数据迁移的抽取条件规则,及目标存储库配置。
调度计划:定义归档规则执行的时间计划。
功能菜单入口为:【系统服务云】→【配置工具】→【数据归档】。

数据归档菜单
一、归档库配置
步骤一:挂载物理归档库
在MC中添加物理归档库,配置入口为:【MC租户管理】→【数据中心】→【归档信息】面板。其中:
DB库:按分库添加DB归档库;
ES库:ES日志单据归档按账套添加ES归档库。

挂载物理归档库示例
步骤二:配置归档库分区
添加物理归档库后,按业务维度在物理归档库上添加归档库分区,如按季度/年度添加归档库分区。通过归档分区设置可有效节省数据库资源成本。
配置入口:【数据归档】→【归档管理】→【归档库管理】。

归档库管理界面示例
二、归档规则配置
定义数据抽取条件规则,如按业务日期范围、单据状态等抽取,配置时自动带出引用的同库基础资料,在数据迁移时会将同库基础资料数据同步
大表冷热数据分离 之 数据归档
声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。



