大表冷热数据分离 之 数据归档

栏目:云苍穹知识作者:金蝶来源:金蝶云社区发布:2024-09-23浏览:1

大表冷热数据分离 之 数据归档

随着业务的持续开展,系统数据经过一段时间的积累,表存储的容量会逐渐扩大。为避免因表存储容量过大带来的系统性能问题,金蝶云·苍穹推出了数据归档功能,提供冷热数据分离存储的解决方案。


在绝大部分场景下,数据可以根据时间远近、业务关注度等原则划分为“冷数据”和“热数据”。例如,在业务日志类场景中,业务通常只关注一段时间之内的数据,如近一个月或半年。


通过合理的冷热分离设计,可以降低当期表数据量,提升当期表性能,且将大量业务冷数据转存于成本较低的存储器中,可有效降低存储成本


本期文章便带大家详细了解数据归档的功能特性和实施过程。




1 适用版本


该功能适用版本为金蝶云·苍穹V4.0.017及以上。


2 功能速览


苍穹数据归档的功能特性主要包括以下7个方面:


1. 适配苍穹领域模型:表头-分录-子分录-扩展表。

2. 支持级联单据归档:存在上下游关联关系的表单同步归档。

3. 支持同步基础资料:表单引用同库基础资料同步归档。

4. 支持物理归档库分区:支持同个数据库实例配置多个归档库分区。

5. 支持数据迁移定时执行:通过调度计划定时迁移待归档数据。

6. 支持查看归档数据:列表自动显示当期/归档库下拉框,可选择查询归档库数据。

7. 支持反归档:可对已归档的数据进行反归档操作。


数据归档的主要流程


3 功能实施

3.1 如何启用数据归档


启用苍穹数据归档,需分别设置MC归档开关苍穹归档开关


  • MC归档开关:在MC的启动参数里增加MC的归档开关“mc.archive.config=true”,然后重启MC,配置后MC可挂载物理归档库。

  • 苍穹归档开关:在MC中配置苍穹归档服务参数“archive.enable=true”,然后发布,重启后苍穹会执行归档相关服务。


3.2 如何判断数据是否适合归档


区分单据是否适合归档,可以从以下3个维度判断:


  • 数据量:单据表数据行超5千万行,造成存储性能问题。

  • 数据终态:数据走到终态后,只有读请求而没有写请求。

  • 用户意愿:用户或者业务接受新旧数据分开存储,不影响主体业务开展。


一般而言,满足上述条件时,可对数据进行归档。


3.3 如何配置数据归档


数据归档的主要配置项包括以下3个方面:


  • 归档库:配置归档数据目标存储库。

  • 归档规则:配置数据迁移的抽取条件规则,及目标存储库配置。

  • 调度计划:定义归档规则执行的时间计划。


功能菜单入口为:【系统服务云】→【配置工具】→【数据归档】。


数据归档菜单


一、归档库配置


步骤一:挂载物理归档库


在MC中添加物理归档库,配置入口为:【MC租户管理】→【数据中心】→【归档信息】面板。其中:


  • DB库:按分库添加DB归档库;

  • ES库:ES日志单据归档按账套添加ES归档库。


挂载物理归档库示例


步骤二:配置归档库分区


添加物理归档库后,按业务维度在物理归档库上添加归档库分区,如按季度/年度添加归档库分区。通过归档分区设置可有效节省数据库资源成本。


配置入口:【数据归档】→【归档管理】→【归档库管理】。


归档库管理界面示例


二、归档规则配置


定义数据抽取条件规则,如按业务日期范围、单据状态等抽取,配置时自动带出引用的同库基础资料,在数据迁移时会将同库基础资料数据同步到归档库,用于归档库执行关联查询。


配置入口:【数据归档】→【归档管理】→【单据归档规则】。


归档规则配置示例


三、调度计划配置


定义归档规则执行的时间计划,可在同个调度中执行多个归档规则,配置后,平台调度会定时执行数据迁移,将符合条件的数据抽取到归档库中。


配置入口:【数据归档】→【归档管理】→【归档调度计划】。


调度计划配置示例


3.4 如何查看归档数据


数据抽取到归档库后,如何查看归档数据呢?有以下两种方法:

方法一:苍穹系统序时簿列表会自动显示归档库下拉框,只需要选择对应归档库,即可查询归档数据:


序时簿列表自动显示归档库下拉框


方法二:通过数据归档API,设置归档路由映射上下文对归档数据进行访问,代码示例如下:


try (ArchiveRoute ar = ArchiveRoute.mapRoute("scm","scm_2018")){
// 在此处,所有对scm库的访问将转向归档库scm_2018
}


4 亮点价值


1. 提供冷热数据分离存储的解决方案,有效解决时间维度引起的数据累积问题,降低当期库存储数据量,提高当期表性能

2. 数据迁移可通过调度计划定时自动执行,且归档后的冷数据支持查询反归档操作,便捷高效。


5 划重点


1. 金蝶云·苍穹数据归档功能,将已完结的业务数据转移到独立的存储中,降低当期库存储数据量,提高当期表性能,达到冷热数据分离存储效果,且已归档数据支持在序时簿列表中通过当期/归档期下拉选择查看,高效便捷。


2. 在使用数据归档功能时,应先从数据量、判断数据、用户意愿三个维度判断数据是否适合归档。对于适合归档的数据,配置步骤如下:


步骤一:配置归档库,即归档数据的目标存储库,包括挂载物理数据库、配置归档库分区;

步骤二:配置归档规则,即定义数据抽取条件规则;

步骤三:配置调度计划,即定义归档规则执行的时间计划,以定时自动执行数据迁移,将符合条件的数据抽取到归档库中。




#往期推荐#


# 苍穹大表治理 之 水平分表

想要数据总是一致?快试试苍穹插件里的KDTX TCC


更多精彩内容,”码“上了解↓





大表冷热数据分离 之 数据归档

随着业务的持续开展,系统数据经过一段时间的积累,表存储的容量会逐渐扩大。为避免因表存储容量过大带来的系统性能问题,金蝶云·苍穹推出...
点击下载文档
确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息