电脑桌面
添加蚂蚁七词文库到电脑桌面
安装后可以在桌面快捷访问

大表冷热数据分离 之 数据归档

来源:金蝶云社区作者:金蝶2024-09-234

大表冷热数据分离 之 数据归档

随着业务的持续开展,系统数据经过一段时间的积累,表存储的容量会逐渐扩大。为避免因表存储容量过大带来的系统性能问题,金蝶云·苍穹推出了数据归档功能,提供冷热数据分离存储的解决方案。


在绝大部分场景下,数据可以根据时间远近、业务关注度等原则划分为“冷数据”和“热数据”。例如,在业务日志类场景中,业务通常只关注一段时间之内的数据,如近一个月或半年。


通过合理的冷热分离设计,可以降低当期表数据量,提升当期表性能,且将大量业务冷数据转存于成本较低的存储器中,可有效降低存储成本


本期文章便带大家详细了解数据归档的功能特性和实施过程。




1 适用版本


该功能适用版本为金蝶云·苍穹V4.0.017及以上。


2 功能速览


苍穹数据归档的功能特性主要包括以下7个方面:


1. 适配苍穹领域模型:表头-分录-子分录-扩展表。

2. 支持级联单据归档:存在上下游关联关系的表单同步归档。

3. 支持同步基础资料:表单引用同库基础资料同步归档。

4. 支持物理归档库分区:支持同个数据库实例配置多个归档库分区。

5. 支持数据迁移定时执行:通过调度计划定时迁移待归档数据。

6. 支持查看归档数据:列表自动显示当期/归档库下拉框,可选择查询归档库数据。

7. 支持反归档:可对已归档的数据进行反归档操作。


数据归档的主要流程


3 功能实施

3.1 如何启用数据归档


启用苍穹数据归档,需分别设置MC归档开关苍穹归档开关


  • MC归档开关:在MC的启动参数里增加MC的归档开关“mc.archive.config=true”,然后重启MC,配置后MC可挂载物理归档库。

  • 苍穹归档开关:在MC中配置苍穹归档服务参数“archive.enable=true”,然后发布,重启后苍穹会执行归档相关服务。


3.2 如何判断数据是否适合归档


区分单据是否适合归档,可以从以下3个维度判断:


  • 数据量:单据表数据行超5千万行,造成存储性能问题。

  • 数据终态:数据走到终态后,只有读请求而没有写请求。

  • 用户意愿:用户或者业务接受新旧数据分开存储,不影响主体业务开展。


一般而言,满足上述条件时,可对数据进行归档。


3.3 如何配置数据归档


数据归档的主要配置项包括以下3个方面:


  • 归档库:配置归档数据目标存储库。

  • 归档规则:配置数据迁移的抽取条件规则,及目标存储库配置。

  • 调度计划:定义归档规则执行的时间计划。


功能菜单入口为:【系统服务云】→【配置工具】→【数据归档】。


数据归档菜单


一、归档库配置


步骤一:挂载物理归档库


在MC中添加物理归档库,配置入口为:【MC租户管理】→【数据中心】→【归档信息】面板。其中:


  • DB库:按分库添加DB归档库;

  • ES库:ES日志单据归档按账套添加ES归档库。


挂载物理归档库示例


步骤二:配置归档库分区


添加物理归档库后,按业务维度在物理归档库上添加归档库分区,如按季度/年度添加归档库分区。通过归档分区设置可有效节省数据库资源成本。


配置入口:【数据归档】→【归档管理】→【归档库管理】。


归档库管理界面示例


二、归档规则配置


定义数据抽取条件规则,如按业务日期范围、单据状态等抽取,配置时自动带出引用的同库基础资料,在数据迁移时会将同库基础资料数据同步

大表冷热数据分离 之 数据归档

随着业务的持续开展,系统数据经过一段时间的积累,表存储的容量会逐渐扩大。为避免因表存储容量过大带来的系统性能问题,金蝶云·苍穹推出...
点击下载文档文档为doc格式

声明:除非特别标注,否则均为本站原创文章,转载时请以链接形式注明文章出处。如若本站内容侵犯了原著者的合法权益,可联系本站删除。

确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息
QQ群
  • 答案:my7c点击这里加入QQ群
支持邮箱
微信
  • 微信