问题描述

导入过程分批策略是怎么样的，能否不进行分批？能否对批次大小进行设置？如何对单次导入中所有数据进行校验？

解决方法

下列方案建议开发同学阅读。

如文档导入导出插件总览中介绍，导入是一个生产消费模型，生产线程负责解析Excel数据并创建单据的JSON数据包，入上下文阻塞队列，消费线程出队后进行数据的转换及保存等操作。分批逻辑在“出队”过程中执行。

先尝试在队列中取一单数据后（判断是否存在数据），进行批量取数。实际取数大小与队列中数据余量有关（即并不一定是分批大小，可能较分批大小稍小）。

• 是否强制分批可以通过重写【导入插件】的isForceBatch方法进行设置，该方法默认返回false（不强制分批），如返回true，导入会等待队列中数据到达分批大小（或全部数据已解析完）后开始引入。

• 导入以单据为单位进行分批，默认1000单为一批。分批大小可通过重写引入插件的getBatchImportSize方法进行设置。

• 可在导入插件beforeSave方法中对需校验的部分字段进行hash计算，将特征值存入上下文中（ImportContext），分批数据共享此变量。