电商/零售场景大数据量对接的性能优化与应用优化建议
目前,企业的应用系统越来越多,ERP和其他系统对接的需求越来越多。
其中,对接比较多的是前端的各种电商系统、零售系统。这些业务场景下应用特点是单据金额小但是单据量大。
通常情况下一天的单据量/分录量从几千、几万到几十万不等。这样大的业务量和数据量,高效和可靠对接是保障正常应用的关键。
本文结合一些收到的大数据量对接项目的反馈,针对电商/零售等大数据场景下项目的对接总结出一些建议。这些建议包括业务流程优化建议和对接接口性能优化建议。遇到类似场景的做对接的人员可以参考。
场景:前台电商/零售等对接星空供应链系统。
一、业务流程对接建议:
1、流程尽可能不要跨系统交叉,降低业务和流程的复杂度。
这个其实就是要求只对接流程结果。各自系统中尽可能把流程完整跑完,将一个流程的结果传入另外一个系统即可。这样的好处是流程各自独立运行,互不影响,一旦接口出现问题,双方系统还能独立运行。对业务的影响最小。
电商和零售等业务,我们建议流程上只对接电商和零售的销售出库单,所有的业务都在前台系统跑完,只将结果出库单/退货对接到星空即可。尽量避免一个订单处理流程跨2个系统,这样出现问题,涉及到2个系统的流程调整,出现数据问题需要在不同的系统处理,提高了应用的复杂度。比如,对接电商系统,电商系统一般的流程是第三方系统下载订单->订单处理-->订单拣货/分配库存-->打印快递单—>出库/发货一个完整的流程。如果要对接,建议是电商的出库结果对接到星空的出库单即可。这样,电商独立处理整个订单发货流程,这个流程不依赖星空,流程出现问题,不需要在2个系统中处理,降低了流程的复杂度和耦合度。
2、对接的单据尽可能不要产生跨组织内部交易。
由于前台电商,零售门店多,业务量大,出库单量非常大。如果这些对接过来的销售出库单需要做跨组织结算,会生成大量的内部交易单据,以及跨组织的明细结算清单,后续对账、核算带来很大的工作量。2C的销售出库单都是针对电商客户的零散的出库,出库单明细非常多,建议业务流程上取消电商与总部之间的销售出库单的跨组织交易,内部通过购销或者调拨的跨组织交易模式进行。即总部与电商通过调拨方式,这样调拨可以定期(如每天每周)成批调拨,降低单据量。这样跨组织交易就变成了2个组织之间调拨单,数量汇总了,单据量少。跨组织交易生成的应收应付清单数据量少,对账对总数即可,简单。而非前端的几十万的明细销售出库单。
3、如果需要保留跨组织交易,建议按一定的规则汇总合并后生成星空出库单。
如果实际业务上就是这样的跨组织出库,则需要保留跨组织交易,则我们建议前端的出库单,通过一定的汇总依据传到到星空,生成数量合并的销售出库单。降低出库单的明细分录数量。参考如下的方式,对出库单进行合并。
大数据量下对接数据对接到ERP的中间表中。通常将外围第三方需对接的数据对接到ERP的中间表中,中间表按一定的合并规则(相同物料、相同店铺等)合并。
前端电商和星空,考虑按一定的条件进行合并(如店铺、物料、仓库、时间等维度),如按天,将同一个店铺,相同的商品前端的出库单进行合并再传给星空。一般数量可以成倍几十倍的降低(依赖于相同商品的购买频次、合并的时间范围、业务量的等因素,如一个店铺某种商品,一天卖出100笔,正常按数量合并后,只有一笔,数据量约为原来的1/00)。这样的一个好处是,出库单的分录数量大大降低,由于合并数量了,核算、后续的应收应付、对账更加高效,简单(不要从几万,几十万的明细数据中核对,只要对总数量、总金额,效率提升),另外一块是出库单、应收单之类的日常操作,审批等业务用户的体验会更好。
二、 对大数据量接口性能上的优化建议:
大数量应用场景下,性能上主要体现在2个方面,一个是对接的单据传输性能,另外一个传输过来后的大量单据后续的核算、应收、应付等单据操作上的性能。
目前收到部分项目中,由于对接的数据量大(每天几万到几十万出库单),造成出库单传输接口性能瓶颈,以及对接生成的出库单单据量比较大,因此出库单据的核算、出库单的操作如审批下推生成应收单等都有较大的性能问题,影响用户的体验。
针对接口的性能优化建议:
1、 生成的单据中取消不必要的服务。
针对具体的项目中,不用的功能服务取消。如对接销售出库单,传过来的出库单单价、金额都有的,那么取价服务可以不要。前台2C的用户,信用相关的服务可以不要。库存的锁库与预留等相关的服务都可以取消。这个针对具体的场景,不需要的业务和服务都可以取消,加快单据的传输。可以根据项目和应用具体自行评估可以取消的服务。
2、 考虑批量接口调用及批量合并。
每次不要一单单传输,按一定的批量传输,数据要分批通过执行计划对接,通过ERP的执行计划插件,少量多次,分批轮询执行,每批次定量从临时表抓取待同步的数据(比如一次200条,控制在5分钟内本批次的全部执行完毕的最优条数,避免超时)。
针对webapi接口性能的优化,详细措施可以参考如下链接:
https://wenku.my7c.com/article/11179?productLineId=1。
三、出库单单据量大的优化建议
由于前台电商,零售门店多,业务量大,出库单量非常大。大批量的出库单后续的核算、应收、应付等单据操作上的性能的问题,建议是可以考虑按一定的措施合并分录/单据。具体建议如下:
1、大数据量下对接数据对接到ERP的中间表中。通常将外围第三方需对接的数据对接到ERP的中间表中,中间表按一定的合并规则(相同物料、相同店铺等)合并。
2、前端电商和星空,考虑按一定的条件进行合并(如店铺、物料、仓库、时间等维度),如按天,将同一个店铺,相同的商品前端的出库单进行合并再传给星空。一般数量可以成倍几十倍的降低(依赖于相同商品的购买频次、合并的时间范围、业务量的等因素,如一个店铺某种商品,一天卖出100笔,正常按数量合并后,只有一笔,数据量约为原来的1/00)。这样的一个好处是,出库单的分录数量大大降低,由于合并数量了,核算、后续的应收应付、对账更加高效,简单(不要从几万,几十万的明细数据中核对,只要对总数量、总金额,效率提升),另外一块是出库单、应收单之类的日常操作,审批等业务用户的体验会更好。
电商/零售场景大数据量对接的性能优化与应用优化建议
本文2024-09-16 18:37:39发表“云星空知识”栏目。
本文链接:https://wenku.my7c.com/article/kingdee-k3cloud-23368.html