WebAPI流式数据读取

1 业务场景

在使用WebAPI与外部系统进行数据集成的过程中，如果通过WebAPI一次性读取的数量较大，那么可能导致性能问题。

2 解决方案

对于支持分页的WebAPI，我们可以借助Streaming函数完成自动翻页页查询，实现全部数据的获取。

• 数据集成方案

步骤1：在【集成管理】->【数据集】的列表页电机新增按钮的下拉按钮‘导入json’，使用WebAPI的响应结果创建数据结构。

步骤2：点击‘发布’以后可以在集成对象列表页看到创建的结构类型的集成对象，并使用他作为源对象创建数据集成方案。

步骤3：在依赖资源中引入WebAPI，并且编辑来源数据处理脚本如下。

var pageSize=100;
var page=1; 
var index=0;
var urlParams ={'pageNo':page,'pageSize':pageSize}; 

return Streaming({
if(page==1){
  $result=