数据集成方案复杂SQL流式读取

变更记录

1 业务场景

在数据集成的过程中有时需要从源系统的视图取数（数据量巨大），并且还要将入参拼接到sql语句的中间进行传参，如：

SELECT orders.id, orders.order_date, orders.total
FROM orders
INNER JOIN users ON users.id = orders.user_id
WHERE users.username = ？ AND orders.order_date BETWEEN ？ AND ？
ORDER BY orders.order_date DESC;

2 解决方案

集成服务云提供了流式查询函数query_data_set，通过在数据集成方案中使用结构作为源对象，并在来源数据查询脚本中直接返回query_data_set的执行结果，以实现流式查询复杂sql的目的。

3 关键操作

• 步骤1

创建数据集成方案源对象的类型为结构

• 步骤2

填写来源数据查询脚本

query_data_set(cn, sql,