大批量数据时接口超时问题

栏目:云苍穹知识作者:金蝶来源:金蝶云社区发布:2024-09-23浏览:1

大批量数据时接口超时问题

问题分析

由于苍穹OpenAPI是同步接口,最长执行时长是10分钟,所以接口在批量处理大量数据如一次查询或保存10w条以上数据时,可能会出现数据库或接口超时的情况,这其中可能还有公有云限制(华为云的WAF默认连接超时时长为60s)。


问题描述

使用苍穹OpenAPI接口执行查询或保存大批量数据时,调用失败,提示接口超时。

  • 典型查询接口超时提示:

kd.bos.openapi.servicehelper.ServiceFactory,QueryApiService,execute


  • 典型保存接口超时提示:

Connection is not available,request timed out after 60000ms



解决方法

  • 一次API请求数据量不要太大(例如建议单次请求含分录数2000条/次,最大不超过1万条/次),可以对查询做分页处理

  • 实体操作查询API的查询条件或 实体保存API的候选键,必须建立索引,否则执行全表扫描性能极差。


注意事项

  • 慢查询可以通过监控Monitor或数据库慢查询日志。(运维

  • 开放平台作为接口服务方,有以下相关项:

    1. 微服务间调用,dubbo默认超时时间是580秒

    2. 苍穹nginx,可配置超时时间 proxy_read_timeout/proxy_send_timeout/proxy_connect_timeout (默认60s)

    3. 客户端调用方 httpClient请求时,注意代码设置好 read/conn...timeout相关参数。

参考资料





大批量数据时接口超时问题

问题分析由于苍穹OpenAPI是同步接口,最长执行时长是10分钟,所以接口在批量处理大量数据如一次查询或保存10w条以上数据时,可能会出现数据...
点击下载文档
确认删除?
回到顶部
客服QQ
  • 客服QQ点击这里给我发消息