【控制】-Request网络爬虫

1 功能说明

通过 get 或者 post 方法，直接获得网页文本并将其返回。

注： 1.requests.request(method,url,**kwargs）

2.需要连接网络使用

2 基本使用说明

1. 选择“GET”或“POST”的请求方式，输入所要爬取网页的网址。

2. 组件返回爬取网页的文本，可传入变量或以供后续步骤流程调用。

3 参数配置说明

• “方式”参数：网页请求的方式，默认为“GET”，也可设置为“POST”。

• “网址”参数：输入所要获取网站文本的网址，例如:'https://www.baidu.com/s?'。

在组件描述窗口中的这些输入参数，是控制访问的参数，详情如下。

• “参数”参数 （可选） 可变个数参数，用以作为参数增加到网址中。 可直接对参数的赋值，例如 wd='哈哈'，则网址变为https://www.baidu.com/s?wd=哈哈，也可以输入字典，例如{'ie':'utf-8', 'wd':'哈哈'}。

• “数据”参数 （可选参数，只能用于POST方式下） 输入为字典、字节序列或文件对象，作为request请求的内容。 例如输入请求登录的账号和密码