1.爬虫管理
1.1  爬虫主界面

1.2  文件夹管理

    默认包含一个主文件夹，可自行增加文件夹。（文件夹之间没有上下级关系）

1.3  任务管理

    增加任务：添加爬虫任务/自动化测试任务到指定文件夹中。

    复制任务：复制选中的任务到当前文件夹中。

    导出任务：导出并下载选中的任务到指定的路径。

    导入任务：导入任务文本文件到指定文件夹中。

    显示日志：查看当前任务的执行情况和截图。

2.爬虫设计

2.1 爬虫流程设计

    通过拖动控件到面板，完成任务流程的爬取逻辑设计。

    （1）拖动控件

    每个控件功能不一样，需要拖动，做逻辑连接。

    构建逻辑：拖动到面板上。

    控件之间的逻辑

    拖动一个新的控件，覆盖到面板的控件上，当有蓝色框后，就松开左键。

    按照数据的采集步骤构建控件逻辑。

    （2）填写控件信息

2.2  爬虫控件设置

    （1）打开网页

    输入需要访问的网页页面地址。

    （2）循环动作

    根据循环逻辑，选择需要的循环方式、执行类型，并录入循环路径。

    设置完成后，将需要循环的动作拖拽到循环动作框中。

    （3）选取元素

    设置步骤，根据需要选择采集数据的类型，并设置采集路径。

    注：以下三个开关，其他动作也可通用，根据实际情况自行选择是否启用。

    调试暂停：调试暂停如果开启，运行到此任务节点时将暂停不往下执行，暂停期间关闭将继续往下执行。

    禁用：开启将跳过执行此动作，执行下一个动作。

    失败中断：开启后，如果此动作执行失败，将中断整个任务的执行。默认开启。

    （4）存储元素

    设置采集数据的存储表，如表不存在，采集数据时会自动新建。

    （5）点击操作

    点击页面元素的操作。

    如需做双击动作，可录入二次点击路径，路径和点击路径一致。

    需跟随新页面时，可开启跟随新页面。

    （6）输入操作

    输入文本到指定路径的文本框中，并可设置输入完成后是否回车。

    （7）验证码动作

    针对实际的验证码类型进行对应的设置。

    （8）断言动作

    常用于数据准确性验证，判断采集内容和期望值是否相同。

    确认需要采集的数据类型，并设置断言取值路径、运算符和期望值。

    如执行时实际值和期望值不一致，会弹出错误，提示断言失败。

    （9）删除动作

    需要删除的动作，并点击删除动作按钮，可将该动作从设计面板上移除。

    （10）添加变量

    如果是直接在输入内容上填写日期，则就相当于把日期给写成固定的了，在现实的应用场景中，一般都是查询动态时间范围的数据，日期都是会跟随时间的变化而发生自动改变的，这时就需要引入BI中的变量。

    ①新增变量

    前往etl设置界面，点击变量管理并添加，设置变量信息后点击保存，计算变量确保设置符合实际需求。

    ②新增变量

    在需要使用变量的输入动作，将变量录入到输入路径中，格式为?变量名?

2.3  爬虫任务执行

    （1）开始执行

    完成爬虫任务的设计后，并设置了数据采集的存储表，可点击开始执行，系统会根据设置的爬取流程进行作业。

    如提示出错中断，请根据日志中提示的对应任务进行自检。

    （2）查看表

    任务执行完成后，可点击查看表，查看抽取的数据情况。

    （3）结束执行

    如需中断爬虫任务的执行，点击结束执行，并点击中断，并弹出执行日志。