双击此处添加文字
爬虫实例-检验表单往期数据
来源: | 作者:佚名 | 发布时间: 2024-03-28 | 44 次浏览 | 分享到:

1.爬虫场景与需求

    设计一个自动化测试用例,对常用报表(如销售分析报表)的往期数据做校验,确保更新补丁前后的数值一致,并且能够定期执行,在一定程度上减少更新补丁后对数据准确性的校验工作量,如有报错则可以及时发现并反馈。

1.1  确认设计流程

    根据手工操作核对数据的流程,设计自动化测试流程。

    举例:打开报表--切换公共筛选-对某些维度和关键指标做抽样检查。

1.2  自动化测试流程设计

    (1)创建自动化测试任务


    (2)打开网页

    拖拽打开网页动作至设计看板,并录入访问网页的页面URL。

    提示:可将打开的报表设置为分享连接,可以省去访问BI首页-输入用户名和密码-登录-查找报表-打开报表的动作,提高自动化测试用例的执行效率。(仅限于内网)



(3)切换公共筛选

    添加几个点击动作,完成点击年份公共筛选-选择年份-点击月份公共筛选-选择月份的连续操作。

    注:根据筛选的执行时间,可适当调整操作后等待时间,以免出现后续流程执行中断的情况。


    路径获取方式:

    ①在对应网页上,按F12弹出开发者工具。

    ②点击选择和跟踪元素按钮(快捷键:Ctrl+Shift+C),并点击需要获取路径的元素,右侧窗口即可定位到对应元素。

    ③选择相应元素,右键复制-选择复制XPath复制完整的XPath

    ④将获取到的Xpath路径粘贴到爬虫动作的路径。

    


(4)抽取关键指标并验证

筛选完成后,可根据实际需要,验证重点关注的维度和指标值。

    ①维度断言验证(以年份为例)



    ②指标断言验证(以收入为例)



    本例,验证了其中一行的维度和指标值,且最后验证了各指标值的总计值。

1.3  执行自动化测试

(1)点击执行

(2)查看结果

    执行成功,可查看各断言动作的预期值和实际值一致。

1.4  设置调度任务执行自动化测试

    (1)检查任务标签

    根据创建的自动化测试任务的分组,添加标签,并开启“已审核”。

(2)创建作业流程

    在首页进入ETL界面,点击作业流程,并新建流程。



    添加爬虫任务到面板中,并连线。


    双击爬虫任务并编辑,选择类型和标签,并设置并行度。(多并发执行时可适当调整并发度)


(3)执行监控

    作业流程创建完成后,点击执行监控,并执行该作业流程。


(4)设置计划调度

    创建计划调度任务


    添加需要定期执行的作业流程


添加/选择触发器并设置

    

    完成计划调度的新增和配置,后续可查看定时执行结果。(注:设置完成后,需在ETL首页查看该调度任务的“下次执行时间”是否存在)