1.爬虫场景与需求
设计一个自动化测试用例,对常用报表(如销售分析报表)的往期数据做校验,确保更新补丁前后的数值一致,并且能够定期执行,在一定程度上减少更新补丁后对数据准确性的校验工作量,如有报错则可以及时发现并反馈。
1.1 确认设计流程
根据手工操作核对数据的流程,设计自动化测试流程。
举例:打开报表--切换公共筛选-对某些维度和关键指标做抽样检查。
1.2 自动化测试流程设计
(1)创建自动化测试任务
(2)打开网页
拖拽打开网页动作至设计看板,并录入访问网页的页面URL。
提示:可将打开的报表设置为分享连接,可以省去访问BI首页-输入用户名和密码-登录-查找报表-打开报表的动作,提高自动化测试用例的执行效率。(仅限于内网)
(3)切换公共筛选
添加几个点击动作,完成点击年份公共筛选-选择年份-点击月份公共筛选-选择月份的连续操作。
注:根据筛选的执行时间,可适当调整操作后等待时间,以免出现后续流程执行中断的情况。
路径获取方式:
①在对应网页上,按F12弹出开发者工具。
②点击选择和跟踪元素按钮(快捷键:Ctrl+Shift+C),并点击需要获取路径的元素,右侧窗口即可定位到对应元素。
③选择相应元素,右键复制-选择复制XPath或复制完整的XPath。
④将获取到的Xpath路径粘贴到爬虫动作的路径。
(4)抽取关键指标并验证
筛选完成后,可根据实际需要,验证重点关注的维度和指标值。
①维度断言验证(以年份为例)
②指标断言验证(以收入为例)
本例,验证了其中一行的维度和指标值,且最后验证了各指标值的总计值。
1.3 执行自动化测试
(1)点击执行
(2)查看结果
执行成功,可查看各断言动作的预期值和实际值一致。
1.4 设置调度任务执行自动化测试
(1)检查任务标签
根据创建的自动化测试任务的分组,添加标签,并开启“已审核”。
(2)创建作业流程
在首页进入ETL界面,点击作业流程,并新建流程。
添加爬虫任务到面板中,并连线。
双击爬虫任务并编辑,选择类型和标签,并设置并行度。(多并发执行时可适当调整并发度)
(3)执行监控
作业流程创建完成后,点击执行监控,并执行该作业流程。
(4)设置计划调度
创建计划调度任务
添加需要定期执行的作业流程
添加/选择触发器并设置
完成计划调度的新增和配置,后续可查看定时执行结果。(注:设置完成后,需在ETL首页查看该调度任务的“下次执行时间”是否存在)