1.概述
1.1 爬虫是什么
用自动化程序把网页数据放到本地,同时能将网络中非结构化数据转化为结构化数据。
过程:向浏览器发送请求(打开网页获取网页代码)---> 提取有用的数据--->存放于数据库或文件中。
1.2 爬虫应用场景
①爬虫可以帮助我们快速采集各类数据,并进行后续处理。例如,在金融行业中,我们可以通过抓取股票价格、交易量等信息来进行投资分析和决策支持。
②爬虫可以帮助我们快速获取测试数据,并进行自动化测试。例如,在软件开发行业中,我们可以通过爬取各类测试数据来进行自动化测试,从而提高产品质量和开发效率。
1.3 怎么用爬虫
简单来说就是在网页上设定需要获取哪些信息,并加上一些操作步骤(如点击、输入、翻页)辅助完成数据的爬取和数据验证流程。
一句话:把手动操作的步骤固定在爬虫页面步骤上。
1.4 流程图