双击此处添加文字
爬虫简介
来源: | 作者:佚名 | 发布时间: 2024-03-29 | 480 次浏览 | 分享到:

1.概述
1.1  爬虫是什么
    用自动化程序把网页数据放到本地,同时能将网络中非结构化数据转化为结构化数据。
    过程:向浏览器发送请求(打开网页获取网页代码)---> 提取有用的数据--->存放于数据库或文件中。
1.2  爬虫应用场景

    ①爬虫可以帮助我们快速采集各类数据,并进行后续处理。例如,在金融行业中,我们可以通过抓取股票价格、交易量等信息来进行投资分析和决策支持。

    ②爬虫可以帮助我们快速获取测试数据,并进行自动化测试。例如,在软件开发行业中,我们可以通过爬取各类测试数据来进行自动化测试,从而提高产品质量和开发效率。

1.3  怎么用爬虫
       简单来说就是在网页上设定需要获取哪些信息,并加上一些操作步骤(如点击、输入、翻页)辅助完成数据的爬取和数据验证流程。

       一句话:把手动操作的步骤固定在爬虫页面步骤上。


1.4 流程图