1.概述
1.1 爬虫是什么
1.2 能抓到什么样的数据
1.3 怎么用爬虫
2.操作步骤
2.1 爬虫界面
2.2 文件夹与文件管理
2.3 任务管理
2.4 控件操作
2.5 控件设置
双击此处添加文字
奥威BI帮助文档
从这里开始
入门到精通
图表示例
大屏展示
腾讯课堂
官网
常见问题
软件下载
标题
摘要
内容
功能更新
V8.9版本说明(2022年5月12日)
V8.8版本说明(2022年4月15日)
V8.7版本说明(2021年12月22日)
V8.6小版本说明(2021年11月19日)
V8.6版本说明(2021年11月11日)
V8.5版本说明(2021年10月11日)
V8.4版本说明(2021年8月09日)
V8.4版本说明(2021年7月05日)
V8.1版本说明(2021年3月12日)
V8.1版本说明(2021年1月18日)
V8.1版本说明(2020年12月04日)
V8.1版本说明(2020年11月10日)
V8.1版本说明(2020年9月30日)
V8.1版本说明(2020年9月10日)
V8.1版本说明(2020年8月21日)
V8.1版本说明(2020年8月5日)
V7.10版本说明(2020年6月23日)
V7.10版本说明(2020年5月12日)
V7.9版本说明(2020年3月31)
V7.8版本说明(2020年3月24日)
V7.7版本说明(2020年2月19日)
V7.7版本说明(2020年1月9日)
V8.8版本说明文档
系统安装部署
• Windows部署
• Windows下安装OurwayBI
• Windows下sqlite支撑库自动备份
• Linux部署
• Linux下安装OurwayBI
• Linux下OurwayBI补丁包更新
• Linux下Mysql支撑库自动备份
• Linux下sqlite支撑库自动备份
• 其他环境安装
• MySQL安装
• JDK安装与配置
• 产品注册
• 免费注册
• 正式注册-在线注册
• 正式注册-离线注册
• OurwayBI端口修改
• OurwayBI双开
• 升级
• 更换支撑库
• 移植
• 版本查看
报表及管理驾驶舱开发
• 数据源连接
• Excel数据源连接方式
• MSSQL数据源连接方式
• MYSQL数据源连接方式
• ORACLE数据源连接方式
• Sqlitel数据源连接方式
• Mongodb数据源连接方式
• K3Cloud数据源
• WEBAPI数据源连接方式
• 数据源更新
• 编辑视图
• Excel数据源编辑视图
• 非Excel数据源编辑视图
• 数据字典
• 数据视图
• 自定义SQL与存储过程
• 报表设计界面
• 新建报表与框架说明
• 数据集构建器
• 报表应用
• 局域网访问
• 报表分享
• 报表导出
• 报表框架导入导出
图表类型
• 表格
• 表格
• 中国式表格
• 饼图
• 饼图
• 并列饼图
• 嵌套饼图
• 嵌套环形图
• 百分比图
• 百分比弧形图
• 柱形图
• 柱形图-标准图
• 柱形图-百分比图
• 柱形图-层叠图
• 柱形图-电量百分比图
• 柱形图-堆积图
• 柱形图-对比柱状图
• 柱形图-阶梯图
• 柱形图-瀑布图
• 柱形图-图形工具
• 柱形图-象形图
• 柱形图-柱状气泡图
• 折线图
• 折线图-面积图、堆积面积图
• 折线图-折线图、不带标记图
• 折线图-纵向折线气泡图、横向折线气泡图
• 条形图
• 条形图-标准图
• 条形图-百分比图
• 条形图-层叠图
• 条形图-电量百分比图
• 条形图-堆积图
• 条形图-排行榜类型图
• 条形图-评分
• 条形图-旋风图
• 地图
• 饼图地图
• 3D地图
• 3D地图3
• 世界地图
• 中国地图
• 自定义区域描图(中国地图控件)
• 多地图
• 标线地图
• 热度地图
• 地铁图
• 百度地图
• 路线地图
• 散点气泡图
• 散点气泡图-气泡图、类目气泡图
• 散点气泡图-散点图
• 漏斗图
• 漏斗图-对比漏斗图
• 漏斗图-对称漏斗图
• 漏斗图-漏斗图、金字塔、漏斗柱形图
• 漏斗图-组合漏斗图
• 日历图
• 日历饼图
• 日历气泡图
• 日历热力图
• 直系坐标热力图
• 仪表盘
• 仪表盘
• 多值仪表盘
• 组合仪表盘
• gauge仪表盘
• 百分比刻度槽
• 百分比环形仪
• 标签
• 多值KPI
• 计量图
• 徽标数
• 进度仪表盘
• 试管仪表盘
• 数字图
• 水球图
• 温度计
• 容器
• 容器
• 选项卡容器
• 更多
• 堆积雷达图
• 极坐标图
• 雷达图
• 步骤图
• 嵌入网页
• 热力图、表格热力图
• 时钟图
• 树图
• 树型图
• 天气图
• 富文本框
• 富文本框添加视频流
• 子弹图
• 字符云
• 甘特图
• 更多其他
• 机器状态图
• 图片上传
• 线图
• 桑基图
• 关联图
• 3D模型
• 跳转链接
图表对象应用
• 图表样式
• 图层功能
• 如何选择适用的图表类型
• 图文分析报告
• 图片上传地图
• 小图标与背景图应用
智能分析
• 内存计算
• 聚合
• 总聚合
• 排序
• 同期
• 排名
• 占比
• 累计占比
• TOP占比
• TOP累计占比
• 累计值
• 显示行TOP
• 显示列TOP
• 清除聚合
• 唯一
• 筛选
• 联动
• 钻取
• 方案管理
• 浏览时修改数据集构建器
• 浏览时修改公共筛选
• 时间近期
• 行计算
• 默认时间
• 行列互换
大屏可视化&移动端
• 大屏可视化
• 快速做报表
• 大屏应用
• 模板秀
• 分享秀
• 移动端
• 移动端应用
• 移动端访问
• 移动端简表
• 移动端菜单样式
• 移动端工具栏
• 移动端布局
• 移动端菜单发布
ETL&数据填报
• ETL
• ETL应用
• 计划调度
• ETL导入导出
• ETL自动发送日志
• 数据填报
• 填报简介
• 填报工具栏说明
• 普通填报
• 表头表体填报
• 固定行填报
• 填报设计技巧
• 填报审核权限设置
系统管理
• 权限
• 组织架构、角色与用户
• 菜单发布
• 数据源授权
• 视图授权
• 角色授权
• 用户授权
• 数据授权
• 用户组织角色和角色数据授权导入导出
• 系统配置(个性化开发)
• 报表订阅
• 系统日志
• 清理日志
• 快照
部署集成
• 单点登录
• URL传参
• 钉钉云之家集成
• 微信集成
• 泛微OA集成管理
标准解决方案
• OurwayBI for K3安装与配置说明文档
• OurwayBI for U8安装与配置说明文档
• OurwayBI for K3CLOUD安装与配置说明文档
AI
• 智能缓存
• 爬虫
多语言
• 多语言
高手训练营
• 高手训练营之默认时间
• 高手训练营之缓存
• 数据问题排查技巧
• 常见场景
查看其他用户设计的报表
智能框架下载引用模板秀
如何让图表无数据列不显示0
sqlite支撑库转为mysql支撑库
大屏展示文件夹
• 工序生产驾驶舱
• 商贸管理驾驶舱
• 剁手党消费偏好分析
• 3C销售管理驾驶舱
• 医疗机构覆盖分析
• 手游综合分析
• 销售驾驶舱
• 商城管理
• 奥威镇
• 港澳出入境分析
爬虫
来源:
|
作者:
佚名
|
发布时间:
2020-12-22
|
773
次浏览
|
分享到:
1.概述
1.1 爬虫是什么
用自动化程序把网页数据放到本地,同时能将网络中非结构化数据转化为结构化数据。
过程:向浏览器发送请求(打开网页获取网页代码)---> 提取有用的数据--->存放于数据库或文件中。
1.2 能抓到什么样的数据
网页文本:如 HTML 文档, Ajax加载的 Json 格式文本等;
图片,视频等:可以获取到二进制文件,保存为图片或视频的格式;
1.3 怎么用爬虫
简单来说就是在网页上设定需要获取哪些信息和加上一些操作步骤比翻页。
一句话:把手动操作的步骤固定在爬虫页面步骤上。
2.操作步骤
2.1 爬虫界面
2.2
文件夹与文件管理
目前没有二级目录:
2.3
任务管理
移动任务:可以拖动任务到其他文件夹内
2.4
控件操作
爬取逻辑的设置,主要是拖动控件操作
(1)拖动控件
每个控件功能不一样,需要拖动,做逻辑连接。
构建逻辑:
拖动到面板上
控件之间的逻辑
拖动一个新的控件,覆盖到面板的控件上,当有蓝色框后,就松开左键
按照采集步骤构建控件逻辑
(2)填写控件信息
2.5
控件设置
(1)打开网页
可以手动输入多个链接,或者从数据库获取链接
(2)循环翻页
过滤规则:
url:整串url判断,或者url包含的参数,满足则进行爬取内容
Databasedata: 目前过滤数据库保存的时间是否满足爬取的内容
Webelement: 页面元素是否满足存在或满足其他要求
并发数要求:是点击后产生新当页面或者是有多个链接循环时设置才生效
(3)选取元素
注意特殊格式的采集
等待时间:是在抓取数据前的等待时间
(4)存储元素
(5)点击操作
点击页面元素的操作,会自动跟随新开页面
(6)删除
删除控件—选择控件,点击删除
(7)查看表
查看该账户历史存储数据的表
(8)结束
终止爬虫