双击此处添加文字
ETL增量更新调度—操作文档
来源: | 作者:佚名 | 发布时间: 2023-06-21 | 301 次浏览 | 分享到:

1.概念了解

1.1 首先了解全量更新以及增量更新的概念:

全量更新:每天定时(避开任务高峰期)或者周期性全量把数据从一个地方拷贝到另外一个地方。耗时长、占用资源,随着数据量的增长,这几个问题的影响也会变得越来越明显,所以基本数据(客户数据、部门数据等)使用全量更新;

增量更新:就是指抓取某个时刻(更新时间)以后的数据来同步,不是无规律的全量同步。耗时短不太占用资源,所以业务数据(销售订单、采购订单等)在初始化全量更新之后改为增量更新;


2.配置步骤

2.1 首先登录奥威BI系统首页找到【ETL设置】,点击进去;


2.2 点击进去之后,找到【变量管理】,点击进去之后就能看到所有的变量信息了;

2.3 然后在变量中找到时间变量,可以先在变量描述中看看有没有相关描述,如果没有的话,可以找实施技术同事或者IT同事问清楚时间变量使用的是哪个,找到变量后,点击修改按钮就能看到变量的基本内容信息了;


2.4 点击【修改变量】按钮后,需要调整变量类型和默认值,一般会将变量类型调整为增量年或增量月,默认值调整为1或2,具体的填写内容按照实际规定进行配置即可,调整完成后点击保存按钮,保存成功后,可点击边上的【计算变量】按钮,系统会自动根据变量填写的内容自动计算弹出变量值;

注:如当前日期是2023-06-20,变量类型为增量月,默认值为1,那么该变量的值则为2023-05-01,也就是说ETL中使用该变量的地方变量值则会变成2023-05-01;

如当前日期是2023-06-20,变量类型为增量年,默认值为1,那么该变量的值则为2022-01-01,也就是说ETL中使用该变量的地方变量值则会变成2022-01-01;


2.5【此步骤非IT技术人员可跳过】变量修改完成后,可点击【变量管理】下面的【作业流程】,找到一个有使用时间变量的作业流程,右击编辑按钮,点击脚本定义,检查确认该脚本中有使用到调整过的时间变量,点击【获取SQL】按钮,会直接复制脚本内容,然后到SQL工具里面进行粘贴查看,会发现变量名称直接变成了具体日期,那就说明时间变量是修改使用成功的;


2.6 然后我们来到最下面的【计划调度】,点击进去之后,在主文件夹下面有一个默认调度任务,选中该调度任务,在触发器这一栏点击【添加触发器】按钮进行新建触发器,点击保存;

名称:填写触发器名称

调度时间类型:是默认每天,具体可按照实际需求调整

开始时间(24h):按照实际需求进行设置

是否启用:选择是

2.7 触发器保存成功之后,点击最上方的首页,可以看到调度计划中有一个计划任务了,看到【下次执行时间】是空的,那就说明触发器的触发时间没有生效,我们需要再回到【计划调度】中,找到新增的触发器,点击右边的编辑按钮,无需修改任何内容,直接点击保存按钮即可,然后再回到首页就会发现【下次执行时间】中有执行的时间了,这就说明配置的触发器生效了,我们只需要等待系统自动执行调度任务即可;