- 1.以下述随机找的一张表为例
- 1.1配置datax上的采集配置信息。当’读类型’为 ‘变化’时， 变化依据字段需要是一个时间字段才可以
- 1.2配置好datax写入配置，此处不再赘述，点击保存。生成datax配置文件
- 1.3在项目管理，工作流定义中，拖拽出来一个datax模块。选中上述步骤中配置好的datax采集任务
- 备注说明：
- 对上述配置的 datax采集配置生成 的json文件进行观察 ，可以发现下图中的信息。
- 即上述中 配置的 ‘变化’ 指的是 某个字段在 value1 和 value2 范围内的数据，会被查询出来，再写入目标表中。
- 所以其实 ‘变化’ 这个模块，实现的 还是根据时间进行 增量采集的功能
- 对上述配置的 datax采集配置生成 的json文件进行观察 ，可以发现下图中的信息。
- 备注说明：
- 2.新增两行自定义参数，设置好value1 和 value2的值。
- $[yyyy-MM-dd-1] 表示获取当前系统日期的前一天日期 （eg: 2022-09-26）
- $[yyyy-MM-dd] 表示获取当前系统日期 (eg: 2022-09-27)
- 3.保存，运行这个工作流
- 运行成功
- 查看日志：
- 根据日志发现有20条数据符合要求，已被 成功采集写入到目标数据表中
- 观察日志发现，这个工作流的实际 意义 如下:
- 查询 LASTMODIFIEDDATE （最后一次操作时间）这个字段数据 在 昨天（2022-09-26）和 今天（2022-09-27）之间的数据。
- 追加写入到目标表中
- 运行成功
- 1.1配置datax上的采集配置信息。当’读类型’为 ‘变化’时， 变化依据字段需要是一个时间字段才可以
作者 admin
张宴银，大数据开发工程师