- 如何保证batch任务运行完成后不再被重启?
- restart重启策略选择 never
- always表示会一直重启
- 关于services
- Headless Services
- .spec.clusterIP = “None”
- service类型
- serviceType = “clusterIP” or “NodePort”
- http://192.168.3.100:8801/
- /opt/seatunnel-web/ web的路径
- mysql批处理采集测试
- 重复运行相同的mysql_test_batch批处理采集任务,发现结果集一直不变。
- 猜测:
- 1:seatunnel 的batch模式默认先清空目标表(50%可能性排除)
- mysql批处理采集任务多次运行时,Mysql目标表更新时间未变动,所以无truncate表操作
- 可在hive中建目标表,查看多次运行batch采集任务时,hive表底层hdfs文件系统的变动情况
- mysql批处理采集任务多次运行时,Mysql目标表更新时间未变动,所以无truncate表操作
- 2:seatunnel 运行时会先查询自身的运行记录,相同的运行任务不会重复执行(已排除–清空目标表后,再次执行,结果集会出现数据)
- 3:seatunnel运行时会先检查目标表数据,比对后再写入?(需要查看底层配置文件,看下啥原因。或者查看seatunnel的源码或官网)
- 1:seatunnel 的batch模式默认先清空目标表(50%可能性排除)
- 猜测:
- 重复运行相同的mysql_test_batch批处理采集任务,发现结果集一直不变。
- mysql cdc采集测试
- sqlserver批处理采集测试
- jdbc:sqlserver://;serverName=172.20.51.28\sql2019;databaseName=master
- shuke_etl / FUdJkwkL53
- YiyCits.dbo.Accounts
- 113 zyy.accounts