• 如何保证batch任务运行完成后不再被重启?
    • restart重启策略选择 never
    • always表示会一直重启
  • 关于services
    • Headless Services
    • .spec.clusterIP = “None”
    • service类型
    • serviceType = “clusterIP” or “NodePort”
    • http://192.168.3.100:8801/
    • /opt/seatunnel-web/ web的路径
    • mysql批处理采集测试
      • 重复运行相同的mysql_test_batch批处理采集任务,发现结果集一直不变。
        • 猜测:
          • 1:seatunnel 的batch模式默认先清空目标表(50%可能性排除)
            • mysql批处理采集任务多次运行时,Mysql目标表更新时间未变动,所以无truncate表操作
            • 可在hive中建目标表,查看多次运行batch采集任务时,hive表底层hdfs文件系统的变动情况
          • 2:seatunnel 运行时会先查询自身的运行记录,相同的运行任务不会重复执行(已排除–清空目标表后,再次执行,结果集会出现数据)
          • 3:seatunnel运行时会先检查目标表数据,比对后再写入?(需要查看底层配置文件,看下啥原因。或者查看seatunnel的源码或官网)
    • mysql cdc采集测试
    • sqlserver批处理采集测试
      • jdbc:sqlserver://;serverName=172.20.51.28\sql2019;databaseName=master
      • shuke_etl / FUdJkwkL53
      • YiyCits.dbo.Accounts
      • 113 zyy.accounts

作者 admin

张宴银,大数据开发工程师

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注