- hadoop distcp hftp hdfs跨集群拷贝常见问题归总 – 简书 (jianshu.com)
- 在源端集群中执行如下命令：
- 方案总结：
- 在data-01-test执行
- 1:su hdfs
- 2:
- hadoop distcp -Ddfs.check.sum.type=CRC32 -Dmapred.speculative.execution=false -Ddfs.replication=3 -bandwidth 10 \
- -prbugpcaxt \
- -overwrite -skipcrccheck -pb \
- hdfs://xxxx:8020/warehouse/tablespace/managed/hive/ezp_ubs.db \
- hdfs://xxxx:8020/warehouse/tablespace/managed/hive/ezp_ubs.db
- 经测试，发现，如果数据导过去了，而表结构没有，则数据无法成功导入
- 实施方案，一个database 一个database的先把数据导入
- 在data-01-test执行
作者 admin
张宴银，大数据开发工程师