- 1.执行impala的sh脚本报错如下
- 对于云创二期的迁移需求
- impala功能测试
- hive中文注释问题
- 解决方案：jdbc:mysql://xxxx/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8
- 新增database报错
- 解决方案：
- 1. ln -sf /usr/lib/impala/lib/hive-metastore-2.3.9.jar /usr/lib/impala/lib/hive-metastore.jar （替换hive-metastore包）
- 2. su hdfs 运行测试shell脚本
- 3.一期hive中涉及到的建表语句中不能有 insert only 限定条件
- 修改如下参数并重新创建一期的表，重新运行采集任务
- 建表语句从一起的hive数仓直接导出备份，重新运行一期的建表语句，并执行对应的工作流
- 测试环境
- cc_wms已重建有insert only限定条件的表，测试环境hive数据库里的建表语句也已备份。工作流已重新运行。无报错
- cc_drp drp-01 drp-02 drp-03工作流运行无报错
- cc_scm_data 已重建有insert only限定条件的表 （直接使用dbeaver获取的ddl建表语句修改运行重新建表，绝无可能出错）
- ezp系统采集 也已重建有insert only限定条件的表，四个工作流也重新运行成功
- 测试环境
- 修改如下参数并重新创建一期的表，重新运行采集任务
- hive中文注释问题
- spark2功能测试
- python功能测试
- sqoop功能测试
- 测试结果
- 1.使用sqoop的条件1：数据库所在服务器需要安装有sqoop
- 2.使用sqoop的条件2：远程访问存在问题，需要解决远程访问的问题才能进行跨服务器的sqoop抽数
- 3.sqoop脚本需要修改如下 几处
- 4.sqoop脚本中的、数据库名大小写敏感
- 5.sqoop运行时间较长，效率很低
- 测试结果
- impala功能测试
作者 admin
张宴银，大数据开发工程师