• insert overwrite table cc_scm.testtable
  • select
  • BatchCount,
  • concat(split(ProduceBatchCode,’-‘)[0],cc_scm.to_color_code(ColorName)) as SKC,
  • BackTogetherRate,
  • DeliveryRate,
  • DelayDays,
  • DelayDeliveryQty
  • from cc_scm.scm_produce_merchandiser_schedule_hive limit 100;
  • 解决方案:
    • custom hive-site.xml设置如下参数
      • set hive.in.test = true
      • 修复效果
      • 设置hive on mr
      • impala数据查询
      • 自定义函数的使用
    • 出现新的问题,invalidate metadata cc_drp.c_area 执行这句话之后,cc_drp.c_area的 数据就不可查询了
    • 根据报错 信息提示,set metastore.client.capability.check = false (custom hive-site.xml)
    • 问题已修复
    • set hive on mr 成功
    • 使用自定义函数且执行insert 语句成功
    • impala查询数据正常
    • impala执行刷新元数据,再次执行查询操作,正常
    • 切换计算引擎为mr
      • set hive.execution.engine=mr;

作者 admin

张宴银,大数据开发工程师

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注