- 1.采用Hive-testbench对EMR集群进行了TPC-DS性能测试
- 2.生产了10G的测试数据
- 3.部分查询性能图形如下
- 3.1走MR计算引擎
- 3.2走Spark引擎
- 3.1走MR计算引擎
- 4.性能测试时暴露出的问题：
- 4.1spark-history详细运行历史明细无法查看，需要设置对应的网址映射
- 4.2运行日志无法下载
- 4.3队列未设置，仅有Default队列，且调度规则为FIFO，存在资源浪费的情况，需修改为容量调度器
- 4.1spark-history详细运行历史明细无法查看，需要设置对应的网址映射
作者 admin
张宴银，大数据开发工程师