- 晚上调度29号成功，30号没有成功，报错信息是这个
- 原因分析
- 1：https://blog.51cto.com/u_16175434/6765831
- 2：最终定位为任务调度频率设置出错，占用满yarn集群资源，导致任务提交失败
- 排查过程记录
- 这个任务的调度时间是4：20，排查到yarn任务队列中，该时间点存在大量失败的任务记录
- 怀疑是分钟级调度占用了yarn的调度资源，导致这个任务无法正常提交到yarn上运行，所以报错，无法创建spark client错误
- 任务运行成功记录也在4.13分到4.30分之间存在真空地带
- 4.00左右这个时间点确实是yarn的调度峰值
- 原因定位为任务调度时间设置出错，占用满yarn队列资源，导致正常调度的任务无法成功提交到集群。
- 1：https://blog.51cto.com/u_16175434/6765831
作者 admin
张宴银，大数据开发工程师