- HADOOP参数调优
- 1） hdfs-site.xml
- 文件中配置多目录，最好提前配置好，否则更改目录需要重新启动集群
- 2）dfs.namenode.handler.count=20 * log2(Cluster Size)
- NameNode 有一个工作线程池，用来处理不同 DataNode 的并发心跳以及客户端并发的元数据操作。
- 比如集群规模为 10 台时，此参数设置为 60
- 3 ） dfs.namenode.edits.dir 编辑 日 志 存 储 路 径设置与 镜 像 文 件 存 储 路 径 dfs.namenode.name.dir 尽量分开，达到最低写入延迟
- 4）yarn.nodemanager.resource.memory-mb 服务器节点上 YARN 可使用的物理内存总量，默认是 8192（MB），注意，如果你的节点内存资源不够 8GB，则需要调减小这个值，而 YARN 不会智能的探测节点的物理内存总量。
- 5）yarn.scheduler.maximumallocation-mb 单个任务可申请的最多物理内存量，默认是 8192（MB）
- ————————————————
- 版权声明：本文为CSDN博主「鹜 骜」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
- 原文链接：https://blog.csdn.net/weixin_42385705/article/details/105532249
作者 admin
张宴银，大数据开发工程师