互联网服务数据库
hadoop资源分布问题
Hadoop是如何保证集群中的各个主机上的资源使用的均衡的
收起查看其它 2 个回答humidy的回答
现在Hadoop集群都是基于YARN或MESOS来管理，在这个基础上我们可以根据集群的硬件情况分配不同的适当容器，在此基础上可以使用Docker来做容器管理，控制集群的整体资源！目前Hadoop的YARN在资源这块已经做了很多的改进其中的Capacity调度也改进了不少，可以深度看看！
- 那如果在hdfs存数据的时候出现资源分配不均匀，一般怎么处理呢
- 如果是1.0的版本，数据分配不均，每天可以手动通过数据平衡命令来实现数据平衡，资源，因为1.0主要是分配map和reduce的槽位slot，所以根据硬件不一样，更改slot数目可以缓解不平衡的影响。如果是在2.0在yarn中，我们可以更改配置文件中设置不同配置的容器container总数目来缓解这种不平衡。