消息关闭
    暂无新消息!

我通过将输入文件分为四份使得hadoop程序运行时有四个map,但是我无法确定到底哪个map在哪个节点上运行。Web UI显示如下:

我的集群nodeManager有两个,这里好像表明四个map都运行在了centos2节点上。试了多次都是同一个结果。

为什么map任务不能分配到多个节点上呢?还有,我的配置文件基本上是默认的,也就是说mapreduce.job.maps为默认值2, mapreduce.tasktracker.map.tasks.maximum也为默认值2, 个人觉得一个设置了每个jobtask数为2, 一个设置了每个tasktracker(每个节点)的任务数不超过2,不可能存在一个节点上四个map的情况啊?这两个配置参数究竟是如何影响程序的?


1个回答

︿ 0

1.首先,你不能确定map运行在哪个机器上,hadoop有内部有算法决定。其实你可以通过

hadoop job -list-active-trackers

看看tasktracker是不是都正常
2.为什么有4个map任务呢?一个map分为不同阶段,比如SETUP、CLEANUP,所以其中两个attempt对应这两个,其余两个才是真正的map逻辑。