map未完全运行结束就启动reduce的异常与解决方法

发表于 | 分类于 ，
本文字数： 1.5k | 阅读时长 ≈ 1 分钟

今日运行噪音过滤MR，反复几次，map运行至99.8%reduce运行至16%时，程序僵死，持续2个多小时，忍无可忍，kill之。截图如下：

exception

遂发sos与“科学家”，小论之，迎刃而解。解法：进配置文件，添加参数“mapreduce.job.reduce.slowstart.completedmaps”。参数细节请客官观之：

1
2
3
4
<property>
<name>mapreduce.job.reduce.slowstart.completedmaps</name>
<value>1.0</value>
</property>

释义：map100%运行完后才启动reduce。

done

(2017-03-09)