?? ?首先，來說的是，reduce并發(fā)任務(wù)數(shù)，默認(rèn)是1。

即，在jps后，出現(xiàn)一個(gè)yarnchild。之后又消失。

?

? ??

?

?

　　?這里，我控制reduce并發(fā)任務(wù)數(shù)6。

?

?

　　有多少個(gè)reduce的并發(fā)任務(wù)數(shù)可以在程序里控制，但有多少個(gè)map的并發(fā)任務(wù)數(shù)還沒。

　　其實(shí)啊，有多少個(gè)map的并發(fā)任務(wù)數(shù)還沒（是在分片中控制的）。

?

?

?

?

?

?

　1、現(xiàn)在，我們控制為map的并發(fā)任務(wù)數(shù)為4。（即是在分片中控制）

?

?

?

?

　　　2、　jps -> ? 生成個(gè)Runjar? ->?

?

?

?

?

?

　　　　　3、jps -> 生成個(gè)Runjar? ->? 生成個(gè)MRAppMaster（運(yùn)行map任務(wù)）

soga

?

?

?

?

　4、　jps ?-> ?生成個(gè)Runjar? ->? 生成個(gè)MRAppMaster（運(yùn)行map任務(wù)） -> 查看map并發(fā)任務(wù)數(shù) ->

?

?

　　5、?jps ?-> 生成個(gè)Runjar? ->? 生成個(gè)MRAppMaster（運(yùn)行map任務(wù)） -> 查看map并發(fā)任務(wù)數(shù) ->? Map的Task進(jìn)程被回收? ->查看reduce并發(fā)任務(wù)數(shù) -> Reduce的Task進(jìn)程被回收 –> jps

?

　　　　　　　　以上是單獨(dú)控制了Mapreduce的map并發(fā)任務(wù)數(shù)和reduce并發(fā)任務(wù)數(shù)。

?

?

?

?

總結(jié)

　　前者M(jìn)apreduce的map并發(fā)任務(wù)數(shù)默認(rèn)是1，控制reduce并發(fā)任務(wù)數(shù)為6。

　　后者控制map并發(fā)任務(wù)數(shù)為4，Mapreduce的reduce并發(fā)任務(wù)數(shù)默認(rèn)是1。

　　綜合即控制map，又控制reduce，不再贅述。

?

?

本文轉(zhuǎn)自大數(shù)據(jù)躺過的坑博客園博客，原文鏈接：http://www.cnblogs.com/zlslch/p/5713652.html，如需轉(zhuǎn)載請自行聯(lián)系原作者

總結(jié)

以上是生活随笔為你收集整理的Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现（十八）...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。