hadoop的地图reduce的一些关键点整理

hadoop的mapreduce的一些关键点整理?????其实shuffle并不是什么复杂的东西,shuffle描述的是从map端处理完

hadoop的mapreduce的一些关键点整理

?


?

?


?

?

其实shuffle并不是什么复杂的东西,shuffle描述的是从map端处理完数据后,reduce端从map端获取数据进行处理的过程,只需要明白map端和reduce分别都怎么处理的,就明白了mapreduce的原理。因此,shuffle可以理解为一个描述性的词语,想想一个map的结果会输出到不同的reduce节点;而一个ruduce节点的数据是来自多个map,这样一个mxn的形式,用线连起来,是不是像洗牌操作?

?