首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 企业软件 > 行业软件 >

别拿Hadoop 地图 key当id使

2012-06-29 
别拿Hadoop map key当id使在写mapreduce时,发现一个问题:hadoop的map函数的key一般是输入文件的行号,于是

别拿Hadoop map key当id使

在写mapreduce时,发现一个问题:

hadoop的map函数的key一般是输入文件的行号,于是乎就希望把这个当作一个unique id来用,但是确出了很严重的问题,在分布式集群中,不同map任务中可能会有很多相同的行号,千万不能把这个key当作id.

热点排行