Hadoop运用：You might also know

Hadoop应用：You might also know

?

You might also know，也就是潜在好友推荐，据我所知是LinkedIn最早推出的，现在已经是一个非常常见的应用了，在qq，微博，微信里面都有类似的功能。虽说这个功能的原理非常简单，但是能第一个想到，还是非常令人钦佩。就像Google赖以发家的PageRank算法，思路都不难，贵在能够首先想到并付诸实施。?算法的大概思路如下：假设 ?andy 认识 vincent， vincent 又认识 bob， 那么 andy 认识 bob 的几率就非常大，如果 andy 还有第二个，第三个朋友也认识 bob， 那么 andy 认识 bob 的几率就更大了。简单的说，就是朋友的朋友（qq，微信，微信中的好友），很有可能就是你认识的人。?假设微信要统计所有用户的潜在好友，具体算法如下：

   foreach user in weixin      遍历所有的微信用户           foreach friend in "user's friend list"    遍历当前用户的好友列表                     foreach friend2 in "friend's friend list"   遍历当前朋友的朋友列表                     {                          如果friend2不在user的好友列表中，对（user， friend2）计数加1，最后计数越大，说明 friend2最有可能是user的朋友                          if(friend2 not in "user's friend list")                                    count(user, friend2) ++;                              }

?
??假设微信有1亿用户，每个用户有大概100个好友，要完成上面的运行，需要100*100*1亿次循环，这个时候hadoop就派上用场了，每个用户潜在好友的计算是互不干扰的，完全可以把1亿用户分布到多个map中同时计算。?这个应用场景用到的数据量并不大，只是计算量巨大，使用hadoop能很好的解决这个问题，在我看到的资料中，LinkedIn只用到了2个工程师，就完成了这个功能?参考资料：slideshare中关于hadoop的slide

?

查看更多 下一篇