首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > JAVA > J2EE开发 >

大数据量 求效率,该如何处理

2012-04-02 
大数据量求效率现在的问题是,我们在做一个项目的统计。但是数据量非常的大。可能有几十亿。然后独立一个程序

大数据量 求效率
现在的问题是,我们在做一个项目的统计。但是数据量非常的大。可能有几十亿。
然后独立一个程序专门做统计,在框架选择方面,谁有没有好的意见?在网上看到Hadoop,不知道谁有没有这方面的经验?

[解决办法]
hadoop一般是用來處理特別大的數據的,一般是 T級別的。采用分布式存儲,其實就是借助非結構化的dbms存儲在硬盤中。

[解决办法]
当前比较流行的云计算可能比较适合楼主的问题。
每个程序负责其下的1万个节点的统计,任何一个节点发生变化,均向其父节点报告,这样的话,分四级,可覆盖1万亿的数据量,远远超过楼主的几十亿。

热点排行