万万数据比较请帮忙支招

千万数据比较请帮忙支招

? ? ? 大家好！我现在有个需求，是读取excel中的记录，大概会有一百个excel文件，将其中感兴趣的列解析取出，一共拼接起来会有500W行记录或者更多，数据库中也有这样的记录。我需要将excel中读取的和数据库中的比较id和number俩列是否一样，不一样的则认为错误。现在数据库已经很慢了，我的做法是将excel读取的组成一个文件，然后将id和number放到map中，数据库的查询后也将id和number放到文件中装入map,比较俩个map，不一致的记录下来。但是现在问题是文件太大的话jvm肯定受不了，大家有没有好的办法比较？thanks

1 楼 beifengbei08 2011-07-12   放到俩个map中千万条数据比较加载到内存能吃消吗？ 2 楼 jychenok 2011-07-12   布隆过滤器 3 楼 hzw2312 2011-07-13   用多线程分批处理、不过这样时间比较久、！ 4 楼 zxl19831220 2011-07-13   将EXCEL数据导入到数据库中新建得表中
然后写存储过程对两张表进行比对。 5 楼 bjhyna 2011-07-13   jychenok 写道布隆过滤器
能详细点吗？ 6 楼 bjhyna 2011-07-13   hzw2312 写道用多线程分批处理、不过这样时间比较久、！
excel读取和解析我用的是多线程进行处理，但是数据库里的查询也用多线程读出来？ 7 楼 bjhyna 2011-07-13   zxl19831220 写道将EXCEL数据导入到数据库中新建得表中
然后写存储过程对两张表进行比对。
就是在数据库操作非常慢，所以才想拿出来比，因为那个机器太破了，没人维护 8 楼 qingming.com 2011-07-13   导到数据库怎么也比你用程序快呀。自己建一个库都来得及。建好索引。 9 楼 Reset 2011-07-13   解析excel ，建立全文检索的索引 ，然后检索对比

查看更多 下一篇