hibernate 处理百万级 数据
好些天了吧,没有写了!今天闲了,正好这两天也有收获特此一记!
先说需求吧,现在有这样一个文件,是txt 里面全部是纯数据。。。
数据格式如下:
01,02,03,04,05,06
02,03,04,05,06,07
03,04,05,06,07,08
.......
只有这一列。。。。也许第一行有可能重复 N 次 ,现在客户需要 找到这些数据里面每一组
数据只出现一次的.。 看到这里 也许 你已经有办法了,说用sql 语句直接查询统计就出来了
是的!你的想法是正确的,但是对于一个24M 的 txt 文件。。你如何让这些纯数据 添加到数据
库呢? 还有就是需求也还需要去查询 还有导出(txt格式 还是这个格式)!!!
先说我的思路:关于到读取文件 那就要用到IO 了。。。这里因为就只有一列数据而且每一列数据是一行所以我当时想到的就是使用 FileReader 调用里面的readLine() 方法
这样每次都能读取一行!!!
来看一段代码:
vo:
这样的话文件的导入就很快了!!!但是我在想加入数据库 都不支持这种做法不知道有没有更好的方法去从一个txt中读出来元数据 并写入到数据库中!!!