关于海量数据的处理问题
每天大概有100多万条的数据需要从日志文件中读取出来，处理完后插入数据库表，各位有什么好的方案吗？主要是性能方面
[解决办法]
100多万条的日志文件，会比较大，从文件读本来就是很慢的，但是这个步骤是不能省略的。
所以这个程序最主要的效率就是看读文件这个部分的效率。
数据的处理，这个过程要看是否复杂，可以把数据的处理交给数据库进行，就是读数据查入到数据库中，然后用存储过程来处理数据。
[解决办法]
如果分析后觉得可以先把日志都装入数据库，让数据库来处理的话，可以用db2 load来装，这个是很快的。
