SSH+Oracle批量插入数据小结
插入数据是一项很简单的操作,但一旦提高了数据量,就变得不那么容易。
最近项目中使用SSH+oracle数据库,使用C3P0连接池,要求当执行某动作时在2表中各插入一万条数据。于是就采用了jdbc的方式插入。
先获取一个sequence,再将数据插入到数据库中。一测试时间,崩溃了,用时近3分钟(其中获取两个表的sequence很费时),后来想想以前曾经做过一个类似的项目,使用了主键自增的策略,就将主键改为自增了。再次测试,还可以,不到3秒。将此代码记录下来,以便日后参考。
顺便说说,可以使用存储过程(尤其是操作多个表插数据),这样效率更快些。
表就省略了,下面是sequence:
public void save(final List list)throws HibernateException, SQLException {this.getHibernateTemplate().execute(new HibernateCallback() {public Object doInHibernate(Session session)throws HibernateException, SQLException {Connection conn = session.connection();PreparedStatement ps = null;PreparedStatement _ps = null;String sql = "INSERT INTO TB1(column,...) VALUES (?,...)";String _sql = "INSERT INTO TB2(column,...) VALUES(?,...)";ps = conn.prepareStatement(sql);_ps = conn.prepareStatement(_sql);for (int i = 0; i < list.size(); i++) {ps.setString(1, "");//ps.set...ps.addBatch();_ps.setString(1, "");//_ps.set..._ps.addBatch();// 每一万次执行并清除session,否则你懂的。if (i % 10000 == 0) {ps.executeBatch();_ps.executeBatch();session.flush();session.close();}}ps.executeBatch();_ps.executeBatch();ps.close();_ps.close();session.flush();session.close();return null;}});}