关于hibernate批处理（一）

网上也有很多关于hibernate的批处理建议，基本上都是一样的，但如果我们的系统设计的比较纯面向对象，这种方案是非常失败的。下面我来讲述下我使用这种方法碰到的问题，然后分析问题的原因，给出我们目前能接受的方案。

传统方案

利用hibernate.jdbc.batch_size参数，session.flush();，session.clear();来释放内存

<hibernate-configuration>
<session-factory>
.........
<property name=” hibernate.jdbc.batch_size”>50</property>
.........
<session-factory>
<hibernate-configuration>

?

Session session=HibernateUtil.currentSession();
Transatcion tx=session.beginTransaction();
for(int i=0;i<100000;i++)
...{
Student s=new Student();
s.setName(“Paul”);
session.save(s);
if(i%50==0) //以每50个数据作为一个处理单元
...{
session.flush(); //保持与数据库数据的同步
session.clear(); //清除内部缓存的全部数据，及时释放出占用的内存
}
}
tx.commit();

问题

上面的问题主要出在问题1）

新的方案

以空间换时间

针对传统方案一一解决

一般我们的对象关联都设置为延迟加载，所以循环时才去find，这样性能也是很慢的

有两种办法来解决

?

List <Object[]> addlist=em.createQuery("select h,m from OweTmpVO h,Meter m join fetch m.contract where h.meterid=m.id and h.je<0 and h.cbdate<:date")

?????? .setParameter("date",date)

?????? .getResultList();

?????? System.out.println("--addlist--size:"+addlist.size());

?????? for(Object[] obs:addlist){

?????????? Meter meter=(Meter)obs[1];

?????????? OweTmpVO oweTmp=(OweTmpVO)obs[0];

??????????

?????????? Owe newowe=new Owe();

?????????? newowe.setId(oweTmp.getOweid());

?????????? newowe.setQfdate(oweTmp.getCbdate());

?????????? newowe.setQfje(oweTmp.getJe());

?????????? newowe.setMeter(meter);

?????????? newowe.setXzqh(meter.getXzqh());

?????????? OweCustomerInfo oci=new OweCustomerInfo();

?????????? oci.setAddress(meter.getAddress());

?????????? oci.setId(newowe.getId());

?????????? oci.setLxr(meter.getLinkMan().getLxr());

?????????? oci.setName(meter.getUsername());

?????????? oci.setTel(meter.getLinkMan().getTel());

?????????? if (meter.getContract()!=null){

????????????? oci.setHbh(meter.getContract().getHbh());

????????????? oci.setLxr(meter.getContract().getLinkMan().getLxr());

????????????? oci.setName(meter.getContract().getUsername());

????????????? oci.setTel(meter.getContract().getLinkMan().getTel());

?????????? }

?????????? newowe.setCustomerInfo(oci);

?????????? em.persist(newowe);

?????????? em.remove(oweTmp);

?????? }

需要解决的问题

新的方案需要大量的内存，而虚拟机只能提供1G多的内存，1百万的记录足够让内存溢出。

我们需要将数据分批来处理，比如根据某些条件来限制查出的记录数，或者用分页（一次50万条），还有就是不能让这些分批在同一线程中，在同一线程中就没有分批的意义了（问题同样存在）。我们可以有两种选择

把每批用一个任务来完成，间隔执行每个任务即可，注意设置任务间隔，尽量保证同一时间只有一个任务在执行，要不内存还是会溢出的。

3）利用ejb来分布式处理，由于ejb可以独立部署，这样就相当于扩大了内存，可以在web层调用多个ejb来不一个大的任务分成多个小的任务来处理。

下面是我们基于seam的异步调用

public void createReportByYear(){

//临时设置session为足够长，与本方案无关

?????? javax.servlet.http.HttpServletRequest request=(HttpServletRequest)javax.faces.context.FacesContext.getCurrentInstance().getExternalContext().getRequest();

?????? int timeout=request.getSession().getMaxInactiveInterval();

?????? request.getSession().setMaxInactiveInterval(60000);

?

?????? em.createQuery("delete OweYearReport").executeUpdate();

?????? XzqhVO DCQ=getXzqh();

//处理一个区的数据

?????? createReportByYear1(DCQ);

//为每个区的任务设置个开始时间

?????? TimerSchedule timerSchedule0=new TimerSchedule(10l);//马上

?????? TimerSchedule timerSchedule1=new TimerSchedule(1000*60*1l);//一分钟后

?????? TimerSchedule timerSchedule2=new TimerSchedule(1000*60*2l);

?????? TimerSchedule timerSchedule3=new TimerSchedule(1000*60*3l);

?????? TimerSchedule timerSchedule4=new TimerSchedule(1000*60*4l);

?????? TimerSchedule timerSchedule5=new TimerSchedule(1000*60*4l);

?????? TimerSchedule timerSchedule6=new TimerSchedule(1000*60*5l);

//seam中的事件机制，用来启动任务，

?????? events.raiseTimedEvent("createReportByYear_xzqh1", timerSchedule0);

?????? events.raiseTimedEvent("createReportByYear_xzqh2", timerSchedule1);

?????? events.raiseTimedEvent("createReportByYear_xzqh3", timerSchedule2);

?????? events.raiseTimedEvent("createReportByYear_xzqh4", timerSchedule3);

??? ??? events.raiseTimedEvent("createReportByYear_xzqh5", timerSchedule4);

?????? events.raiseTimedEvent("createReportByYear_xzqh6", timerSchedule5);

?????? events.raiseTimedEvent("createReportByYear_xzqh7", timerSchedule6);

??? }

//具体任务

??? @Observer("createReportByYear_xzqh1")

??? public void createReportByYearXzqh1(){

?????? em.getTransaction().begin();

?????? createReportByYear1(XzqhVO.XCQ);

?????? em.getTransaction().commit();

??? }

//真正的业务方法，按区来处理

??? public void createReportByYear1(XzqhVO xzqh){

?????? xzqh=(XzqhVO)DataDictionaryAction.instance().getDataItemById(XzqhVO.class, xzqh.getId());

??????

?????? List<Owe> oweList=em.createQuery("select h from Owe h left join fetch h.meter left join fetch h.customerInfo where h.xzqh=:xzqh order by h.meter")

?????? .setParameter("xzqh", xzqh)

?????? .getResultList();