java实现高性能的数据同步
最近在做一个银行的生产数据脱敏系统，今天写代码时遇到了一个“瓶颈”，脱敏系统需要将生产环境上Infoxmix里的数据原封不动的Copy到另一台 Oracle数据库服务器上，然后对Copy后的数据作些漂白处理。为了将人为干预的因素降到最低，在系统设计时采用Java代码对数据作Copy,思路 如图：
首 先在代码与生产库间建立一个Connection，将读取到的数据放在ResultSet对象，然后再与开发库建立一个Connection。从 ResultSet取出数据后通过TestConnection插入到开发库，以此来实现Copy。代码写完后运行程序，速度太慢了，一秒钟只能Copy 一千条数据，生产库上有上亿条数据，按照这个速度同步完要到猴年马月呀,用PreparedStatement批处理速度也没有提交多少。我想能不能用多 线程处理，多个人干活总比一个人干活速度要快。
假设生产库有1万条数据，我开5个线程，每个线程分2000条数据，同时向开发库里插数据，Oracle支持高并发这样的话速度至少会提高好多倍，按照这 个思路重新进行了编码，批处理设置为1万条一提交，统计插入数量的变量使用 java.util.concurrent.atomic.AtomicLong，程序一运行，传输速度飞快CPU利用率在70%~90%，现在一秒钟可 以拷贝50万条记录，没过几分钟上亿条数据一条不落地全部Copy到目标库。
在查询的时候我用了如下语句
你同步的表结构都只有五个字段 ,targetPstmt.setString() 类型全都是String？
那具体的表结构当然是看你具体的操作了；我的表只有五个字段；当然就set五个了；难道还要set6个？
用户set和用SQL拼接是有性能的差别的！既然是考虑大数据的迁移，所以对每条语句的性能都是要考虑到滴。 34 楼 zhys513 2010-11-26 迁移数据的话，PB也有个可以做不同数据库的对接（数据管道）。迁移不是很快，但操作很简单就是了。 35 楼 gaobo424 2010-11-26 你是在哪家银行哦，有点搞扯，居然允许你连接它的核心数据库？？？你要是发一条Update语句呢？我做银行的项目都N久了，做过建行、商业银行的项目，谁敢把核心数据给你直连？？？顶多只能给你备过份出来，你再导入还差不多
