帮忙:java对大批量数据进行操作

程序对大数据量进行操作。操作的数据库为Oracle
过程是先对数据进行delete操作,然后进行insert操作。
数据量大概是百万条左右。

现在使用的方法是jdbc的PreparedStatement,每5万条commit一次。
可是这样的话程序的速度还是达不到要求。

f(((a+1) % 50000)==0){
delPstmt.executeBatch();
insPstmt.executeBatch();
dbConn.commit();
dbConn.setAutoCommit(true);
delPstmt.close();
insPstmt.close();
dbConn.setAutoCommit(false);
delPstmt = dbConn.prepareStatement(deleteSql);
insPstmt = dbConn.prepareStatement(insertSql);
}

有没有比较快的方法,不限定于用jdbc.导出文件导入库什么方法也可以。

但是一定得按顺序先执行delete操作,再进行insert操作。
[b]问题补充:[/b]

数据在其他的库里面。我先执行一个select 语句,把符合条件的数据采集出来,然后迭代ResultSet。

接着就是进行如上的操作。先删后插

[b]问题补充:[/b]
对了。不是删掉表部表中的数据。

删掉的数据就是REsultRet里面迭代出来的数据。因为怕有键值重复。所以进行先删后插。没办法,业务需要

首先,你得权衡你的需求,然后得学会牺牲些什么来换取点什么.

如果要求不是很高的话,可以先把数据读出来,写到一个文件里.然后晚点空闲的时候用JOB去执行你描述的操作.

或者分批次读取,处理.

或者把数据库的索引砍掉,因为删数据和增数据,都会重新编排索引,数据量太大的话,开销会比较大.保证读是一个库,写是另一个库.

任何处理过程比较长的事务,尽量把他分解为若干的短事务.

有得必有失,取舍要认真衡量.

数据量太大的移植,可能DBA会有更好的办法,不一定非得JAVA来做!

如果是删除表中全部的数据,那么用delete速度会比较慢,不如truncate快。

还有就是LZ你所说的百万条数据是在文件中,还是在其他的库的表中。

如果是
1.通过遍历结果集,然后通过多线程insert到新库
2.通过文件导入(分析文件,然后insert新库
3.通过内存数据库来处理
这3个方法都需要很长的时间,没有一个好的办法(这几个办法都试过)

后来通过研究,发现:
如果在其他库的表中那有个好的办法可以解决(这里只提供一个思路)

你通过程序在原来的数据库上创建一个表空间,然后在此表空间上创建一个临时表把你要的百万条数据写到一个数据文件中,100万数据大概需要2分钟就可以结束。然后导出表空间元数据文件和数据文件。
然后你把这2个文件放到服务器上供其下载到你现在要操作的数据库机器上,然后通过命令行用一条命令就可以把100万数据写到你新的库中,这个过程也大概需要2分钟。

上面回答得基本全面。
我看出代码一点问题:
dbConn.setAutoCommit(false);
这句我觉得没有什么意义。会把5000条删除和增加语句放在事务里,多大的一个事务!
我觉得你这个事务按5000条语句来分割的,肯定也没有什么逻辑意义。
去掉这句,可能会快几倍。