文本文件大小在30MB左右,数据行有十几万条。
每条数据更新状态需要记录。
现在的做法是每读一条数据就更新一次,但是这样速度就会很慢。
请问大家有什么的优化方法?
我是这样做的:
1.解析文件。按照规则解析文本文件,将解析后的结果按照ResultSet的形式进行存放,给设定一个游标,跟操作jdbc差不多。
2.从内存中一条一条地写入数据库。写入时用Batch的方式。操作数据库的代码最好由自己完成。
oracle,mysql是可以直接导入文本文件到表的。
就算是你自己写。你也要放缓存里批量插入数据库啊。10万一提交都可以,速度很快。10万也是几秒内的事情。