现在有一个指定数据格式的txt文件,几十W条数据
我想要把这个TXT文件导入数据库.
1.写JAVA代码导入,我怕内存溢出,或者事务超时.
2.先导入excel再导入数据库,excel最多只能存65536条记录,分批的话,第2批数据老有问题.
各位有没什么好的建议,能比较省资源的导入到数据库
[quote]用BufferedReader一下读去几十M的数据,我怕电脑会受不了.[/quote]
这个会造成内存溢出？你试了吗？
它是一行一行读数据的，不可能内存溢出，只是说由于数据量大，这样处理的话，整个工程会比较慢而已。
第一种笨的方法，不过可能最快
你用UE打开，拆分成多个文件，再分次导入 （可用 CTRL+G直接输入行号）
第二种用BufferedReader 读文件
最方便的方法：通过ETL工具来完成（如kettle)
如果没接触过ETL的话，那只能通过BufferedReader 读文件,每读一定的数量(如100行）执行一次导入(建议用JDBC的批量导入)，我觉得这一点问题也没有。
先试一下再说吧，方法都给你了