现有一份.txt文件格式的文件,里面是json数组格式的数据,这数据将近百万条,我需要将数据解析出来放到数据库中。现如果是将数据全部读出来 解析成List, 内存过大,落表的时间过长,不现实!菜鸟请求个解决方案
用springbatch 去搞!
https://blog.csdn.net/viviliving/article/details/84307400参考此文,可以解决你的问题,而且性能相当不错,采用python+dataframe解析最快