我在开发程序的时候,需要读取解析json文件,一开始几M的文件都没问题,但后来出现了一个30M的JSON文件,在读取的时候就出现了内存溢出的情况。
log.info("开始解析文件:" + fileName);
try(FileInputStream fileInputStream = new FileInputStream(fs[i])) {
int size = fileInputStream.available();
byte[] buffer = new byte[size];
fileInputStream.read(buffer);
// 因为我需要将该文件转成JSONObject,所以先转成字符串,所以在下一行就出现内存溢出了:heap out of memory
String jsonString = new String(buffer, StandardCharsets.UTF_8);
if (StringUtils.isEmpty(jsonString)) {
}
}
有没有一个Java关于读取大JSON文件并解析的一些解决方案
你的json文件可以分段保存,比较比如20条数据保存一个文件,然后读取的时候就可以分段读取了
你可以把read(),换成 LineNumberReader试试。读取到的每行数据放进一个string里,最后用个list就行了。不知道行不行,可以尝试一下。
最近已经解决这个问题并整理发布了,发布地址:https://blog.csdn.net/lmchhh/article/details/124613300?spm=1001.2014.3001.5501