关于Java读取大JSON文件并且解析问题

我在开发程序的时候,需要读取解析json文件,一开始几M的文件都没问题,但后来出现了一个30M的JSON文件,在读取的时候就出现了内存溢出的情况。

log.info("开始解析文件:" + fileName);
try(FileInputStream fileInputStream = new FileInputStream(fs[i])) {
    int size = fileInputStream.available();
    byte[] buffer = new byte[size];
    fileInputStream.read(buffer);
    // 因为我需要将该文件转成JSONObject,所以先转成字符串,所以在下一行就出现内存溢出了:heap out of memory
    String jsonString = new String(buffer, StandardCharsets.UTF_8);
    if (StringUtils.isEmpty(jsonString)) {

    }
}

有没有一个Java关于读取大JSON文件并解析的一些解决方案

你的json文件可以分段保存,比较比如20条数据保存一个文件,然后读取的时候就可以分段读取了

你可以把read(),换成 LineNumberReader试试。读取到的每行数据放进一个string里,最后用个list就行了。不知道行不行,可以尝试一下。

最近已经解决这个问题并整理发布了,发布地址:https://blog.csdn.net/lmchhh/article/details/124613300?spm=1001.2014.3001.5501