有一大批日志文件(很大批,超过十万个)需要处理,我一个搞前端的不太懂怎么操作文件,单个文件的数据处理做好了,但是不知道怎么批量处理。
开始想着用for循环,但是这样会挤爆内存,有没有后端大牛帮帮我
不知道你要在哪里处理用啥语言处理,如果是js,做前端的Promise你应该会啊,异步去执行嘛,根据多少个分一组,Promise.map()函数提供concurrency参数,查查资料你就会用了,一组处理完再回调处理下一组,一个一个也行。
当然是一个个处理了,十万个就是多用点时间就好了,你说的挤爆内存是不会的,处理完一个关闭一个再打开下一个,不能是一股脑都读入处理,所以也不用什么异步并行什么的。反正你也不是很注重时间。for循环个人觉得没什么不好。有帮助请采纳谢谢啦!