背景:采用spring boot 集成hdfs想做一个网盘,在处理完大文件上传问题以后遇到文件合并的问题。需要解决的问题:1.文件合并到将合并以后的文件上传到hdfs文件系统响应太慢了。产生的原因:由于通过前端分片上传了5个g的文件,在文件接受的时候很快,但是在前端请求合并接口,后台合并以后还需要上传到hdfs,之间消耗的时间太长了。2.能否加入优化hdfs大文件上传至hdfe,现在CSDN关于hdfs文章都太浅了😓
嗯嗯,5个G的文件有点大了,HDFS在处理大文件效率比较低。