IIS集群模式下，附件下载出错

谢谢大家先，这个问题困扰好几天了；希望大家能提出分析或解决的思路。
问题描述：
1.常出现附件下载504错误
2.附件文件都很小（<3M），系统不存在带宽瓶颈
3.附件存储在附件服务器上
4.在浏览器中直接使用HTTP模式访问不会存在下载失败的情况
5.系统开发使用的是.NET MVC
关键的代码
var fileStream = new FileStream(currFilePath, FileMode.Open);
MyLogHelper.Debug("fileStream:" + fileStream.Length);
return File(fileStream, contentType, fileStream.Name.ToString());
就是在return的时候时常会响应超时

有人遇到类似的问题吗？