百度蜘蛛爬虫在我的网站大量返回504是什么情况？什么情况下蜘蛛爬取网页会出现504
504错误 编辑
504是（超时） 服务器作为网关或代理，但是没有及时从服务器收到请求。
这通常意味着服务器已关闭（不响应网关 / 代理），而不是上游服务器和网关 / 代理在交换数据的协议上不一致。
正常情况下，是由于被请求服务器发送超时引起。
504？你确认不是500或者404么？504这个返回值很奇怪，很可能是网站的开发者故意返回的，这个要看它有没有错误提示，或者它有反爬虫的设计。
建议你首先看浏览器访问有没有同样的问题，然后你的爬虫和浏览器的请求有什么不同。
服务器504错误。这是代表着网关超时是现象出现了。504错误问题是一个不好办的问题，当然你必须尝试着和网站官方获得联系，认真的去检查不同的电脑简的ip传输的状况。而且这个504错误要专业的负责人才能去解决。