scrapy 抓取的页面只返回<h1>403 Forbidden</h1>

问题描述
执行"scrapy crawl scrapyProject" 该命令后,正常运行,response.status=200,但是抓取不到页面的任何内容,返回的内容只有

403 Forbidden


nginx/1.8.1
实在是因为囊肿羞涩,请各位高手大牛们不要介意!

这是因为这个页面访问需要认证等, 你的程序访问的时候,服务器直接返回这个禁止访问的内容给你了。

Authenticatio问题,你的权限被服务器限制到了。所以程序会报403错误。