使用Crawl 爬取链家成交数据时,每个小区都是翻页到第10页就不往下翻页了,最后查看log时有显示:twisted.internet.error.TimeoutError,这个是哪出了问题啊,怎么解决啊?等待大佬的指点!!
1，连接超时了，一般这种情况是爬取太快，导致网站响应太慢。可以设置time.sleep来暂停零点几秒2，看一下有没有设置header，没有设置就设置一下