crawlspider爬取的链接是无序的吗

用scrapy的crawlspider分页爬取，提取每页的新闻链接是无序的

Scrapy 的 CrawlSpider 会同时处理多个请求，而这些请求的响应返回顺序是不确定的，所以爬取的链接顺序也就无法保证

• 你可以参考下这篇文章：通用爬虫 crawlspider 多站点爬取
• 除此之外, 这篇博客: CrawlSpider全网爬虫中的 产生一个crawlspider 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  

• scrapy genspider -t crawl 爬虫名