Python用scrapy深度爬取连接数据库

项目任务：选取你喜欢或经常访问的网站，使用scrapy框架爬取数据
具体要求：
1.包含全站（可以使前5页数据）爬取和深度爬取
2.数据持久化处理（存为txt文件、csv文件和写入到mysql数据库对应的表中）
3.将爬取到的数据，进行可视化

爬前5页数据就好了，现在网站反爬比较多，数据可视化是爬虫之外的东西了，过程可以参考：

Python3 + Scrapy爬取猫眼电影排行榜_Mr_blueD的博客-CSDN博客 首先抓包分析，所需的整页数据都在"main"下，再细分每一部的信息。每一部电影的信息在"board-item-main"下。接下来我们可以去找到目标数据并想好匹配方法了。我们所需的四种数据就找到了，接下来可以去动手了。一.编写Itemclass MaoyanItem(scrapy.Item): top = scrapy.Field() title = scrapy.Field()... https://blog.csdn.net/Mr_blueD/article/details/79470239