大数据爬虫需要完整代码运行结果

任务要求如下:
爬取蜗牛笔记上全部帖子信息


具体爬取信息:标题 日期 阅读数量
将结果存为csv文件
要求框架如下:
URL管理器编写

img

img

img


资源下载器编写

img

HTML解析器的编写
访问


分析列表链接和详情链接的不同

img

img

img


资源存储器的编写

img


爬虫调度器的编写

img


爬取结果如下:

img