scrapy爬虫mysql,Django等

1.使用scrapy爬虫爬取网站的信息(网站自己找)
2.将爬取的信息存储到mysql数据库表中,并输出csv文件
3.使用Django呈现爬取的信息,并分页显示_
4.使用spark分析爬取的数据,统计规则自己定义。
5.使用echarts或pyecharts的柱状图、饼形图、词云图、折线图等图表呈现分析的结果。

技术手段限定的这么死吗?因为看需求就是爬取数据存档,分析并展示到web页面上,实现途径是可以有多种选择的,是否可以使用其他类似的技术实现?比如web框架用flask,数据分析用pandas,numpy等

这个不难 都是常用的东西。

img

img