搭建Spark on yarn环境,配置IDEA本地pom包,使用python或者java爬虫爬取任意网站的数据,编写scala代码打包放在集群当中运行,最终程序运行的结果存放到mysql或者redis数据库当中。数据展示环节可以通过echarts和flask进行数据展示或者使用javaweb技术进行数据展示,数据展示的时候需要至少出现三种图形(柱状图、饼状图、折线图、堆叠图等)。
你好，我是有问必答小助手，非常抱歉，本次您提出的有问必答问题，技术专家团超时未为您做出解答
本次提问扣除的有问必答次数，已经为您补发到账户，我们后续会持续优化，扩大我们的服务范围，为您带来更好地服务。