作为一名javaweb方面的开发,一直没有从事过大数据方面的工作,想自学下,想问下大神们,大数据需要学习哪些方面的基础知识?谢谢
从hadoop spark开始学起,这是最有代表性的大数据框架。
第一阶段 Java语言编程基础:计算机基础、编程基础、面向对象、常用类、集合操作、IO操作。
第二阶段 Javaweb核心技术:Java基础增强、数据库操作、前端技术基础、Javaweb核心、Linux服务器、Javaweb综合项目实战。
第三阶段 网站开发三大框架:项目构建及管理、数据库操作框架、spring框架、Springmvc框架、CRM项目实战。
第四阶段 互联网搜索及爬虫:单机爬虫开发、爬虫高级开发、分布式爬虫、搜索系统技术、搜索系统框架、分布式搜索系统。
第五阶段 分布式电商系统:电商基础背景和项目需求分析、dubbo、angularJS、电商核心业务实现;Nginx、Hudson、solrCloud、keepalived、负载均衡、反向代理、高并发;redis Cluster、freemarker页面静态化、高并发;mycat数据库、高并发;docker容器部署、热部署、高并发。
第六阶段 大数据离线计算:基础增强、大数据平台、数据收集、数据存储、数据计算、数据管理、案例分析、数据分析、核心增强、核心提高。
第七阶段 大数据实时计算:实时数据存储、实时数据计算、实时计算案例、实时数据存储、实时数据查询、推荐系统开发。
第八阶段 大数据内存计算:Scala语言基础、spark基础、sparkRDD、spark SQL、spark streaming、项目实战阶段。
第九阶段 机器学习基础:机器学习基础概念、机器学习决策树模型、机器学习KNN模型、机器学习SVM支持向量机、机器学习感知机与BP神经网络。