能运行一定采纳!
mapreduce实现
气象数据的分析和统计
部分气象数据如下:
2021 01 01 00 80 -94 10285 50 60 1 -9999 -9999
2021 01 01 01 90 -100 -9999 30 36 -9999 -9999 -9999
2021 01 01 02 100 -100 -9999 30 26 -9999 -9999 -9999
2021 01 01 03 119 -106 10278 360 30 1 -9999 -9999
2021 01 01 04 130 -90 -9999 330 41 -9999 -9999 -9999
2021 01 01 05 130 -70 -9999 310 46 -9999 -9999 -9999
2021 01 01 06 137 -58 10245 320 50 1 -9999 0
……
数据源:链接:https://pan.baidu.com/s/1d7YaJTjFEx8GcuvtsUJwNA?pwd=6666
提取码:6666
数据描述(含义)如下:
年 月 日 小时 气温(/10) 露点温度(/10) 海平面气压(/10) 风向 风速(/10) 天空条件总覆盖代码 液体沉淀深度维度-一小时间隔(/10) 液体沉淀深度维度-六小时间隔(/10)
编写MapReduce程序,进行以下统计:
是只能使用mapreduce写吗,你把他整成sql,操作不是简单多了吗
首先用map函数处理原始文本数据,map函数输出的是键值对,其中键是年份,值是降水数据的集合,然后map函数输出作为reduce的输入,在reduce只能发实现提取,最后指定输出目录
1、统计月度平均气温: 需要使用两个job进行实现