hadoop中运行idea的JAVA代码

img


请问大家，我在hadoop中下载了idea，并且编写了JAVA程序将结果输出到hadoop文件系统中，控制台里这样输出，但是我的输出文件里没有东西，是为什么呢

输出到文件直接用流outputstream写到里面去,你上面用的是log4j.说的是,提示的是没有初始化

  • 这篇文章：Hadoop安装部署 也许能够解决你的问题，你可以看下
  • 除此之外, 这篇博客: java程序员的AI之路-大数据篇 hadoop安装，剖析Java开发未来的出路在哪里中的 前言 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:

  • “大专人大专魂，大专都是人上人”
    当我看到这句话突然就在各个平台火了之后，又开始涌现出了一批又一批抨击专科的网友。
    其中有一条评论我记忆犹新：大专生努力做什么都行，就是别做程序员了，别祸害IT届拉低档次了。看完这条评论时我实在耐不住心情促使我敲出这篇文章。作为一个专科毕业成为程序员的人，我发现大家对专科生当程序员这件事恶意满满，不少人说大专能当程序员？大专能进大厂？大专出身，做Java程序员真的没有春天吗？

    Windows下面安装虚拟机并且安装好centOS7系统。这些没什么好说的。

    但是这里会有个问题，就是虚机系统安装好之后会连不上网络。这个时候我们需要配置一下网络。

    1、首先打开虚机编辑-》虚拟网络编辑器

    2、然后点击更改设置使用管理员权限

    之后变成下图

    3、选择VMent0位桥接模式

    选择VMent8设置为nat模式。

    之后点击确定保存。

    4、进入虚机系统执行命令cd /etc/sysconfig/network-scripts/

    查看该目录下是否存在ifcfg-enoXXX的文件，使用vi编辑（刚安装的虚机只有vi），按照下图进行修改。之后按esc 然后wq！保存退出。

    在执行service network restart命令重启网络服务。

    之后网络应该就配置完毕。然后就可以使用 yum insatll 开始安装自己喜欢的软件把。（在现在这家公司已经练就了一身运维的功夫，真心感觉linux是好用啊）

    三、安装jdk

    1、Jdk安装很简单，将安装包放到指定目录解压。我是安装在/usr/etc/目录下面

    2、设置环境变量，vim /etc/profile

    在最后添加下面几行，根据java的安装目录。

    JAVA_HOME=/usr/etc/jdk1.8.0_151

    CLASSPATH=$JAVA_HOME/lib/

    PATH=PATH:PATH:PATH:JAVA_HOME/bin

    export PATH JAVA_HOME CLASSPATH

    3、验证环境变量，输入java -version ,如果出现以下内容说明安装成功

    四、设置ssh免密登录

    集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令），但这样登陆是需要每次输入密码的，我们需要配置成SSH无密码登陆比较方便。

    利用 ssh-keygen 生成密钥，并将密钥加入到授权中：

    1. cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost

    2. ssh-keygen -t rsa              # 会有提示，都按回车就可以

    3. cat ./id_rsa.pub >> ./authorized_keys  # 加入授权

    Shell 命令

    ~的含义

    在 Linux 系统中，~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”。 此外，命令中的 # 后面的文字是注释。

    此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了。

    五、安装hadoop

    其实hadoop的安装还是很简单的，但是中间会出现一些异常的坑。。。

    1、首先将安装包放在/usr/etc/下面，解压

    2、配置hadoop配置文件

    1）配置hadoop-env.sh

    该"hadoop-env.sh"文件位于"hadoop/etc/hadoop/"目录下。在文件里添加JAVA_HOME   java环境变量。

    2）配置core-site.xml文件

    修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号。

    《一线大厂Java面试真题解析+Java核心总结学习笔记+最新全套讲解视频+实战项目源码》开源

    Java优秀开源项目：

    • ali1024.coding.net/public/P7/Java/git