hadoop集群搭建

dockerfile+docker-compose如何搭建五个节点的hadoop集群

要使用Docker和Docker Compose搭建一个包含五个节点的Hadoop集群，您可以按照以下步骤操作：

  1. 创建Dockerfile：在一个目录下创建一个名为Dockerfile的文件，并添加以下内容：
FROM sequenceiq/hadoop-docker:<hadoop-version>

# 设置环境变量
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

# 添加配置文件
ADD core-site.xml $HADOOP_HOME/etc/hadoop/core-site.xml
ADD hdfs-site.xml $HADOOP_HOME/etc/hadoop/hdfs-site.xml
ADD mapred-site.xml $HADOOP_HOME/etc/hadoop/mapred-site.xml
ADD yarn-site.xml $HADOOP_HOME/etc/hadoop/yarn-site.xml

# 运行SSH服务
RUN apt-get update && apt-get install -y openssh-server
RUN ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa && \
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys && \
    chmod 0600 ~/.ssh/authorized_keys

# 格式化HDFS
RUN $HADOOP_HOME/bin/hdfs namenode -format

# 启动NameNode和DataNode
CMD service ssh start && \
    $HADOOP_HOME/sbin/start-dfs.sh && \
    $HADOOP_HOME/sbin/start-yarn.sh && \
    bash

将<hadoop-version>替换为您想要使用的Hadoop版本，该版本需要事先下载并放置在Dockerfile相同的路径中。

  1. 创建docker-compose.yml：在相同的目录下创建一个名为docker-compose.yml的文件，并添加以下内容：
version: '3.9'
services:
  namenode:
    build:
      context: .
    container_name: namenode
    ports:
      - "9870:9870"
      - "8088:8088"
    networks:
      - hadoop-network
    volumes:
      - /data/hadoop/namenode:/hadoop/dfs/name
  datanode1:
    build:
      context: .
    container_name: datanode1
    networks:
      - hadoop-network
    volumes:
      - /data/hadoop/datanode1:/hadoop/dfs/data
  # 添加更多的datanode...
networks:
  hadoop-network:

此示例中，我们创建了一个namenode容器和一个datanode1容器。您可以根据需要添加更多的datanode容器。请按照datanodeX的命名模式进行命名，并在服务的volumes部分添加相应的数据目录。

  1. 创建配置文件：在Dockerfile所在的目录中，创建以下四个配置文件并进行相应的配置：
  • core-site.xml：用于Hadoop核心配置
  • hdfs-site.xml：用于HDFS配置
  • mapred-site.xml：用于MapReduce配置
  • yarn-site.xml：用于YARN配置

根据您的需求配置这些文件中的属性。

  1. 构建和运行集群：在命令行中，进入包含Dockerfile和docker-compose.yml文件的目录，并运行以下命令来构建和启动Hadoop集群：
docker-compose up --scale datanode=<num-of-datanodes>

将<num-of-datanodes>替换为您想要的数据节点数量。

  1. 验证集群：在浏览器中访问http://localhost:9870以查看Hadoop集群的Web界面。您应该能够看到一个包含namenode和datanode的集群拓扑。您也可以访问http://localhost:8088来查看YARN的资源管理器。