Hadoop真分布式集群最速搭建攻略

发表于 | 分类于 | | 阅读次数

文章也同时在简书更新

1. 引言

笔者目前已经开启了博士预科，方向偏系统工程，涉及到分布式架构的设计与改进。Apache基于Google的MapReduce体系开发的hadoop是业界最常用的分布式框架。本文将把笔者在前期调研过程中，搭建hadoop真分布集群的实践做一个总结，形成一个“最速搭建攻略”。

2. 背景概述

  • 分布式体系有很多，基于MapReduce的hadoop只是一种实现。
  • 分布式计算适合大数据集(GB级&以上)，数据量过少无法体现其价值。
  • 虽然很多教程是使用个人电脑搭建虚拟机来模拟多个分部式节点，但还是建议使用真实的机器或者服务器。当然，个人电脑配置足够高例外。
  • Hadoop一般运行在Linux上，笔者使用的是Ubuntu 16.04LTS，目前是一个控制节点(NameNode)，三个工作节点(DataNode)。
  • 所有节点建议运行在内网，即个节点间的通信网卡与内网IP绑定。
  • 本文内容虽然基于hadoop-2.8.0，但大多数配置可与hadoop-3.0及更高版本兼容。

以下将例举每一个关键步骤，原理说明暂时略去，请按照本文一步一步做。

3. Hadoop用户管理

3.1 创建hadoop操作用户

1
sudo useradd -m hadoop -s /bin/bash

3.2 给该用户添加密码

1
sudo passwd hadoop

输入完密码回车，密码在输入时是不可见的，不要误以为出错。

3.3 给hadoop用户分配sudo权限

1
sudo adduser hadoop sudo

3.4 注销用户或重启系统，以用户Hadoop登录

4. Ubuntu相关软件

4.1 更新软件源

1
sudo apt-get update

4.2 安装wget

1
sudo apt-get install wget

4.3 安装vim

1
sudo apt-get install vim

之后所有的配置操作都需要用到命令行界面编辑工具vim。

5. 配置hosts

各节点运行ifconfig查看自身内网IP，然后修改hosts。我们以控制节点为例，其余工作节点的配置原理与控制节点相同。下文中以hadoop-master代指控制节点，以hadoop-slave代指工作节点。

5.1 修改hostname

1
sudo vim /etc/hostname

将其名称改为hadoop-master。

5.2 修改hosts

1
sudo vim /etc/hosts

修改如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
127.0.0.1       localhost
# Map: your hadoop nodes IP to hostname
10.10.43.90     hadoop-master
10.10.43.91     hadoop-slave1
10.10.43.92     hadoop-slave2
10.10.43.93     hadoop-slave3
# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

请务必使用内网IP来映射。hadoop-slave执行同原理操作。

5.3 连通性测试

在hadoop-master上ping各hadoop-slave节点。

1
2
3
ping -c 3 hadoop-slave1;
ping -c 3 hadoop-slave2;
ping -c 3 hadoop-slave3;

6. 配置SSH

控制节点需要控制工作节点，需要使用到ssh服务，务必配置正确。

6.1 安装ssh

1
sudo apt-get install openssh-server

6.2 分发RSA公钥

生成hadoop-masterRSA公私钥对，并向各hadoop-slave节点以及hadoop-master自身，分发hadoop-master的公钥。

6.3 生成RSA公私钥对

1
2
3
cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*            # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa       # 一直按回车就可以

6.4 向hadoop-master自身分发

1
cat ./id_rsa.pub >> ./authorized_keys

6.5 向各hadoop-slave分发

建议直接复制hadoop-master~/.ssh/id_rsa.pub文件中的内容，然后登录到各hadoop-slave节点，将该内容粘贴到~/.ssh/authorized_keys文件中。

若担心操作失误，可以执行如下命令代替手动操作，以向hadoop-slave1分发为例：

1
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoop-slave1

上述操作后，可能需要输入密码。

6.6 测试ssh登录

以hadoop-master登录hadoop-slave1为例：

1
ssh hadoop-slave1

对于弹出的身份验证警告，输入yes并回车，选择信任它。

6.7 简化登录操作（可选）

现在每次ssh需要输入较多信息，可进一步简化，此小节的配置为可选，可以跳过不配。

在自己家目录下的.ssh目录下新建config文件，并在其中进行同样的配置。你可能先要执行mkdir ~/.ssh和/或ssh localhost和/或ssh-keygen -t rsa等命令来使得自己拥有.ssh目录。在拥有.ssh目录并新建config文件后，config文件的配置如下：

1
2
3
4
Host my_server  							# hadoop-master
	HostName 10.10.43.90 或 example.com
	User user_name 							# hadoop
	IdentityFile ~/.ssh/id_rsa

参数解释：

1
2
3
4
5
6
7
8
9
10
11
Host: 为你整个ssh的配置取一个便于记忆的别名，可以简化后续登录操作。
例如: 只需要ssh my_server，而不必ssh user_name@10.10.43.90 (user_name@example.com)，即可登录。
HostName: 目标主机的主机名，即ssh@之后的内容，常见为IP地址或url。
Port: ssh所使用的端口号，默认22。
User: 登录所用的用户名。
IdentifyFile: 指定私钥存放的位置，默认是 ~/.ssh/id_rsa。
注意：~/.ssh/id_rsa只能自己拥有，不能泄露给其他人！

以上配置完成后，可以直接ssh my_server，而不必ssh user_name@10.10.43.90 (user_name@example.com)，即可登录。

7. 安装java运行环境

7.1 安装JDK&JRE

1
sudo apt-get install openjdk-8-jre openjdk-8-jdk

建议装version 8不要装9。安装完成后，默认路径是/usr/lib/jvm/java-8-openjdk-amd64，如果不一致请搜索到正确路径。

7.2 添加环境变量

1
2
cd
vim .bashrc

添加如下jave的PATH：

1
2
# JAVA PATH
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

更新环境变量

1
source .bashrc

7.3 测试java环境

1
java -version

看到相应版本信息输出即表明配置正确：

1
2
3
4
hadoop@hadoop-master:~$ java -version
openjdk version "1.8.0_121"
OpenJDK Runtime Environment (build 1.8.0_121-8u121-b13-0ubuntu1.16.04.2-b13)
OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)

8. 安装hadoop

建议安装最新的稳定版(stable)，直接去apache官网下载比较慢，可以下载镜像。笔者当时最新稳定版是2.8.0：

1
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

下载完解压到/usr/local/目录下：

1
2
3
sudo tar -zxf ~/你下载这个压缩包的地方/hadoop-2.8.0.tar.gz -C /usr/local    # 解压到/usr/local中
cd /usr/local      # 切到含有hadoop-2.8.0的目录下
sudo chown -R hadoop:hadoop ./hadoop-2.8.0       # 修改文件权限

8.1 配置hadoop环境变量

同java的环境变量一样，执行vim ~/.bashrc，在内容末尾添加如下：

1
2
3
4
5
6
7
8
9
10
11
# JAVA PATH
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
HADOOP PATH START
export HADOOP_HOME=/usr/local/hadoop-2.8.0
export HADOOP_LIB_NATIVE=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/lib
#HADOOP PATH END

9. 配置真分布参数

在hadoop-master上，如果按前面的环境配置，所有的配置文件都在/usr/local/hadoop-2.8.0/etc/hadoop/目录下。接下来用vim逐个修改：

9.1 hadoop-env.sh

目前根据经验发现，hadoop-env.sh中的export JAVA_HOME=${JAVA_HOME}需要手动再次设置一下java安装目录的绝对路径(本文是export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64)，否则很有可能在后续运行时出现找不到java环境变量的错误。

9.2 slaves (文件)

1
2
3
hadoop-slave1
hadoop-slave2
hadoop-slave3

很显然我们规定上述三个节点为工作节点。注意: 在hadoop-3.0之后，slaves文件更名为workers。

9.3 core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop-2.8.0/tmp</value>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://hadoop-master:9000</value>
        </property>
  <property>
      <name>io.compression.codecs</name>
      <value>
  org.apache.hadoop.io.compress.DefaultCodec,
<!--  
  org.apache.hadoop.io.compress.GzipCodec,
  org.apache.hadoop.io.compress.DefaultCodec,
  org.apache.hadoop.io.compress.BZip2Codec,
  org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
-->
      </value>
  </property>
</configuration>

9.4 hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<configuration>
        <property>
             <name>dfs.replication</name>
             <value>3</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop-2.8.0/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop-2.8.0/tmp/dfs/data</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop-master:50090</value>
        </property>
</configuration>

9.5 mapred-site.xml

首先需要重命名该文件：

1
mv ./mapred-site.xml.template mapred-site.xml

然后修改mapred-site.xml：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop-master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop-master:19888</value>
        </property>
<!-- DefaultCodec -->
<property>
      <name>mapreduce.map.output.compress</name>
      <value>true</value>
  </property>
  <property>
      <name>mapreduce.map.output.compress.codec</name>
      <value>org.apache.hadoop.io.compress.DefaultCodec</value>
  </property>
</configuration>

9.6 yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<configuration>
<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop-master</value>
        </property>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
        </property>
<!--
        <property>
             <name>yarn.scheduler.maximum-allocation-mb</name>
             <value>100</value>
        </property>
-->
</configuration>

对于所有的hadoop-slaves执行完全一样的配置操作。

10. 运行hadoop

格式化分布式文件系统

1
hdfs namenode -format       # 首次运行需要执行初始化，之后不需要

10.1 运行文件系统管理器

1
start-dfs.sh

10.2 运行任务调度管理器

1
start-yarn.sh

10.3 查看相关进程

1
jps

在hadoop-master可以看到如下信息：

1
2
3
4
5
6
hadoop@hadoop-master:~$ jps
22128 Launcher
22917 SecondaryNameNode
23358 Jps
23086 ResourceManager
22687 NameNode

在任何一个hadoop-slave都可以看到如下信息：

1
2
3
4
hadoop@hadoop-slave1:~$ jps
5091 NodeManager
5302 Jps
4952 DataNode

以上缺少任何一个进程都表明运行出错了，一般都是配置有误。或者是系统资源不足。

11. web查看信息

在浏览器中输入：hadoop-master:50070可以查看各工作节点状态。输入hadoop-master:8088可以查看任务进度。

12. 运行测试集benchmark

笔者选择HiBench，具体的测试过程及配置教程请见Hadoop常用测试集HiBench配置指南。

13. 关闭hadoop

执行相反的操作：

1
2
stop-yarn.sh
stop-dfs.sh

14. 总结

本文是快速搭建Hadoop真分布集群的好帮手，希望对大家有所帮助！任何疑问和建议欢迎留言，笔者会及时反馈。

周鶏🐣(Kimiko) wechat
拿起手机扫一扫，欢迎关注我的个人微信公众号：「洛斯里克的大书库」。
坚持原创技术分享，您的支持将鼓励我继续创作！