Hadoop真分布式集群最速搭建攻略

文章也同时在简书更新

1. 引言

笔者目前已经开启了博士预科,方向偏系统工程,涉及到分布式架构的设计与改进。Apache基于Google的MapReduce体系开发的hadoop是业界最常用的分布式框架。本文将把笔者在前期调研过程中,搭建hadoop真分布集群的实践做一个总结,形成一个“最速搭建攻略”。

2. 背景概述

  • 分布式体系有很多,基于MapReduce的hadoop只是一种实现。
  • 分布式计算适合大数据集(GB级&以上),数据量过少无法体现其价值。
  • 虽然很多教程是使用个人电脑搭建虚拟机来模拟多个分部式节点,但还是建议使用真实的机器或者服务器。当然,个人电脑配置足够高例外。
  • Hadoop一般运行在Linux上,笔者使用的是Ubuntu 16.04LTS,目前是一个控制节点(NameNode),三个工作节点(DataNode)。
  • 所有节点建议运行在内网,即个节点间的通信网卡与内网IP绑定。
  • 本文内容虽然基于hadoop-2.8.0,但大多数配置可与hadoop-3.0及更高版本兼容。

以下将例举每一个关键步骤,原理说明暂时略去,请按照本文一步一步做。

3. Hadoop用户管理

3.1 创建hadoop操作用户

1
sudo useradd -m hadoop -s /bin/bash

3.2 给该用户添加密码

1
sudo passwd hadoop

输入完密码回车,密码在输入时是不可见的,不要误以为出错。

3.3 给hadoop用户分配sudo权限

1
sudo adduser hadoop sudo

3.4 注销用户或重启系统,以用户Hadoop登录

4. Ubuntu相关软件

4.1 更新软件源

1
sudo apt-get update

4.2 安装wget

1
sudo apt-get install wget

4.3 安装vim

1
sudo apt-get install vim

之后所有的配置操作都需要用到命令行界面编辑工具vim。

5. 配置hosts

各节点运行ifconfig查看自身内网IP,然后修改hosts。我们以控制节点为例,其余工作节点的配置原理与控制节点相同。下文中以hadoop-master代指控制节点,以hadoop-slave代指工作节点。

5.1 修改hostname

1
sudo vim /etc/hostname

将其名称改为hadoop-master。

5.2 修改hosts

1
sudo vim /etc/hosts

修改如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
127.0.0.1 localhost
# Map: your hadoop nodes IP to hostname
10.10.43.90 hadoop-master
10.10.43.91 hadoop-slave1
10.10.43.92 hadoop-slave2
10.10.43.93 hadoop-slave3
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

请务必使用内网IP来映射。hadoop-slave执行同原理操作。

5.3 连通性测试

在hadoop-master上ping各hadoop-slave节点。

1
2
3
ping -c 3 hadoop-slave1;
ping -c 3 hadoop-slave2;
ping -c 3 hadoop-slave3;

6. 配置SSH

控制节点需要控制工作节点,需要使用到ssh服务,务必配置正确。

6.1 安装ssh

1
sudo apt-get install openssh-server

6.2 分发RSA公钥

生成hadoop-masterRSA公私钥对,并向各hadoop-slave节点以及hadoop-master自身,分发hadoop-master的公钥。

6.3 生成RSA公私钥对

1
2
3
cd ~/.ssh # 如果没有该目录,先执行一次ssh localhost
rm ./id_rsa* # 删除之前生成的公匙(如果有)
ssh-keygen -t rsa # 一直按回车就可以

6.4 向hadoop-master自身分发

1
cat ./id_rsa.pub >> ./authorized_keys

6.5 向各hadoop-slave分发

建议直接复制hadoop-master~/.ssh/id_rsa.pub文件中的内容,然后登录到各hadoop-slave节点,将该内容粘贴到~/.ssh/authorized_keys文件中。

若担心操作失误,可以执行如下命令代替手动操作,以向hadoop-slave1分发为例

1
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoop-slave1

上述操作后,可能需要输入密码。

6.6 测试ssh登录

以hadoop-master登录hadoop-slave1为例:

1
ssh hadoop-slave1

对于弹出的身份验证警告,输入yes并回车,选择信任它。

6.7 简化登录操作(可选)

现在每次ssh需要输入较多信息,可进一步简化,此小节的配置为可选,可以跳过不配。

在自己家目录下的.ssh目录下新建config文件,并在其中进行同样的配置。你可能先要执行mkdir ~/.ssh和/或ssh localhost和/或ssh-keygen -t rsa等命令来使得自己拥有.ssh目录。在拥有.ssh目录并新建config文件后,config文件的配置如下:

1
2
3
4
Host my_server # hadoop-master
HostName 10.10.43.90 或 example.com
User user_name # hadoop
IdentityFile ~/.ssh/id_rsa

参数解释:

1
2
3
4
5
6
7
8
9
10
11
Host: 为你整个ssh的配置取一个便于记忆的别名,可以简化后续登录操作。
例如: 只需要ssh my_server,而不必ssh user_name@10.10.43.90 (user_name@example.com),即可登录。
HostName: 目标主机的主机名,即ssh@之后的内容,常见为IP地址或url。
Port: ssh所使用的端口号,默认22。
User: 登录所用的用户名。
IdentifyFile: 指定私钥存放的位置,默认是 ~/.ssh/id_rsa。
注意:~/.ssh/id_rsa只能自己拥有,不能泄露给其他人!

以上配置完成后,可以直接ssh my_server,而不必ssh user_name@10.10.43.90 (user_name@example.com),即可登录。

7. 安装java运行环境

7.1 安装JDK&JRE

1
sudo apt-get install openjdk-8-jre openjdk-8-jdk

建议装version 8不要装9。安装完成后,默认路径是/usr/lib/jvm/java-8-openjdk-amd64,如果不一致请搜索到正确路径。

7.2 添加环境变量

1
2
cd
vim .bashrc

添加如下jave的PATH:

1
2
# JAVA PATH
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

更新环境变量

1
source .bashrc

7.3 测试java环境

1
java -version

看到相应版本信息输出即表明配置正确:

1
2
3
4
hadoop@hadoop-master:~$ java -version
openjdk version "1.8.0_121"
OpenJDK Runtime Environment (build 1.8.0_121-8u121-b13-0ubuntu1.16.04.2-b13)
OpenJDK 64-Bit Server VM (build 25.121-b13, mixed mode)

8. 安装hadoop

建议安装最新的稳定版(stable),直接去apache官网下载比较慢,可以下载镜像。笔者当时最新稳定版是2.8.0:

1
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

下载完解压到/usr/local/目录下:

1
2
3
sudo tar -zxf ~/你下载这个压缩包的地方/hadoop-2.8.0.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local # 切到含有hadoop-2.8.0的目录下
sudo chown -R hadoop:hadoop ./hadoop-2.8.0 # 修改文件权限

8.1 配置hadoop环境变量

同java的环境变量一样,执行vim ~/.bashrc,在内容末尾添加如下:

1
2
3
4
5
6
7
8
9
10
11
# JAVA PATH
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
HADOOP PATH START
export HADOOP_HOME=/usr/local/hadoop-2.8.0
export HADOOP_LIB_NATIVE=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/lib
#HADOOP PATH END

9. 配置真分布参数

在hadoop-master上,如果按前面的环境配置,所有的配置文件都在/usr/local/hadoop-2.8.0/etc/hadoop/目录下。接下来用vim逐个修改:

9.1 hadoop-env.sh

目前根据经验发现,hadoop-env.sh中的export JAVA_HOME=${JAVA_HOME}需要手动再次设置一下java安装目录的绝对路径(本文是export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64),否则很有可能在后续运行时出现找不到java环境变量的错误。

9.2 slaves (文件)

1
2
3
hadoop-slave1
hadoop-slave2
hadoop-slave3

很显然我们规定上述三个节点为工作节点。注意: 在hadoop-3.0之后,slaves文件更名为workers

9.3 core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-2.8.0/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-master:9000</value>
</property>
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.DefaultCodec,
<!--
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
-->
</value>
</property>
</configuration>

9.4 hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.8.0/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.8.0/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-master:50090</value>
</property>
</configuration>

9.5 mapred-site.xml

首先需要重命名该文件:

1
mv ./mapred-site.xml.template mapred-site.xml

然后修改mapred-site.xml:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop-master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop-master:19888</value>
</property>
<!-- DefaultCodec -->
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.DefaultCodec</value>
</property>
</configuration>

9.6 yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>100</value>
</property>
-->
</configuration>

对于所有的hadoop-slaves执行完全一样的配置操作。

10. 运行hadoop

格式化分布式文件系统

1
hdfs namenode -format # 首次运行需要执行初始化,之后不需要

10.1 运行文件系统管理器

1
start-dfs.sh

10.2 运行任务调度管理器

1
start-yarn.sh

10.3 查看相关进程

1
jps

在hadoop-master可以看到如下信息:

1
2
3
4
5
6
hadoop@hadoop-master:~$ jps
22128 Launcher
22917 SecondaryNameNode
23358 Jps
23086 ResourceManager
22687 NameNode

在任何一个hadoop-slave都可以看到如下信息:

1
2
3
4
hadoop@hadoop-slave1:~$ jps
5091 NodeManager
5302 Jps
4952 DataNode

以上缺少任何一个进程都表明运行出错了,一般都是配置有误。或者是系统资源不足。

11. web查看信息

在浏览器中输入:hadoop-master:50070可以查看各工作节点状态。输入hadoop-master:8088可以查看任务进度。

12. 运行测试集benchmark

笔者选择HiBench,具体的测试过程及配置教程请见Hadoop常用测试集HiBench配置指南

13. 关闭hadoop

执行相反的操作:

1
2
stop-yarn.sh
stop-dfs.sh

14. 总结

本文是快速搭建Hadoop真分布集群的好帮手,希望对大家有所帮助!任何疑问和建议欢迎留言,笔者会及时反馈。

周鶏🐣(Kimiko) wechat
拿起手机扫一扫,欢迎关注我的个人微信公众号:「洛斯里克的大书库」。
坚持原创技术分享,您的支持将鼓励我继续创作!