1. hadoop集群搭建

1.1. 上传重编译后的hadoop包并解压

cd /export/software/ rz 上传解压操作 tar -zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /export/server/ 添加软连接: cd /export/server/ ln -s hadoop-3.3.0/ hadoop

1.2. Hadoop安装包目录结构

解压hadoop-3.3.0-Centos7-64-with-snappy.tar.gz，目录结构如下：

bin：Hadoop最基本的管理脚本和使用脚本的目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。

etc：Hadoop配置文件所在的目录，包括core-site,xml、hdfs-site.xml、mapred-site.xml等从Hadoop1.0继承而来的配置文件和yarn-site.xml等Hadoop2.0新增的配置文件。

include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。

libexec：各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。

sbin：Hadoop管理脚本所在的目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share：Hadoop各个模块编译后的jar包所在的目录，官方自带示例。

1.3. Hadoop配置文件修改

Hadoop安装主要就是配置文件的修改，一般在主节点进行修改，完毕后scp下发给其他各个从节点机器。

1.3.1. hadoop-env.sh

文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。

cd /export/server/hadoop/etc/hadoop/ vim hadoop-env.sh 添加: 在54行 export JAVA_HOME=/export/server/jdk1.8.0_241/ #文件最后添加: 在第 439行下 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

1.3.2. core-site.xml

hadoop的核心配置文件，有默认的配置项core-default.xml。

core-default.xml与core-site.xml的功能是一样的，如果在core-site.xml里没有配置的属性，则会自动会获取core-default.xml里的相同属性的值。

cd /export/server/hadoop/etc/hadoop/ vim core-site.xml 在文件的configuration的标签中添加以下内容: \ \fs.defaultFS\</name> \hdfs://node1.itcast.cn:8020\</value> \</property> \ \hadoop.tmp.dir\</name> \/export/data/hadoop\</value> \</property> \ \ \hadoop.http.staticuser.user\</name> \root\</value> \</property> \ \ \hadoop.proxyuser.root.hosts\</name> \*\</value> \</property> \ \hadoop.proxyuser.root.groups\</name> \*\</value> \</property>

1.3.3. hdfs-site.xml

HDFS的核心配置文件，有默认的配置项hdfs-default.xml。

hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。

cd /export/server/hadoop/etc/hadoop/ vim hdfs-site.xml 在文件的configuration的标签中添加以下内容: \<!-- 指定secondarynamenode运行位置 --> \ \dfs.namenode.secondary.http-address\</name> \node2.itcast.cn:50090\</value> \</property>

1.3.4. mapred-site.xml

MapReduce的核心配置文件，有默认的配置项mapred-default.xml。

mapred-default.xml与mapred-site.xml的功能是一样的，如果在mapred-site.xml里没有配置的属性，则会自动会获取mapred-default.xml里的相同属性的值。

cd /export/server/hadoop/etc/hadoop/ vim mapred-site.xml 在文件的configuration的标签中添加以下内容: \ \mapreduce.framework.name\</name> \yarn\</value> \</property> \ \yarn.app.mapreduce.am.env\</name> \HADOOP_MAPRED_HOME=${HADOOP_HOME}\</value> \</property> \ \mapreduce.map.env\</name> \HADOOP_MAPRED_HOME=${HADOOP_HOME}\</value> \</property> \ \mapreduce.reduce.env\</name> \HADOOP_MAPRED_HOME=${HADOOP_HOME}\</value> \</property>

1.3.5. yarn-site.xml

YARN的核心配置文件，有默认的配置项yarn-default.xml。

yarn-default.xml与yarn-site.xml的功能是一样的，如果在yarn-site.xml里没有配置的属性，则会自动会获取yarn-default.xml里的相同属性的值。

cd /export/server/hadoop/etc/hadoop/ vim yarn-site.xml 在文件的configuration的标签中添加以下内容: \ \ \yarn.resourcemanager.hostname\</name> \node1.itcast.cn\</value> \</property> \ \ \yarn.nodemanager.aux-services\</name> \mapreduce_shuffle\</value> \</property> \ \ \yarn.nodemanager.pmem-check-enabled\</name> \false\</value> \</property> \ \ \yarn.nodemanager.vmem-check-enabled\</name> \false\</value> \</property> \ \ \yarn.log-aggregation-enable\</name> \true\</value> \</property> \ \ \yarn.log.server.url\</name> \http://node1.itcast.cn:19888/jobhistory/logs\</value> \</property> \ \ \yarn.log-aggregation.retain-seconds\</name> \604800\</value> \</property>

1.3.6. workers

workers文件里面记录的是集群主机名。主要作用是配合一键启动脚本如start-dfs.sh、stop-yarn.sh用来进行集群启动。这时候workers文件里面的主机标记的就是从节点角色所在的机器。

vim workers 清空内容后, 添加以下内容: node1.itcast.cn node2.itcast.cn node3.itcast.cn

1.4. scp同步安装包

cd /export/server scp -r hadoop-3.3.0/ node2:$PWD scp -r hadoop-3.3.0/ node3:$PWD 分发后, 需要在node2和node3上分别创建软连接 cd /export/server/ ln -s hadoop-3.3.0/ hadoop

在node1上进行了配置文件的修改，使用scp命令将修改好之后的安装包同步给集群中的其他节点。

1.5. Hadoop环境变量

3台机器都需要配置环境变量文件。

vim /etc/profile #HADOOP_HOME export HADOOP_HOME=/export/server/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile

1.6. Hadoop集群启动、初体验

1.6.1. 启动方式

要启动Hadoop集群，需要启动HDFS和YARN两个集群。

注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的HDFS在物理上还是不存在的。

hadoop namenode -format

单节点逐个启动

在主节点上使用以下命令启动HDFS NameNode：

$HADOOP_HOME/bin/hdfs --daemon start namenode

在每个从节点上使用以下命令启动HDFS DataNode：

$HADOOP_HOME/bin/hdfs --daemon start datanode

在node2上使用以下命令启动HDFS SecondaryNameNode：

$HADOOP_HOME/bin/hdfs --daemon start secondarynamenode

在主节点上使用以下命令启动YARN ResourceManager：

$HADOOP_HOME/bin/yarn --daemon start resourcemanager

在每个从节点上使用以下命令启动YARN nodemanager：

$HADOOP_HOME/bin/yarn --daemon start nodemanager

如果想要停止某个节点上某个角色，只需要把命令中的start改为stop即可。

脚本一键启动

如果配置了etc/hadoop/workers和ssh免密登录，则可以使用程序脚本启动所有Hadoop两个集群的相关进程，在主节点所设定的机器上执行。

hdfs：$HADOOP_PREFIX/sbin/start-dfs.sh

yarn: $HADOOP_PREFIX/sbin/start-yarn.sh

停止集群：stop-dfs.sh、stop-yarn.sh

同时还提供了完整的一键化脚本:

start-all.sh 和 stop-all.sh

1.7. 启动后的效果

1.8. 集群web-ui

一旦Hadoop集群启动并运行，可以通过web-ui进行集群查看，如下所述：

NameNode http://nn_host:port/ 默认9870.

ResourceManager http://rm_host:port/ 默认 8088.

1.9. MapReduce jobHistory

JobHistory用来记录已经finished的mapreduce运行日志，日志信息存放于HDFS目录中，默认情况下没有开启此功能，需要在mapred-site.xml中配置并手动启动。

1.9.1. 修改mapred-site.xml

cd /export/servers/hadoop-3.3.0/etc/hadoop

vim mapred-site.xml

MR JobHistory Server管理的日志的存放位置

\ \mapreduce.jobhistory.address\</name> \node1:10020\</value> \</property>

查看历史服务器已经运行完的Mapreduce作业记录的web地址，需要启动该服务才行

\ \mapreduce.jobhistory.webapp.address\</name> \node1:19888\</value> \</property>

1.9.2. 分发配置到其他机器

cd /export/servers/hadoop/etc/hadoop

scp -r mapred-site.xml node2:$PWD

scp –r mapred-site.xml node3:$PWD

1.9.3. 启动jobHistoryServer服务进程

mapred --daemon start historyserver

如果关闭的话用下述命令

mapred --daemon stop historyserver

1.9.4. 页面访问jobhistoryserver

http://node1:19888/jobhistory

hadoop集群搭建