60 views

怎么用 hadoop 集群搭建 -suse linux 11

By | 2019年2月26日

今天给大家带来我们技术部的干货,hadoop集群搭建suse系统(Linux)

1.创建 hadoop 用户

useradd -u 501 -g users -d /home/hadoop -s /bin/bash hadoop
mkdir /home/hadoop
chown -R hadoop:users /home/hadoop
passwd hadoop 密码设置
方便记忆,我设置到用户名和密码一样

2.修改主机名

文件位置 /etc/HOSTNAME
vim /etc/HOSTNAME文件
/etc/rc.d/boot.localnet start

3.修改host文件 !三台机器都要修改!
文件位置 /etc/hosts
10.96.91.93 namenode93
10.96.91.129 datanode129
10.96.91.130 datanode130

4.配置ssh免密码登录

ssh-keygen -t rsa
.ssh目录下
cat id_rsa.pub >> authorized_keys

5.把自己本机公钥发送到目标机器
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode129
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@datanode130
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@namenode93

6.配置环境
文件位置 /etc/profile
export JAVA_HOME=/home/hadoop/jdk1.8.0_191
export JRE_HOME=/home/hadoop/jdk1.8.0_191/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$JAVA_HOME:$PATH
export HADOOP_HOME=/home/hadoop/hadoop-2.9.1
export PATH=”$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH”
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

7.最重要到—–Hadoop文件配置

1)创建hdfs文件夹
文件夹不是必须这样创建,但是,一定要和配置文件对应上。 创建后如下:
/home/hadoop/hadoop-2.9.1/hdfs
/home/hadoop/hadoop-2.9.1/hdfs/tmp
/home/hadoop/hadoop-2.9.1/hdfs/name
/home/hadoop/hadoop-2.9.1/hdfs/data

2)进入配置目录

cd /home/hadoop/hadoop-2.9.1/etc/hadoop

3)配置core-site.xml
在<configuration></configuration>中加入
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.9.1/hdfs/tmpp</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode93:9000</value>
</property>
注意:hadoop.tmp.dir的value和我们之前创建的/home/hadoop/hadoop-2.9.1/hdfs/tmp路径要一致

4)配置 hadoop-env.sh文件
将JAVA_HOME文件配置为本机JAVA_HOME路径
export JAVA_HOME=/home/hadoop/jdk1.8.0_191

5)配配置 yarn-env.sh
将其中的JAVA_HOME修改为本机JAVA_HOME路径
export JAVA_HOME=/home/hadoop/jdk1.8.0_191

6)配置hdfs-site.xml
在<configuration></configuration>中加入
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hadoop-2.9.1/hdfs/name</value>
<final>true</final>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/hadoop-2.9.1/hdfs/data</value>
<final>true</final>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>namenode93:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
注意:dfs.namenode.name.dir和dfs.datanode.data.dir的value和之前创建的/hdfs/name和/hdfs/data路径一致

7)配置mapred-site.xml
复制mapred-site.xml.template文件,并命名为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

8)配置 mapred-site.xml,在标签<configuration>中添加
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

9)配置yarn-site.xml
在<configuration>标签中添加以
<property>
<name>yarn.resourcemanager.address</name>
<valu>namenode93:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>namenode93:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>namenode93:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>namenode93:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>namenode93:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
10)配置slaves 文件
把原本的localhost删掉,改为
namenode93
datanode129
datanode130
将hadoop-2.9.1文件夹传到其他虚拟机上
scp -r hadoop-2.9.1 hadoop@datanode129:~/
scp -r hadoop-2.9.1 hadoop@datanode130:~/
注意:hadoop是虚拟机的用户名,
初始化hadoop 在namenode机器上
hdfs namenode -format

8.启动Hadoop

start-dfs.sh
start-yarn.sh
或者
start-all.sh
停止Hadoop
stop-yarn.sh
stop-dfs.sh
或者
stop-all.sh
查看命令
可以查看到当前登录机器到角色

jps
jps查询结果如下

hadoop@namenode93:~> jps
15314 SecondaryNameNode
15484 ResourceManager
14956 NameNode
15116 DataNode
15612 NodeManager
16781 Jps

129 130两个机器是 DataNode,在Hadoop到配置里,可以灵活配置各个机器角色 详细到配置官网上有 jps查询结果如下

hadoop@datanode130:~> jps
10233 NodeManager
10365 Jps
10110 DataNode
到这里,三台机器搭建的Hadoop集群就组建完毕了。

用自带的样例测试hadoop集群跑任务

本文转载于:http://win-man.com
本文关键词:网站加速     视频加速    BGP服务器    高防服务器
作者:网站防护技术员

发表评论

电子邮件地址不会被公开。 必填项已用*标注