linux-安装hadoop集群（伪分布）

1. 安装hadoop

安装hadoop集群

1. 安装hadoop

将压缩包复制到/usr目录下
在这里插入图片描述
解压 tar -zxvf 压缩包名字 -C /usr

2.修改配置文件

2.1 查看所有文件

在这里插入图片描述
2.2 修改hadoop.env.sh
进入/usr/hadoop/etc/hadoop目录下

配置
在这里插入图片描述

2.3 配置core-site
进入/usr/hadoop/etc/hadoop目录下
vi core-site.xml
在这里插入图片描述

<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/hadoop/tmp</value>
</property>
<property>
		<name>fs.defaultFS</name>
		<value>hdfs://gaoyu:9000</value>
</property>

2.4
配置hdfs.site
进入/usr/hadoop/etc/hadoop目录下
vi hdfs-site.xml

<property>
		<name>dfs.namenode.http-address</name>
		<value>gaoyu:50070</value>
</property>
<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>gaoyu2:50090</value>
</property>
<property>
		<name>dfs.namenode.name.dir</name>
		<value>/usr/hadoop/name</value>
</property>
<property>
		<name>dfs.namenode.data.dir</name>
		<value>/usr/hadoop/data</value>
</property>
<property>
		<name>dfs.replication</name>
		<value>1</value>
</property>

2.5 配置mapred-site.xml
复制模板
进入/usr/hadoop/etc/hadoop目录下
mv mapred-site.xml.template mapred-site.xml
修改配置
vi mapred-site.xml
在这里插入图片描述
2.6 配置yarn-env.sh
进入/usr/hadoop/etc/hadoop目录下
vi yarn-env.sh

2.7 配置yarn-site.xml
进入/usr/hadoop/etc/hadoop目录下
vi yarn-site.xml

2.5 配置slaves
vi slaves

在这里插入图片描述
2.6 配置hadoop环境变量
进入/usr/hadoop/etc/hadoop目录下
vi /etc/profile

#hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP CONF DIR=/usr/hadoop/etc/hadoop/

刷新：source /etc/profile
3. 复制文件到其他机器

1	scp -r /usr/hadoop gaoyu1:/usr/

1	scp -r /usr/hadoop gaoyu2:/usr/

1	scp /etc/profile gaoyu1:/etc

1	scp /etc/profile gaoyu2:/etc

在三台机器上分别操作（root下）
在这里插入图片描述

useradd hadoop
groupadd hadoop
gpasswd -a hadoop hadoop
chown -R hadoop:hadoop /use/hadoop
ll /usr
其他两台照做一遍

4.格式化hdfs 在这里插入图片描述
5.启动hdfs
start-all.sh

关闭：stop-all.sh
查看：