开云手机站登录入口优惠活动 - 开云手机站登录入口
环境说明：
系统：Centos7 在VM中安装的
hadoop版本：2.7.7
JDK：1.8
注意：Hadoop需要Java环境的。 同题参见记得安装Java环境
PS：Centos JDK安装
mkdir/data
1：上传jdk的tar.解压
2：修改/etc/proflie，把Javahome环境变量配置上： 对照阅读
记住：在修改前，先备份
在文件最后添加：
exportJAVA_HOME=/data/jdk1.8.0_351
exportJRE_HOME=${JAVA_HOME}/jre
exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
exportJAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
exportPATH=$PATH:${JAVA_PATH}
说明：/data/jdk1.8.0_351 修改成你自己的 延伸阅读
如下图：
添加完成后，使用 source /etc/profile 使其生效。
查看Java版本：
开始安装：
一：下载安装包：
1.1: 安装包下载地址https://repo.huaweicloud.com/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
1.2：上传并解压
mkdir/data
在Xshell中可以使用rz命令进行上传
解压：
cd/data
tar-zxvfhadoop-2.7.7.tar.gz
二：hadoop配置
声明：下文中踢掉的，hadoop的安装目录：
比如凯哥的安装目录，就是第一步上传到/data后解压的。所以hadoop安装目录就是：/data/hadoop-2.7.7 这个别搞错了
2.1：修改hadoop安装目录/etc/hadoop 下的 hadoop-env.sh的内容
cd/data/hadoop-2.7.7/etc/hadoop/
注意：是hadoop的安装目录：
比如凯哥的安装目录，就是第一步上传到/data后解压的。所以hadoop安装目录就是：/data/hadoop-2.7.7 这个别搞错了
vihadoop-env.sh
输入Javahome的配置
#指定JAVA_HOME
exportJAVA_HOME=/data/jdk1.8.0_351
2.2：修改hadoop安装目录/etc/hadoop 下的
vicore-site.xml
输入下面：
主要：
fs.defaultFS hdfs://192.168.50.135:9002 hadoop.tmp.dir /data/hadoop/tmp
需要主要，将hdfs的ip修改成你自己物理机的ip.
我们发现，在配置hadoop运行时候文件存储路径为/data/hadoop 如果没有这个目录，需要创建
注：这里fs.defaultFS的value最好是写本机的静态IP。当然写本机主机名，再配置hosts是最好的，如果用localhost，然后在windows用java操作hdfs的时候，会连接不上主机。
2.3：修改hadoop安装目录/etc/hadoop下的hdf-site.xml的内容
vihdfs-site.xml
输入:
dfs.namenode.name.dir /data/hadoop/hadoop/hdfs/nn fs.checkpoint.dir /data/hadoop/hdfs/snn fs.checkpoint.edits.dir /data/hadoop/hdfs/snn dfs.datanode.data.dir /data/hadoop/hdfs/dn dfs.name.dir /data/hadoop/name dfs.data.dir /data/hadoop/node dfs.replication 1 dfs.http.address 192.168.50.135:9000 ipc.maximum.data.length 134217728
同样需要注意的是将ip修改成自己服务器的真实ip
2.4：修改 hadoop安装目录下的/etc/hadoop 下的yarn-site.xml
yarn.nodemanager.vmem-check-enabled false yarn.nodemanager.aux-services mapreduce_shuffle yarn.application.classpath
/data/hadoop-2.7.7/etc/*,
/data/hadoop-2.7.7/etc/hadoop/*,
/data/hadoop-2.7.7/lib/*,
/data/hadoop-2.7.7/share/hadoop/common/*,
/data/hadoop-2.7.7/share/hadoop/common/lib/*,
/data/hadoop-2.7.7/share/hadoop/mapreduce/*,
/data/hadoop-2.7.7/share/hadoop/mapreduce/lib/*,
/data/hadoop-2.7.7/share/hadoop/hdfs/*,
/data/hadoop-2.7.7/share/hadoop/hdfs/lib/*,
/data/hadoop-2.7.7/share/hadoop/yarn/*,
/data/hadoop-2.7.7/share/hadoop/yarn/lib/*
三：将Hadoop配置到环境变量中：
在 /etc/profile中配置
exportHADOOP_HOME=/data/hadoop-2.7.7
exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
exportHADOOP_CLASSPATH=`hadoopclasspath`
exportHADOOP_CONF_DIR=/data/hadoop-2.7.7/etc/hadoop
4：配置hosts
可能会用到。如下错误时候修改：
修改hosts：
在/etc/hosts。同样需要注意，修改前，记得备份下。
192.168.50.135VM-xxx-centoslocalhost.localdomaingp-master
::1VM-xx-centosVM-xxx-centos
192.168.50.135master01
5：制作证书，免登陆配置
切换到root下
cd/root
接着：
#执行生成密钥命令：
ssh-keygen-trsa
#接着三个回车
继续：
ssh-copy-id-i/root/.ssh/id_rsa.pubroot@master01
选择yes
输入登录第一台节点的密码(操作完成该节点公钥复制到第一台节点中)
6：启动
进入到hadoop安装目录/sbin下，执行start-all.sh命令
./start-all.sh
使用jps命令验证是否已经启动成功（这些都启动了才算成功：ResourceManager、DataNode、SecondaryNameNode、NodeManager、TaskManagerRunner、YarnTaskExecutorRunner、NameNode）：
jps