内容发布更新时间 : 2024/11/16 13:27:34星期一 下面是文章的全部内容请认真阅读。
Hadoop2.6.4 环境搭建步骤
参考网站：1. http://www.powerxing.com/install-hadoop/
创建hadoop用户
useradd -m hadoop -s /bin/bash
配置SSH无密码登陆
cd ~/.ssh/ # 若没有该目录，请先执行一次sshlocalhost ssh-keygen -t rsa# 会有提示，一路都按回车就可以 cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时再用sshlocalhost命令，无需输入密码就可以直接登陆。
安装Java环境
rpm –ivhjdk-7u79-linux-x64.rpm vim /etc/profile
#set java environment
JAVA_HOME=\
CLASSPATH=\HADOOP_HOME=\
PATH=\export JAVA_HOME CLASSPATH PATH
source /etc/profile java -version
Java环境安装成功。
安装 Hadoop
Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载，一般选择下载最新的稳定版本，即下载“stable”下的 hadoop-2.x.y.tar.gz 这个格式的文件，这是编译好的，另一个包含src的则是 Hadoop 源代码，需要进行编译才可使用。
下载时强烈建议也下载 hadoop-2.x.y.tar.gz.mds 这个文件，该文件包含了检验值可用于检查 hadoop-2.x.y.tar.gz 的完整性，否则若文件发生了损坏或下载不完整，Hadoop 将无法正常运行。
本文涉及的文件均通过浏览器下载，默认保存在“下载”目录中（若不是请自行更改 tar 命令的相应目录）。另外，本教程选择的是 2.6.4 版本，如果你用的不是 2.6.4 版本，则将所有命令中出现的 2.6.4 更改为你所使用的版本。
tar -zxf /data/install/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/
mv ./hadoop-2.6.4/ ./hadoop # 将文件夹名改为hadoop chown -R hadoop ./Hadoop vim /etc/profile
HADOOP_HOME=\
PATH=\export JAVA_HOME CLASSPATH PATH
# improve Could not resolve hostname library: Name or service not known export HADOOP_COMMON_LIB_NATIVE_DIR=\export HADOOP_OPTS=\source /etc/profile hadoop version
Hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml (通过gedit编辑会比较方便: gedit ./etc/hadoop/core-site.xml)，将当中的
修改为下面配置：
同样的，修改配置文件 hdfs-site.xml：
Hadoop配置文件说明
Hadoop 的运行方式是由配置文件决定的（运行 Hadoop 时会读取配置文件），因此如果需要从伪分布式模式切换回非分布式模式，需要删除 core-site.xml 中的配置项。
此外，伪分布式虽然只需要配置fs.defaultFS和dfs.replication就可以运行（官方教程如此），