RUI个人博客 首页>>Hadoop>>[原] Hadoop大数据平台环境搭建 使用阿里云主机

[原] Hadoop大数据平台环境搭建 使用阿里云主机

目录:

1. 学习搭建hadoop环境
    1.1 安装jdk
    1.2 修改 /etc/profile  保证环境变量中包含  JAVA_HOME  和  PATH路径
    1.3 通过 wget 下载hadoop 1.2.1 安装软件包
2. 设置hadoop中4个重要的文件  
    2.1 更改JAVA_HOME中的环境变量文件 
    2.2  core-site.xml 文件   
    2.3 hdfs-site.xml 文件
    2.4 mapred-site.xml文件
    2.5 将HADOOP_HOME添加到环境变量/etc/profile文件中
3. 测试环境变量是否正确
    3.1 格式化hadoop文件系统
    3.2 启动hadoop    通过jps查看进程
 
 
1. 学习搭建hadoop环境
阿里云   安装报错:
 
root@hadoop:~# apt-get update

    1.1 安装jdk

root@hadoop:~# apt-get install openjdk-7-jdk

成功了。。。。。奶奶的 搞半天。。。。。

    1.2 修改 /etc/profile  保证环境变量中包含  JAVA_HOME  和  PATH路径

root@hadoop:~# cat /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

    1.3 通过 wget 下载hadoop 1.2.1 安装软件包

root@hadoop:~# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
root@hadoop:~# mv hadoop-1.2.1.tar.gz /opt/
root@hadoop:~# tar -zxvf hadoop-1.2.1.tar.gz 
root@hadoop:~# cd /opt/hadoop-1.2.1/
root@hadoop:/opt/hadoop-1.2.1# ls

2. 设置hadoop中4个重要的文件  

root@hadoop:/opt/hadoop-1.2.1# cd conf/
root@hadoop:/opt/hadoop-1.2.1/conf# ls
root@hadoop:/opt/hadoop-1.2.1/conf# vim hadoop-env.sh

    2.1 更改JAVA_HOME中的环境变量文件 

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

    2.2  core-site.xml 文件   

root@hadoop:/opt/hadoop-1.2.1/conf# vi core-site.xml 

<!-- core-site.xml -->
<property>

    <name>hadoop.tmp.dir</name>

    <value>/hadoop</value>

  </property>

  <property>

    <name>dfs.name.dir</name>

    <value>/hadoop/name</value>

  </property>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://hadoop:9000</value>

  </property>

    2.3 hdfs-site.xml 文件

root@hadoop:/opt/hadoop-1.2.1/conf# vi hdfs-site.xml 

<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>

    2.4 mapred-site.xml文件

root@hadoop:/opt/hadoop-1.2.1/conf# vi mapred-site.xml

<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>

    2.5 将HADOOP_HOME添加到环境变量/etc/profile文件中

root@hadoop:/opt/hadoop-1.2.1/conf# vim /etc/profile

export HADOOP_HOME=/opt/hadoop-1.2.1

root@hadoop:/opt/hadoop-1.2.1/conf# source /etc/profile

3. 测试环境变量是否正确

root@hadoop:/opt/hadoop-1.2.1/conf# hadoop

    3.1 格式化hadoop文件系统

root@hadoop:/opt/hadoop-1.2.1/conf# hadoop namenode -format

    3.2 启动hadoop    通过jps查看进程

root@hadoop:/opt/hadoop-1.2.1/conf# cd /opt/hadoop-1.2.1/bin/
root@hadoop:/opt/hadoop-1.2.1/bin# start-all.sh 
root@hadoop:/opt/hadoop-1.2.1/bin# jps

如果DataNode没有正常启动 处理故障http://www.5ibig.com/article/index/arcid/33.htm

修改IP地址和主机名的映射

root@ora11g:/opt/hadoop-1.2.1/conf# cat /etc/hosts
root@hadoop:/opt/hadoop-1.2.1/bin# jps


            2016-03-08   王慧.tyger    good  luck!!!

昵  称:
邮  箱:
评论内容:
验 证 码:
可用[code][/code]插入代码
点击刷新验证码