准备工作
1.判断机器上是否有ssh服务,
[linuxidc @ www.codesky.net Desktop]$ ssh -verison
OpenSSH_5.3p1, OpenSSL 1.0.0-fips 29 Mar 2010
Bad escape character 'rison'.
我的系统自带的,所以不用装了。
2.判断机器上是否有JDK
[linuxidc @ www.codesky.net Desktop]$ java -version
java version "1.6.0_24"
OpenJDK Runtime Environment (IcedTea6 1.11.1) (rhel-1.45.1.11.1.el6-i386)
OpenJDK Server VM (build 20.0-b12, mixed mode)
[linuxidc @ www.codesky.net Desktop]$ javac -version
javac 1.6.0_24
如果是系统自带的JDK,最好重装一下。 http://www.codesky.net/Linux/2012-08/67185.htm
进入主题
1.下载和安装Hadoop,我下载的是hadoop-0.20.2.tar.gz
解压文件:[root@ www.codesky.net Downloads]# tar -zxvf Hadoop-0.20.2.tar.gz
移动文件:[root@ www.codesky.net Downloads]# mv Hadoop-0.20.2 /usr/local/
安装文件:[root@ www.codesky.net Downloads]# ln -s Hadoop-0.20.2 hadoop
2.修改环境变量
[root@ www.codesky.net local]#vi /etc/profile
在文件的下面添加,不能直接在文件的上面添加
export Hadoop_HOME=/usr/local/hadoop
export PATH=$PATH:$Hadoop_HOME/bin
[root@ www.codesky.net local]#. /etc/profile
[root@ www.codesky.net local]# vi /usr/local/Hadoop/conf/hadoop.env.sh(配置JAVA_HOME)
[root@ www.codesky.net Desktop]# Hadoop version
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/Hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010
压轴大戏
1.NameNode配置
[Hadoop@hadoop1 ~]# vi /etc/hosts
192.168.127.145 Hadoop1
192.168.127.146 Hadoop2
192.168.127.147 Hadoop3
192.168.127.148 Hadoop4
[root@ www.codesky.net conf]# vi core-site.xml
- <configuration>
-
<property>
-
<name>fs.default.name</name>
-
<value>hdfs://Hadoop1:9000</value>
-
</property>
-
</configuration>
[root@ www.codesky.net conf]# vi hdfs-site.xml
- <configuration>
-
<property>
-
<name>dfs.replication</name>
-
<value>3</value>
-
</property>
-
-
<property>
-
<name>dfs.name.dir</name>
-
<value>/usr/local/Hadoop/namenode/</value>
-
</property>
-
-
<property>
-
<name>Hadoop.tmp.dir</name>
-
<value>/usr/local/Hadoop/tmp/</value>
-
</property>
-
</configuration>
[root@ www.codesky.net conf]# vi mapred-site.xml
- <configuration>
-
<property>
-
<name>mapred.job.tracker</name>
-
<value>Hadoop1:9001</value>
-
</property>
-
-
<property>
-
<name>mapred.tasktracker.map.tasks.maximum</name>
-
<value>4</value>
-
</property>
-
-
<property>
-
<name>mapred.tasktracker.reduce.tasks.maximum</name>
-
<value>4</value>
-
</property>
- </configuration>
datanode配置 (只需修改hdfs-site.xml,mapred-site.xml 和core-site.xml跟NameNode一样 )
[Hadoop@hadoop2 ~]$ vi hdfs-site.xml
- <configuration>
- <property>
-
<name>dfs.replication</name>
-
<value>3</value>
-
</property>
-
-
<property>
-
<name>dfs.data.dir</name>
-
<value>/home/Hadoop/data</value>
-
</property>
-
-
<property>
-
<name>Hadoop.tmp.dir</name>
-
<value>/usr/local/Hadoop/tmp/</value>
-
</property>
-
</configuration>
[Hadoop@hadoop1 conf]$ vi masters
Hadoop1
[Hadoop@hadoop1 conf]$ vi slaves
Hadoop2
Hadoop3
Hadoop4
[Hadoop@hadoop1 ~]$ start-all.sh
[Hadoop@hadoop1 ~]$ stop-all.sh
分享到:
相关推荐
脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...
从零开始一步步介绍如何搭建Hadoop集群
基于Docker搭建Hadoop集群(2).docx
摘要:本文将详细介绍如何使用 IBCS 虚拟专线搭建 Hadoop 集群,同时阐述 IBCS 虚拟专线 在提高 Hadoop 集群性能和稳定性方面的优势。使用 IBCS 虚拟专线搭建 Hadoop 集群具有显著的优势。企业可以通过 IBCS 虚拟 ...
大数据教程之搭建Hadoop集群.zip
搭建hadoop集群的全部配置文件,全在里面了,跟我的文章配合起来用
LinuxRedHat、CentOS上搭建Hadoop集群.pdf
大数据课程入门,使用Vm虚拟机搭建hadoop集群,用到的系统是centOS6.8,该视频同步了如何安装虚拟机、修改虚拟网卡、配置ssh环境、配置JDK1.8及hadoop2.7.4。视频时长一小时半,当然也可以看另外一条链接:...
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例,介绍如何使用Cloudera Manager自动搭建Hadoop相关集群,简化为多台服务器搭建Hadoop集群工作,提高工作效率。至于如何使用Cloudera Manager来管理...
Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程...
搭建了一个完全分布式Hadoop集群,并通过Java写了mapreduce程序处理数据,需要下载的可以找我要具体数据。
大数据教程之搭建Hadoop集群.zip
大数据导论实验一——搭建Hadoop集群实验报告
成功搭建Hadoop集群后简单实验.docx
《Hadoop大数据开发实战》教学教案—02搭建Hadoop集群.pdf
搭建hadoop集群,到zookeeper包含ssh 。。。。。。。。。。。。。。。。
Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群.pdf
Hadoop集群构建实训报告
本章首先对Ambari做简单介绍,然后详细介绍了Ambari的安装,以及如何使用Ambari搭建Hadoop集群,最后阐述了Ambari的架构和工作原理。 本章主要内容如下。 (1)Ambari简介。 (2)Ambari的安装。 (3)利用Ambari...
通过虚拟化技术在Linux系统下搭建Hadoop集群的研究与实现.pdf