VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置

其实,网上关于Hadoop集群的配置的资料不可谓不少,但是,细细找来,多半是在有图形桌面的环境下搭建的。而我们知道,真正要运行Hadoop集群,我们想要更多的资源用来集中数据的处理与稳定,最理想的莫过于用类UNIX系统的服务器版本,更好面对要核心——要解决的问题,而不用浪费资源去做可视化,去显示什么。但是真正要用服务器版类UNIX的OS,面对无图形界面的操作系统,要想像平时用OS那么自然,可也绝非易事,好在网上资源不少,东找西凑,也算是最终完成了任务。

好了,言归正转,还是就核心要解决的问题来讲述吧

搭建Hadoop集群的大致步骤都一样;

1、 选择好虚拟机,下载并安装好,然后在用中熟悉下,虚拟机有很多:VirtualBox,KVM、VMare公司的一系列的,什么ESXi(自己还想去弄清楚的,目前还不清楚)、Workstation、vSphere(自己还想去弄清楚的,目前还不清楚)等等;在这里,我选择了VMware Workstation9.0 下载见 http://www.linuxidc.com/Linux/2012-11/73743.htm,是出于与前辈的虚拟镜像兼容,个人也推祟VirtualBox,一是其开源,二是因为其体积比VMware Workstation小得多,对于硬件资源紧张的人来说,尤其如此。

2、 下载好客户机要用的OS,并用虚拟机装入和新建虚拟机。这里,我先选择的是最新的Ubuntu 12.10服务器版(64位) 下载见 http://www.linuxidc.com/Linux/2012-10/72581.htm ,因为个人PC上内存还算较大,主机OS也是64位版的。

3、 在装好的虚拟机的客户机OS中下载和安装好JDK和Hadoop的相应版本,安装JDK是因为Hadoop是用JAVA写的,运行肯定需要JAVA支持,至于JDK,用的最广的是Sun公司的JDK,但是据《Hadoop:The definitive guide》的附录A(page:656)所说,其它版本的JDK也行,所以,这里就直接用Ubuntu资源库里所提供的OpenJDK。

4、 配置好SSH、JAVA_HOME(指向JDK的路径)和Hadoop的几个核心文件的配置——在hadoop-env.sh中指出JDK的路径、配置好Hadoop的conf目录下的core-site.xml 和Hadoop的HDFS的配置(conf目录下的hdfs-site.xml)和Hadoop的MapReduce 的配置(conf目录下的mapred-site.xml)

5、 确认好这台客户机的所有环境配置好后,再将其复制(克隆)到其它客户机中,然后各机IP、/etc/hosts和/etc/hostname作相应的改动

6、 测试Hadoop集群是否运行正常

二、详细步骤

1、搭建环境前的准备、计划:

VM中虚拟了4台机子,分别起名为:

master        (ubuntu 12.10 64bit,内存:2G,硬盘:80G),

son-1        (ubuntu 12.10 64bit,内存:1G,硬盘:80G),

son-2        (ubuntu 12.10 64bit,内存:1G,硬盘:80G),

son-3        (ubuntu 12.10 64bit,内存:1G,硬盘:80G)。

修改本机的host文件,

sudo gedit /etc/hosts

在后面添加内容为:

192.168.200.104 master

 192.168.200.105 son-1

 192.168.200.106 son-2

 192.168.200.107 son-3

当然,本机的hostname,即在/etc/hostname文件中,应是

master

2、选择虚拟机,下载并安装好。

这个一般是傻瓜式的,如果能汉化,就汉化吧,这样对于我们的工作也轻松多了,这里,我选择的是VMware Workstation9.0;

3、下载好客户机要用的OS,并用虚拟机装入。

这里,我先选择的是最新的Ubuntu12.10服务器版(64位)。这里,VMware对其设置网卡为采用NAT或Bridged,反正只要是为了使客户机OS能够连接外网,这样,我们的客户机的服务器OS就可以直接下载SSH、OpenJDK和Hadoop等相关资源;

4、为本机(master)和子节点(son..)分别创建hadoop用户和用户组,

其实ubuntu和CentOS下创建用户还多少还是有点区别的。

ubuntu下创建:

先创建hadoop用户组:

sudo addgroup hadoop

然后创建hadoop用户:

sudo adduser -ingroup hadoop hadoop

centos 和 RedHat 下创建:

sudo adduser hadoop

注:在centos 和 redhat下直接创建用户就行,会自动生成相关的用户组和相关文件,而ubuntu下直接创建用户,创建的用户没有家目录。

给hadoop用户添加权限,打开/etc/sudoers文件;

sudo gedit /etc/sudoers

按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权限。

在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL,

hadoop  ALL=(ALL:ALL) ALL

5、客户机OS中下载和安装好JDK、SSH和Hadoop的相应版本

(1)为本机(master)和子节点(son..)安装JDK环境。

ubuntu下一条命令即可:

sudo apt-get install openjdk-7-jre

centos和redhat建议下载源码安装。

详见:http://www.linuxidc.com/Linux/2012-11/74760.htm

VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置
更多相关文章
  • Vmware Workstation 6.0+Ubuntu 7.10安装学习笔记
    在同事的影响下,第一次接触Ubuntu.虽然以前也有一些不足挂齿的RedHat经验,对Linux基本还是什么也不懂.所以,留下这个笔记,作为成长的记录.一.安装Vmware和Ubuntu.目前暂时使用Vmware Workstation 6.0+Ubuntu 7.10开始我的Linux之旅.Vmwa ...
  • SecureCRT 7.0 通过 SSH服务登录 Vmware 下的Ubuntu 12.04服务器
    SecureCRT 7.0 通过 SSH服务登录 Vmware 下的Ubuntu 12.04服务器首先,为了避免来回的在主机与虚拟机之间切换:其次,通过SSH可以实现远程登录,只是一个终端,锻炼自己使用VI编辑器及适应无窗口环境,今天花了大概一下午的时间,虽然最后还有一点瑕疵,可已经可以满足使用的需 ...
  • Elementary OS 基于Ubuntu 12.04 测试版本下载
    elementary OS 一款高度仿制MAC的Linux操作系统,基于Ubuntu的衍生版.elementary_gtk_themeUbuntu 12.04 LTS长期支持版本发布之后,elementary OS 也发布了要制作基于Ubuntu 12.04的新版本,也有很多人在关注这款新版本的发布 ...
  • Ubuntu 12.10 安装JDK、Hadoop全过程
    因为之前写关于云存储的论文,大致了解了下GFS.HDFS这两个分布式文件系统,对Google提出的MapReduce也抱有很大兴趣,它给出了处理大数据一种很好的解决策略.Apache下的Hadoop基于Google提出的思想也实现了自己的一整套系统,因为它的开源属性,满足了不少程序员的好奇心,可以一 ...
  • Ubuntu 12.10 Gnome版本 Alpha发布
    Ubuntu Gnome Remix是一个在Ubuntu上使用纯Gnome的桌面环境,目前Ubuntu Gnome Remix 12.10 Alpha版本发布.该版本主要是面向开发者,并且镜像文件要比一般的标准CD要大一些,你可以通过USB或者DVD进行安装.Beta版本可能要在9月27号发布,详情 ...
  • Linux服务器下搭建hadoop集群环境 redhat5/Ubuntu 12.04
    Hadoop是一个由Apache基金会所开发的分布式系统基础架构,充分利用集群的威力进行高速运算和存储.本文我们来看看在 Linux 服务器如何搭建 Hadoop 集群环境,实例给出的是 redhat5/Ubuntu 12.04 系统.Ubuntu 12.04 下搭建 hadoop 集群环境步骤一. ...
  • U盘安装Ubuntu 12.10
    Ubuntu可以用多种方法进行安装,刻录光盘安装太费事而且浪费,而采用wubi只能进行简单地安装无法达到具体的应用,硬盘安装其实也很简单,但是很多新手又嫌太繁琐,新手不太好掌握,现在介绍一下使用UltraISO采用U盘的安装Ubuntu 12.10的方法.首先准备一个安装Ubuntu 12.10的分 ...
  • Ubuntu 12.10安装JDK1.7
    简单说下在Ubuntu 12.10安装JDK1.7的过程,因为本人命令不熟悉,而且vi也不熟,就是菜鸟一个.所以,本文安装尽量避免命令及vi的使用.首先下载官网上最新的jdk,网址:http://www.Oracle.com/technetwork/java/javase/downloads/jdk ...
一周排行