标签存档: MapReduce

Linux Mint 搭建Hadoop 2.3.0 单机伪分布模式开发环境

最近在大量写MR程序进行数据抽取,但是总是在用公司的服务器实验自己的小程序好像有点不太好,加上最近在HK用325HKD购进了一套台式电脑,所以尝试用它搭建一个开发环境作为自己学习以及测试使用。机器是老机器,32bit,只是拿来玩玩,本来只想买个monitor,75HKD,但是在测试monitor的时候发现,这个老台式竟然带独显,考虑到最近也想搞GPU编程,所以顺带买下来了,一套325HKD算是值得了。回到正题,linux 版本是32bit linux mint 16, Hadoop 版本是 2.3.0, yarn 2.0。

-----------------------------------------------

Linux mint 的安装忽略,可以VM一个,也可以装进hard disk,自行搞定。

-----------------------------------------------

  添加 hadoop 用户组和用户

考虑到大部分公司里的hadoop集群都是专门把hadoop相关的应用分给特定用户组操作的,而且我这台实验机还需要跑R,以及CUDA之类的应用的,所以还是专门分一个hadoop用户组,当然,为了简化,用户名也设置为hadoop:

  • 首先是创建 hadoop 用户组,Terminal 中输入
     sudo addgroup hadoop
  • 创建 hadoop 用户, Terminal 中输入:
     sudo adduser -ingroup hadoop hadoop 

    创建过程中会要求给 hadoop 用户创建密码,建议还是创建一个,其余信息可以智杰回车使用 default,后面会设置 ssh 用 rsa 登录,启动 hadoop 时无需密码,要嫌密码麻烦可以设置默认登录 hadoop 用户。

  • 给 hadoop 用户添加权限,为了简便可以直接在 /etc/sudoer 中添加,也可以设置得复杂点,麻烦点会带来更高的安全度,但是对于我来说,实验机器就能懒就懒吧,Terminal 中打开:
     sudo vim /etc/sudoers 

    在"root ALL=(ALL:ALL)" 这行下面加上:

     hadoop ALL=(ALL:ALL) ALL 

    要是vim使用不习惯可以使用gedit,相对简单,加上上面的代码保存就可以了:

     sudo gedit /etc/sudoers 

    设置完成后注销,切换到 hadoop 用户安装 ssh 以及安装 hadoop

----------------------------------------------- 继续阅读 »