月度存档: 五月 2014

我的母亲

前一阵子,二姐因为儿子学习成绩不好把家里闹得沸沸扬扬,一时责怪二姐夫和外甥 “懒得灭绝人性”, 一时把责任推托到我跟大姐身上:“我文化水平低,不会辅导小孩,你们是家里最有文化的人,你们要帮我啊!” 对此,我跟大姐的意见相当统一:“只要做好了母亲的本分,即使成绩不好,照样成才!” 能说这样的话,底气来自我的母亲,只有小学文化的农村妇人。

老妈今年67,属猪。我属蛇,今年25,晚生子,广东话俗语“落尾春”。体质不好,早衰,身体素质,样貌,智力都比不上我哥,但是我仍然骄傲于“落尾春”这个身份,因为我有一个勇敢的老妈。晚生子,其实在小孩的时候肯定是要被同学们嘲笑的,同学们的妈妈一个比一个年轻漂亮,而老妈却比他们的奶奶辈也年轻不了几岁。所以从幼儿园能记清楚回家的路开始,我便不愿意老妈来接我,最夸张的一次是回家中途跑到姐姐单位,为的就是不和老妈一块回家。说来可笑,小时候犯的错,总是会在长大后不经意中发现,然后追悔莫及。中学的时候去看表姐,那时候她怀胎六月,刚刚出院回家。39岁,高龄产妇,强烈的妊娠反应让她连饭都吃不下,脸色总是铁青铁青的,看着让人心痛。心头一转,老妈当时的年龄比表姐还要大上几年,而且条件差多了(那个时候超生是需要东躲西藏的)。看着表姐痛苦的样子,我甚至不敢想像老妈当时的痛苦。从那个时候开始,才真正了解其实“落尾春”比其它人更有资格说自己是命运的宠儿,因为他们有个坚韧的母亲。

继续阅读 »

Linux Mint 搭建Hadoop 2.3.0 单机伪分布模式开发环境

最近在大量写MR程序进行数据抽取,但是总是在用公司的服务器实验自己的小程序好像有点不太好,加上最近在HK用325HKD购进了一套台式电脑,所以尝试用它搭建一个开发环境作为自己学习以及测试使用。机器是老机器,32bit,只是拿来玩玩,本来只想买个monitor,75HKD,但是在测试monitor的时候发现,这个老台式竟然带独显,考虑到最近也想搞GPU编程,所以顺带买下来了,一套325HKD算是值得了。回到正题,linux 版本是32bit linux mint 16, Hadoop 版本是 2.3.0, yarn 2.0。

-----------------------------------------------

Linux mint 的安装忽略,可以VM一个,也可以装进hard disk,自行搞定。

-----------------------------------------------

  添加 hadoop 用户组和用户

考虑到大部分公司里的hadoop集群都是专门把hadoop相关的应用分给特定用户组操作的,而且我这台实验机还需要跑R,以及CUDA之类的应用的,所以还是专门分一个hadoop用户组,当然,为了简化,用户名也设置为hadoop:

  • 首先是创建 hadoop 用户组,Terminal 中输入
     sudo addgroup hadoop
  • 创建 hadoop 用户, Terminal 中输入:
     sudo adduser -ingroup hadoop hadoop 

    创建过程中会要求给 hadoop 用户创建密码,建议还是创建一个,其余信息可以智杰回车使用 default,后面会设置 ssh 用 rsa 登录,启动 hadoop 时无需密码,要嫌密码麻烦可以设置默认登录 hadoop 用户。

  • 给 hadoop 用户添加权限,为了简便可以直接在 /etc/sudoer 中添加,也可以设置得复杂点,麻烦点会带来更高的安全度,但是对于我来说,实验机器就能懒就懒吧,Terminal 中打开:
     sudo vim /etc/sudoers 

    在"root ALL=(ALL:ALL)" 这行下面加上:

     hadoop ALL=(ALL:ALL) ALL 

    要是vim使用不习惯可以使用gedit,相对简单,加上上面的代码保存就可以了:

     sudo gedit /etc/sudoers 

    设置完成后注销,切换到 hadoop 用户安装 ssh 以及安装 hadoop

----------------------------------------------- 继续阅读 »