`
brucewei777
  • 浏览: 83216 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

在window搭建hadoop的开发环境

阅读更多
我的场景是这样的:
   windowXP上运行着eclipse以及hadoop-eclipse插件,但是本文的重点不是说如何在eclipse上安装hadoop的开发插件。
   hadoop集群运行在另外三台linux机器上,且已经安装好。
   我的这篇文章是讲如何把上述的eclipse和这个hadoop集群联系起来,进行日常的开发调试。
  
   hadoop集群上的用户是hadoop,但是window系统上的用户登录名为wxxxxxx,因为公司对用户管理严格,我没法添加hadoop用户,所以这篇文章讲了如何处理这种情景。
   用户名不一致导致文件夹访问受影响,开始根据网上的提示,在FileUtil.java中注释掉了checkReturnValue函数中抛出异常的代码,然后又有新的问题,显示出了HDFS上的一个新文件夹,还是以window用户名命名的,虽然在eclipse的DFS Location配置中配置了用户名为hadoop,但是没起作用,后来急了,干脆把hadoop这个用户名直接写到程序里算了。对着源代码调,在org.apache.hadoop.security.User类里,


在shortName = new KerberosName(name).getShortName();前面

添一句name="hadoop";

呵呵,有点粗暴。不过能解决问题。

能在eclipse上观察input文件夹和output文件夹里的内容真好。
  
0
3
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics