我的场景是这样的:
windowXP上运行着eclipse以及hadoop-eclipse插件,但是本文的重点不是说如何在eclipse上安装hadoop的开发插件。
hadoop集群运行在另外三台linux机器上,且已经安装好。
我的这篇文章是讲如何把上述的eclipse和这个hadoop集群联系起来,进行日常的开发调试。
hadoop集群上的用户是hadoop,但是window系统上的用户登录名为wxxxxxx,因为公司对用户管理严格,我没法添加hadoop用户,所以这篇文章讲了如何处理这种情景。
用户名不一致导致文件夹访问受影响,开始根据网上的提示,在FileUtil.java中注释掉了checkReturnValue函数中抛出异常的代码,然后又有新的问题,显示出了HDFS上的一个新文件夹,还是以window用户名命名的,虽然在eclipse的DFS Location配置中配置了用户名为hadoop,但是没起作用,后来急了,干脆把hadoop这个用户名直接写到程序里算了。对着源代码调,在org.apache.hadoop.security.User类里,
在shortName = new KerberosName(name).getShortName();
前面
添一句name="hadoop";
呵呵,有点粗暴。不过能解决问题。
能在eclipse上观察input文件夹和output文件夹里的内容真好。
分享到:
相关推荐
此文档在hadoop集群搭建完毕之后,在集群之外搭建一个hadoop集群的开发环境,用于编写hadoop实际处理程序,还包括了如何提交任务等。整体非常详细,如需要其他hadoop集群搭建资源可以联系我,免费给q:1487954071
windows下搭建hadoop开发环境(Eclipse)
Windows下搭建Hadoop开发环境
在本地linux centos7虚拟机中搭建hadoop3.1.2伪分布式环境
win7下Cygwin搭建Hadoop开发环境
NULL 博文链接:https://mazhilin.iteye.com/blog/2415060
内含三个文档,Cygwin+Eclipse搭建Hadoop开发环境、cygwin安装及基本操作方法总结、Hadoop环境搭建及wordcount实例运行,要做这方面工作的人,可以进行参考
IDEA搭建本地hadoop开发环境的log4j.properties
Hadoop 开发环境搭建第一篇: 1、是用Virtual Box 系统使用的是Redhat ,linux不熟的朋友们可以顺便学习一下linux, 2、环境配置包括防火墙关闭,IP分配,更改域名等 3、服务软件:远程服务SSH等安装
windows下通过eclipse直接访问hdfs或者调试mapreduce程序需要用到的完整环境
涉及到了Hadoop2.0、Hbase、Sqoop、Flume、Hive、Zookeeper的具体环境搭建
1、win7+Eclipse+hadoop3搭建本机开发环境 hadoop/bin下需要替换的文件 2、hadoop-eclipse-plugin-2.6.0.jar 3、hadoop.dll
主要介绍了使用Maven搭建Hadoop开发环境的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
在windows下搭建hadoop2开发环境小案例,使用了ant技术
linux搭建hadoop环境,介绍如何搭配hadoop
IDEA搭建本地hadoop开发环境,hadoop.dll资源
Hadoop开发环境搭建所需文件(hadoop-eclipse-plugin-2.2.0.jar、winutils.exe)
windows中Hadoop开发环境中用到的bin,因为镜像下载中缺少winutils.exe和hadoop.dll ,所以上传此资源以备使用 windows搭建Hadoop开发环境请参考https://blog.csdn.net/qq_38774450/article/details/108942115
Cygwin+Eclipse搭建Hadoop单机开发环境 cygwin安装后文件备份