们平时用的机器一般装的都是windows系统,如果能在windows系统下面直接调试hadoop程序,那将是极好的
1. eclipse 安装hadoop 插件
首先, 下载hadoop 的eclipse插件 一个jar包
下载链接是这里:http://pan.baidu.com/s/1gfFbOFD
下完之后将插件解压 放到eclipse安装目录下的plugins下面 然后重启eclipse 就会看到
这样的图标
打开eclipse preferences 会有 Hadoop Map/Reduce 这个选项
2. 添加dll 到windows
下载hadoopUtil 地址:http://pan.baidu.com/s/1gfFbOFD
让后将utils中的dll文件放到 系统下面 windows文件夹下面的system32下
将文件夹中的winutils.exe 放到hadoop目录的bin下面
3. 配置hadoop本地环境变量
本文的前提是你有一个可以跑起来的hadoop环境,不管是虚拟机还是在服务器上面。
我们需要将linux上面hadoop目录复制一份到windows上,然后再上面的preferences下的 Hadoop Map/Reduce中配置 Hadoop installation directory
选择你本地hadoop的目录
然后配置windows 环境变量 Hadoop_Home
在系统环境变量中添加HADOOP_HOME这个变量:
然后在path中添加 hadoop:
配置hdfs location :
右键edit 如下 这是我的环境:
如果eclipse能读出 你hdfs上面的文件来,说明你的配置已经生效了如图:
4. 测试 wordcount
最后在eclipse中 建立hadoop项目 new 选择 Map/Reduce Project
你会惊奇的发现,eclipse已经将hadoop所需要的jar都导入到了eclipse当中。我们测试直接将wordcount 这个实例程序copy到项目中 运行就可以了