博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
eclipse 本地连接hadoop 进行开发
阅读量:7093 次
发布时间:2019-06-28

本文共 934 字,大约阅读时间需要 3 分钟。

hot3.png

们平时用的机器一般装的都是windows系统,如果能在windows系统下面直接调试hadoop程序,那将是极好的

1. eclipse 安装hadoop 插件

首先, 下载hadoop 的eclipse插件  一个jar包

02190014_ZZmI.png

下载链接是这里:http://pan.baidu.com/s/1gfFbOFD

下完之后将插件解压 放到eclipse安装目录下的plugins下面 然后重启eclipse 就会看到

02190018_0YXU.png

这样的图标

打开eclipse preferences 会有 Hadoop Map/Reduce 这个选项

 

2. 添加dll 到windows

下载hadoopUtil 地址:http://pan.baidu.com/s/1gfFbOFD

02190016_J21T.png

让后将utils中的dll文件放到 系统下面 windows文件夹下面的system32下

将文件夹中的winutils.exe 放到hadoop目录的bin下面

3. 配置hadoop本地环境变量

本文的前提是你有一个可以跑起来的hadoop环境,不管是虚拟机还是在服务器上面。

我们需要将linux上面hadoop目录复制一份到windows上,然后再上面的preferences下的 Hadoop Map/Reduce中配置 Hadoop installation directory

选择你本地hadoop的目录

然后配置windows 环境变量 Hadoop_Home

02190015_d6m0.png

在系统环境变量中添加HADOOP_HOME这个变量:

02190015_ZS4n.png

然后在path中添加 hadoop:

02190016_BeNy.png

 

配置hdfs location :

02190016_3h0y.png

右键edit 如下 这是我的环境:

02190017_h6nJ.png

如果eclipse能读出 你hdfs上面的文件来,说明你的配置已经生效了如图:

02190017_Xm50.png

4. 测试 wordcount

最后在eclipse中 建立hadoop项目 new 选择 Map/Reduce Project

你会惊奇的发现,eclipse已经将hadoop所需要的jar都导入到了eclipse当中。我们测试直接将wordcount 这个实例程序copy到项目中 运行就可以了

 

 

 

 

 

 

转载于:https://my.oschina.net/u/2561483/blog/686194

你可能感兴趣的文章
权谋残卷
查看>>
[网页游戏开发]使用编辑器制作界面
查看>>
BZOJ 2725: [Violet 6]故乡的梦
查看>>
BZOJ 4530: [Bjoi2014]大融合
查看>>
15年大神分享心得
查看>>
[POJ3169] Layout
查看>>
JAVA虚拟机:对象的创建过程
查看>>
《APUE》第五章笔记
查看>>
File控件杂谈
查看>>
动态调用webservice
查看>>
form表单post请求保护 隐藏秘钥
查看>>
作用域插槽,用来属性插入
查看>>
201521123068《Java程序设计》第1周学习总结
查看>>
CSS3 弹性盒模型 box-flex
查看>>
玩玩hibernate
查看>>
python多版本以及各种包管理
查看>>
记录一些WPF常用样式方便以后复用(二)(Button、CheckBox、输入账号密码框)...
查看>>
【实用代码】选项卡切换——带标题底纹样式
查看>>
Gym - 101503I 利用到图论的构造
查看>>
Latex: article模板
查看>>