美文网首页Hadoop
Hadoop学习(二) 配置Hadoop的Eclipse的编程环

Hadoop学习(二) 配置Hadoop的Eclipse的编程环

作者: 禅大师 | 来源:发表于2018-12-21 17:40 被阅读0次

Eclipse版本,Juno (4.2) 。先去网上下载Eclipse的Plugin插件,org.apache.hadoop.eclipse.plugins.1.0.3.jar 放到eclipse/dropins下,重启eclipse会自动找到插件。

在Eclipse的偏好设定-Hadoop下设定本地的Hadoop安装路径。

在Windows->Open Perspective中,选择Other,在弹出框中选择Map/Reduce,点击OK。进入Map/Reduce视图。

点击右键,新建一个Location,在弹出框内设定名称和端口号9000。

点击Finish,完成后,在左边的Project Explore视图中,即可看到已经建立后的目录结构。

本地创建一个文件,命名为a01.dat,编辑a01.dat,输入:Hello,hadoop! 保存退出。

在Project Explore视图中,点击右键,选择Upload files to DFS,将a01.dat文件上传。

在新建项目向导中,新建一个Map/Reduce的项目。

在src路径下,新建一个普通的Java类,源代码如下:

      import java.io.FileNotFoundException;  
      import java.io.IOException;  
      import java.net.URI;
      import java.net.URISyntaxException;  
      import org.apache.hadoop.conf.Configuration;
      import org.apache.hadoop.fs.FSDataInputStream;  
      import org.apache.hadoop.fs.FileSystem;
      import org.apache.hadoop.fs.Path;  
      import org.apache.hadoop.io.IOUtils;  
      import org.apache.hadoop.security.AccessControlException;  
  
      public class test {  
         public static void main(String[] args) throws AccessControlException,  
            FileNotFoundException, IOException, URISyntaxException {  
       
            String dst = "hdfs://localhost:9000/a01.dat";
            Configuration conf = new Configuration();
            FileSystem fs = FileSystem.get(URI.create(dst), conf);
            FSDataInputStream hdfsInStream = fs.open(new Path(dst));
        IOUtils.copyBytes(hdfsInStream, System.out, 4090, false);  
       }  
     }  

选择Run As - Run on Hadoop
出现结果:Hello,hadoop!

相关文章

网友评论

    本文标题:Hadoop学习(二) 配置Hadoop的Eclipse的编程环

    本文链接:https://www.haomeiwen.com/subject/vdjvkqtx.html