美文网首页
win10+IDEA+Spring Boot+CDH远程连接HD

win10+IDEA+Spring Boot+CDH远程连接HD

作者: PunkP | 来源:发表于2018-08-12 19:03 被阅读0次

    1)新建一个spring boot项目,引入jar包,pom文件内容如下

    1 2 3

    2)在一个controller文件中,写一个测试,用于下载hdfs中/temp目录下得一个文件

    代码demo

    3)引入,windows中远程调用hdfs得开发工具客户端

        (a)下载工具

            hadoop2.2版本可以在这里下载https://github.com/srccodes/hadoop-common-2.2.0-bin

            hadoop2.6版本可以在这里下载https://github.com/amihalik/hadoop-common-2.6.0-bin

        (b)指定客户端地址

            设置为:下载的zip包解压的目录,我这里解压后将其重命名为hadoop-common-2.6.0.  并且在程序中第一行指定其位置:System.setProperty("hadoop.home.dir","D:\\BBBBig Data\\hadoop\\Hadoop_2.6.0\\hadoop-common-2.6.0");

    (或者可以直接在环境变量中指定?未测试

    ①增加系统变量HADOOP_HOME,值是下载的zip包解压的目录,我这里解压后将其重命名为hadoop-common-2.6.0

    ②在系统变量path里增加%HADOOP_HOME%\bin

    相关文章

      网友评论

          本文标题:win10+IDEA+Spring Boot+CDH远程连接HD

          本文链接:https://www.haomeiwen.com/subject/ebxebftx.html