美文网首页Docker
使用Docker运行hadoop

使用Docker运行hadoop

作者: kongxx | 来源:发表于2018-07-04 07:55 被阅读26次

    获取docker镜像

    sudo docker pull sequenceiq/hadoop-docker:2.7.0
    

    运行docker容器

    sudo docker run -it --name hadoop --rm sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash
    

    运行作业

    在上一步命令执行后,我们就进入命令交互模式

    # 先看一下是否测试数据已经存在
    $ bin/hdfs dfs -ls /user/root/input
    
    # 运行作业
    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
    
    # 查看作业执行结果
    $ bin/hdfs dfs -cat output/*
    
    # 清空执行结果
    $ bin/hdfs dfs -rm output/*
    $ bin/hdfs dfs -rmdir output/
    

    相关文章

      网友评论

        本文标题:使用Docker运行hadoop

        本文链接:https://www.haomeiwen.com/subject/kbvsuftx.html