美文网首页
伪分布式模式下运行mapreduce

伪分布式模式下运行mapreduce

作者: tonyemail_st | 来源:发表于2017-09-24 21:12 被阅读0次

在hdfs上创建/user目录,在其下面创建当前用户名命名的子目录。如当前用户是root,就创建/user/root

hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/root

上传文件到hdfs

hdfs dfs -put etc/hadoop /user/root
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar grep /user/root/hadoop output1 'dfs[a-z]+'
hdfs dfs -get /user/root/output1/*
cat part-r-00000

直接在分布式文件系统上面查看文件

[root@hadoop hadoop-2.7.4]# hdfs dfs -cat output1/*
1       dfsmetrics
1       dfsadmin

相关文章

  • 伪分布式模式下运行mapreduce

    在hdfs上创建/user目录,在其下面创建当前用户名命名的子目录。如当前用户是root,就创建/user/roo...

  • ubuntu18.04(后面换了16.04)配置hadoop2.

    伪分布模式 运行伪分布模式 1.退出localhost,在伪分布式模式中,运行hdfs,输入命令$ bin/hdf...

  • Hadoop系列-Hadoop 运行模式

    Hadoop 运行模式包括:本地模式、伪分布式模式以及完全分布式模式。本地(独立)模式:无需运行任何守护进程,所有...

  • Hadoop1.2.1 分布式环境安装

    之前介绍过本地模式(伪分布式)安装运行Hadoop,今天介绍一下如何在分布式的环境下安装并运行Hadoop。 0x...

  • 第三章 初识Hadoop框架

    安装类型 单机模式 伪分布式集群模式 多节点集群安装模式 一个MapReduce程序的组成 Java程序客户机:一...

  • Hadoop(二)---环境搭建

    1. 分类 Hadoop的运行模式包含三种,如下: 本地模式; 伪分布式模式; 完全分布式模式。 针对这3种模式,...

  • Spark启动命令

    启动Master 启动spark-shell 启动Worker local模式运行任务 伪分布式运行任务

  • win10下hadoop伪分布式搭建

    hadoop的单机模式、伪分布式、完全分布式 1、单机(非分布式)模式 这种模式是在一台单机上运行,没有分布式文件...

  • 大数据Hadoop面试题(一)

    1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、Hadoop生...

  • 最新Hadoop的面试题总结

    1、集群的最主要瓶颈   磁盘IO,网络带宽 2、Hadoop运行模式   单机版、伪分布式模式、完全分布式模式 ...

网友评论

      本文标题:伪分布式模式下运行mapreduce

      本文链接:https://www.haomeiwen.com/subject/elslextx.html