美文网首页
启动hadoop 2018-09-30

启动hadoop 2018-09-30

作者: 木头左 | 来源:发表于2018-09-30 20:10 被阅读0次

启动hadoop
1、 格式化HDFS分布式文件系统

hadoop namenode –format

启动Hadoop

start-all.sh

停止Hadoop

stop-all.sh

jps命令可以看到Hadoop的所有守护进程

image.png

用hdfs dfsadmin -report 命令来检查,能看到DataNode状态才是正常


image.png

可以通过Hadoop NameNode和JobTracker的Web接口来查看集群是否启动成功,其访问地址如下

http://192.168.96.128:8088/cluster

image.png
NameNode为http://192.168.96.128:50070/dfshealth.html#tab-overview
image.png
JobTracker为http://localhost:50030/

到此仅仅是在linux上布置成功

在eclipse上运行hdfs

很多博客说要下载插件hadoop-eclipse-plugin-2.6.0.jar,我下载后也放在eclipse安装文件夹的插件plugins下了,那头小象始终不见出来,发现不装插件也可以运行wordCount,与版本有关,但是不是必须对应的,

1、下载hadoop.dll和winutils.exe

https://github.com/steveloughran/winutils/blob/master/hadoop-2.8.3/bin/hadoop.dll

winutils.exe放在hadoop-2.8.4\bin


image.png

hadoop.dll放在C:\Windows\System32


image.png
2、 环境变量

访问hdfs时报权限错误
Permission denied: user=administrator, access=WRITE,

配置环境变量


image.png
image.png

配置服务器上的hadoop用户,因为执行login.login的时候调用了hadoop里面的HadoopLoginModule方法,会先读取HADOOP_USER_NAME系统环境变量,然后是java环境变量,如果再没有就从NTUserPrincipal里面取


image.png

配置好环境,重启Eclipse

3、 Maven中配置
1、 Maven中配置

[图片上传失败...(image-84ad15-1538309383486)]

2、 wordCount Demo

[图片上传失败...(image-655714-1538309383486)]

[图片上传失败...(image-22d86f-1538309383486)]

[图片上传失败...(image-d6c85d-1538309383486)]

3、 配置文件

主机名要替换成IP

[图片上传失败...(image-b8a322-1538309383486)]

4、 运行结果


image.png

Hdfs dfs –mkdir /hi

相关文章

  • 启动hadoop 2018-09-30

    启动hadoop1、 格式化HDFS分布式文件系统 hadoop namenode –format 启动Hadoo...

  • hive配置

    1.启动hadoop相关进程:启动hadoop类型:sbin/hadoop-daemon.sh start nam...

  • Hadoop实战之wordcount

    基于linux系统使用hadoop 本文使用hadoop对文本进行单词计数,并输出到本地 启动hadoop 启动s...

  • hadoop实验

    1 wordcount 启动hadoop 进入hadoop安装目录 cd /usr/local/hadoop输入命...

  • Spark02 yarn运行

    需要启动 hadoop 可以查看start-all.sh 脚本 启动hadoop yarn 和 hdfs 提交y...

  • hadoop调度docker启动用户设置

    1,启动 hadoop调度docker时,docker容器的启动通过hadoop执行指定的shell命令完成,通常...

  • Hadoop常用命令

    启动Hadoop所有进程:start-all.sh 关闭Hadoop所有进程:stop-all.sh 单进程启动:...

  • Hadoop 入门(一)

    目录 Hadoop 安装 单点启动&集群启动 访问 HDFS 常用配置 常用命令 Hadoop 安装 软件准备 运...

  • Hadoop的启动和停止说明

    Hadoop的启动和停止说明 sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNo...

  • 【Hadoop】Hadoop 集群安装

    本篇结构: 前言 准备条件 安装 Hadoop 集群 启动 Hadoop 集群 一、前言 开始使用 Hadoop,...

网友评论

      本文标题:启动hadoop 2018-09-30

      本文链接:https://www.haomeiwen.com/subject/zpfgoftx.html