启动hadoop
1、 格式化HDFS分布式文件系统
hadoop namenode –format
启动Hadoop
start-all.sh
停止Hadoop
stop-all.sh
jps命令可以看到Hadoop的所有守护进程

用hdfs dfsadmin -report 命令来检查,能看到DataNode状态才是正常

可以通过Hadoop NameNode和JobTracker的Web接口来查看集群是否启动成功,其访问地址如下
http://192.168.96.128:8088/cluster

NameNode为http://192.168.96.128:50070/dfshealth.html#tab-overview

JobTracker为http://localhost:50030/
到此仅仅是在linux上布置成功
在eclipse上运行hdfs
很多博客说要下载插件hadoop-eclipse-plugin-2.6.0.jar,我下载后也放在eclipse安装文件夹的插件plugins下了,那头小象始终不见出来,发现不装插件也可以运行wordCount,与版本有关,但是不是必须对应的,
1、下载hadoop.dll和winutils.exe
https://github.com/steveloughran/winutils/blob/master/hadoop-2.8.3/bin/hadoop.dll
winutils.exe放在hadoop-2.8.4\bin

hadoop.dll放在C:\Windows\System32

2、 环境变量
访问hdfs时报权限错误
Permission denied: user=administrator, access=WRITE,
配置环境变量


配置服务器上的hadoop用户,因为执行login.login的时候调用了hadoop里面的HadoopLoginModule方法,会先读取HADOOP_USER_NAME系统环境变量,然后是java环境变量,如果再没有就从NTUserPrincipal里面取

配置好环境,重启Eclipse
3、 Maven中配置
1、 Maven中配置
[图片上传失败...(image-84ad15-1538309383486)]
2、 wordCount Demo
[图片上传失败...(image-655714-1538309383486)]
[图片上传失败...(image-22d86f-1538309383486)]
[图片上传失败...(image-d6c85d-1538309383486)]
3、 配置文件
主机名要替换成IP
[图片上传失败...(image-b8a322-1538309383486)]
4、 运行结果

Hdfs dfs –mkdir /hi
网友评论