Hadoop 操作文件报错

项目简述： 👉
项目代码以及说明演示,入口

1.

hadoop上传文件错误 : org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException>>Name node is in safe mode.
到linux 下 执行该命令

hdfs dfsadmin -safemode leave
解除安全模式即可

image.png

2.

hadoop上传文件错:误:org.apache.hadoop.ipc.RemoteException(java.io.IOException)

先 /stop-all.sh 停止集群
cat core-site.xml  查看配置文件，如下图。看看放哪里了
对其删除(我的路径是 hadoop/data)，把data目录删除

image.png

删除完
hadoop namenode -format
重新启动hadoop集群（切换到hadoop目录下的sbin目录下）即可
start-all.sh

3.

入门小白可能不知道上传的文件看不到：

前提(配置了hadoop环境变量)
执行 hadoop fs -lsr /    即可查看hadoop下有什么文件或目录

查看hadoop文件目录.png
image.png

可以先查看有什么文件，在确定上传文件名称是否已存在

----------后续有什么错误会继续更新 2021.4.3

4. Failed to locate the winutils binary in the hadoop binary path

java.io.IOException: Could not locate executable D:\SoftWare\hadoop-2.7.7\bin\winutils.exe in the Hadoop binaries.

原因:windows上没有Hadoop运行必须的插件wintils.exe
链接：https://pan.baidu.com/s/1zvIgrvGccjFrC2I_9nMMZA 
提取码：oa5d 
下载完复制其中的  winutils.exe, winutils.pdb 到 hadoop 下的bin 目录
重启项目即可。
PS : 我的本地Hadoop 版本是 3.14 用的工具包版本是 2.X ,并不会有兼容问题

image.png

5.

idea报unable to ping server at localhost:1099

jdk版本和 Hadoop 版本不一致
2.X 的Hadoop 建议用 1.7jdk
3.x 用 1.8

IDEA 项目的 Java 解释器也要一样
tomcat 也要一样
另外也要注意 tomcat 的兼容 jdk版本。 我的是 9.X tomcat

image.png
image.png
image.png

6.

运行时出错：org.apache.catalina.LifecycleException: 无法启动组件[StandardEngine

hadoop配置类

配置要确保 能正确连接到 虚拟机上的hadoop。才能正常使用
可以自己创建  Java API  做 文件上传测试一样。
具体可以拿我另外一篇文章里的 Hadoop代码测试。

7.

调用方法[manageApp]时发生异常 java.lang.IllegalStateException: 启动子级时出错

代码如图

在 jsp项目中， web.xml 配置了不存在的 servlet类，注释即可

----------后续有什么错误会继续更新 2021.4.4