1、hadoop常用命令
| 序号 | 命令 | 说明 |
|---|---|---|
| 1 | hadoop fs -mkdir /park | 在hdfs的根目录下，创建park目录 |
| 2 | hadoop fs -ls / | 查看hdfs根目录下有哪些目录 |
| 3 | hadoop fs -pub /root/1.txt /park | 将root目录下的1.txt放在hdfs的park目录 |
| 4 | hadoop fs -get /park/jdk /home | 把hdfs的park目录下的文件放home目录 |
| 5 | hadoop fs -rm /park/文件名 | 删除hdfs的park目录的指定文件 |
| 6 | hadoop fs -rmdir /park | 删除park目录，前提目录里没有文件 |
| 7 | hadoop fs -rmr /park | 删除park目录，即使目录里有文件 |
| 8 | hadoop fs -cat /park/a.txt | 查看park目录下的a.txt文件，慎用 |
| 9 | hadoop fs -tail /park/a.txt | 查看park目录下a.txt文件末尾的数据 |
| 10 | hadoop jar xxx.jar | 执行jar包 |
| 11 | hadoop fs -touchz /park/1.txt | 创建一个空文件 |
| 12 | hadoop dfsadmin -safemode leave | 离开安全模式 |
| 13 | hadoop dfsadmin -safemode enter | 进入安全模式 |
| 14 | hadoop dfsadmin -report | 查看存活的datanode节点信息 |
| 15 | hadoop fsck /park | 汇报park目录健康状况 |
2、HDFS细节
-
HDFS：Hadoop Distributed File System 分布式文件系统
-
namenode：只存储和管理元数据信息，不存储文件块信息，会管理datanode节点
-
元数据信息meda data会在namenode节点都内存里，供快速查询，为了保证元数据不丢失，需要做数据的落地。
-
fsimage和Edits文件，fsimage文件是存储元数据信息的文件，Edits文件是用来存储元数据信息记录更改的文件，只要有记录更新，Edits就会记录。fsimage和Edits会定期做合并，默认是3600s。
hadoop namenode -format namenode <!-- 产生新的fsimage和Edits文件 -->
3、HDFS回收站
hadoop回收站trash，默认是关闭的。
修改core-site.xml，增加
[root@CH0 hadoop-3.1.0]# cd etc/hadoop
[root@CH0 hadoop]# vim core-site.xml
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<!-- value的时间默认是分钟，如果配置成0，表示不开启HDFS的回收站 -->
<!-- 1440=24*60，表示一天的回收间隔，文件存储一天后，被清空 -->
<!-- 如何找到需要恢复的文件所在目录 -->
Hadoop fs -lsr /user/root/.Trash
<!-- 找到后，如果想恢复，执行hdfs的mv指令 -->
网友评论