HDFS 操作

https://www.w3cschool.cn/hadoop/hadoop_hdfs_operations.html

https://www.w3cschool.cn/hadoop/hadoop_command_reference.html

您必须格式化配置的HDFS文件系统，打开namenode（HDFS服务器），然后执行以下命令。

$ hadoop namenode -format

将启动namenode以及数据节点作为集群。

$ start-dfs.sh

列出文件

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

将数据插入HDFS：

１．　创建一个输入目录：　$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input

２．　使用put命令将数据文件从本地系统传输并存储到Hadoop文件系统。$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input

３．　$ $HADOOP_HOME/bin/hadoop fs -ls /user/input

从HDFS检索数据

１．ｃat命令查看HDFS中的数据。$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile

2.     使用get命令将文件从HDFS获取到本地文件系统。$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/

关闭HDFS $ stop-dfs.sh

cp<src><dest>; mv; rm;

 put<localSrc><dest>,   copyFromlocal<localSrc><dest>

get<dest><localSrc>,coptToLocal<src><localDest>

getmerge<src><localDest> 检索与HDFS中的路径src匹配的所有文件，并将它们复制到由localDest标识的本地文件系统中的单个合并文件。

moveFromLocal<localSrc><dest>: 系统复制到HDFS中的dest,成功时删除本地副本。

moveToLocal

mkdir <path>

touchz<path> 在包含当前时间的路径上创建一个文件作为时间戳。如果文件在路径中已存在，则失败，除非文件已经为0.

test -[ezd] <path> 如果路径存在则返回1;具有零长度;或者是目录，否则为0。

stat [format]<path> 打印有关路径的信息。格式是接受块（％b），文件名（％n），块大小（％o），复制（％r）和修改日期（％y，％Y）中的文件大小的字符串.

tail [-f] <file2name> 在stdout上显示最后1KB的文件。

chmod [-R] mode,mode,... <path>...       更改与由路径标识的一个或多个对象关联的文件权限...使用R.模式递归执行更改是一个3位八进制模式，或{augo} +/- {rwxX}。假设没有指定范围，并且不应用umask。

chown [-R] [owner][:[group]] <path>...   设置由路径标识的文件或目录的所属用户和/或组...如果指定了-R，则递归地设置所有者。