HDFS 环境搭建
HDFS 伪分布式环境搭建
CentOS 环境安装步骤
MacOS安装环境
安装jdk
jdk安装路径
/usr/libexec/java_home -V:列出所有版本的JAVA_HOME
设置 JAVA_HOME
- 添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=$JAVA_HOME/lib
Mac OS X ssh设置
输入命令ssh localhost,可能遇到如下问题
原因是没打开远程登录,进入系统设置->共享->远程登录打开就好
这时你再ssh localhost一下
-
下载 Hadoop
-
解压到soft目录
官方指南 -
编辑 hadoop-env.sh 文件
Hadoop也可以在伪分布模式下的单节点上运行,其中每个Hadoop守护进程都在单独的Java进程中运行
具体更改
新建一个临时文件目录
编辑 hdfs/core-site.xml 文件
配置 datanode 节点数
启动 hdfs
查看进程
访问http://localhost:50070/
表示HDFS已经安装成功
存活节点
步骤小结
关闭
HDFS Shell 操作
官网指南
先启动 HDFS
配置 hadoop 环境变量成功
指令集
dfs fs 无差异
上传一个 txt 文件
创建文件夹
多层次文件夹
遍历所有文件夹
删除文件/文件夹
所上传的文件
Java 操作 HDFS 开发环境搭建
pom 文件
JavaAPI 操作 HDFS文件系统
测试通过
-
测试创建文件方法
-
查看 HDFS 文件的内容
-
上传文件到 HDFS
-
上传文件到 HDFS(带进度条)
测试通过
-
下载文件到本地
测试通过
-
查看某个目录下的所有文件
测试通过
-
删除文件/文件夹
网友评论