美文网首页App 开发者学习大数据
macOS Hadoop 3.1.0的安装及简单使用

macOS Hadoop 3.1.0的安装及简单使用

作者: GoddyWu | 来源:发表于2018-09-04 14:04 被阅读0次

最近想接触大数据，因为感觉太火了，默默往数据开发跨一小步。大数据比较基础也很核心的框架就是Hadoop啦。
转载或摘取劳烦添加引用，每个作者整理都不容易，而且写免费博客本身为了提高自己知名度，多谢。本文档永不取消发布，请放心mark 🙏give me five

概念

Hadoop

  • 开源的大数据框架
  • 分布式计算解决方案
  • Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算)

HDFS

  • 数据块
    • 抽象块，真正存储在HDFS的单元，而非单个文件
    • 默认大小64MB，一般设置128M，备份X3
  • NameNode（主）
    • 管理文件系统的命名空间，存放文件元数据
    • 维护着文件系统的所有文件和目录，文件与数据块的映射
    • 记录每个文件中各个数据块所在数据节点的信息
  • DataNode（存）
    • 存储并检索数据块
    • 向NameNode更新所存储模块的列表
  • 优点
    • 适合大文件存储，支持TB、PB级别的数据存储，有备份策略
    • 可以构建在廉价机器上，有一定的容错和恢复机制
    • 支持流式数据访问，一次写入，多次读取，效率高
  • 缺点
    • 不适合大量小文件的存储
    • 不适合并发写入，不支持文件随机修改
    • 不适合随机读等低延时的访问方式

MapReduce

  • 编程模型，编程方法，抽象理论
  • '分而治之'的思想
  • 编程模型核心
    • 输入一个大文件，通过split，将其分割为多个分片
    • 每个文件分片由单独机器去处理，map方法
    • 将各个机器的结果进行汇总，并得到最终结果，reduce方法

YARN

  • 资源管理器
  • 负责整个集群的资源管理和调度
  • 概念
    • ResourceManager
      • 分配和调度资源
      • 启动并监控ApplicationMaster
      • 监控NodeManager
    • ApplicationMaster
      • 为MapReduce类型程序申请资源，并分配给内部任务
      • 负责数据的切分
      • 监控任务的执行及容错机制
    • NodeManager
      • 管理单个节点的资源
      • 处理来自ResourceManager的命令
      • 处理来自ApplicationMaster的命令

macOS系统下的安装

楼主安装的版本如下：

  • hadoop 3.1.0 🌟
  • python 3.7
  • homebrew 1.7.1
  • java 1.8.0

1. 安装Homebrew

Homebrew的官方解释是 The missing package manager for macOS。Homebrew是一款Mac OS平台下的软件包管理工具，拥有安装、卸载、更新、查看、搜索等很多实用的功能。

官网：https://brew.sh/

安装命令

$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

常用命令

# 查看帮助
$ brew -help

# 查询仓库相关软件版本
$ brew search python3

# 安装软件
$ brew install python3

# 安装指定版本
$ brew install python@3

# 查看已安装的软件
$ brew list

# 更新软件
$ brew upgrade python3

# 卸载软件
$ brew uninstall python3

tips: Homebrew会自动注入相关命令的路径到$PATH变量中，非常方便

2.打开本地电脑的ssh登录方式

因为楼主喜欢gitlab，所以早早早就根据gitlab教程在电脑生成了SSH公钥，教程地址：https://gitlab.com/help/ssh/README#generating-a-new-ssh-key-pair

# 生成公钥
$ ssh-keygen -t rsa -C "your.email@example.com" -b 4096

# 一路默认

# 拷贝
$ cat ~/.ssh/id_rsa.pub

# 拷贝至电脑信任列表
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

系统设置(System Preferences) -> 共享(sharing) -> 勾选☑️远程登录(Remote Login)

最后可以在终端(Terminal)测试下

$ ssh localhost

3. 使用Homebrew安装Hadoop

$ brew install hadoop

目前安装的默认是3.1.0版本，跟3.0.0版本有差异，楼主踩过坑了，后续再更新版本，如有向前不兼容的部分，建议翻墙找找，，，最稳妥就是安装对应版本而非最新。安装时间有点久，耐心等待⌛️

4. 检测安装路径

Tips: command + shift + G 快速打开go to folder

5. 修改配置文件

Hadoop有三种安装模式：单机模式，伪分布式模式，分布式模式。Homebrew生成的默认是单机模式，单机和分布式楼主暂时未研究，后续补充到本博客，下面只涉及伪分布式配置。

首先用任意的ide打开刚刚的hadoop文件夹，楼主使用的是vscode。
我们需要修改的文件都在/usr/local/Celler/hadoop/3.1.0/libexec/etc/hadoop目录下, 并且都是在对应xml下configuration添加属性，无改删

  • 修改core-site.xml
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories</description>
  </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
  • 修改mapred-site.xml
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9010</value>
  </property>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>

  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
</configuration>
  • 修改hdfs-site.xml
<configuration>
  <!-- 伪分布式配置 -->
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>
  • yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!-- 集群配置 -->
  <!-- <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property> -->
</configuration>
  • 修改hadoop-env.sh
# 打开注释
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home"

# 打开注释
export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug"

# 打开注释
export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}

# 不动
case ${HADOOP_OS_TYPE} in
  Darwin*)
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= "
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.kdc= "
    export HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf= "
    export YARN_HOME=$HADOOP_HOME
  ;;
esac

详情看棉花糖do的博客https://www.jianshu.com/p/4a65fd034871写的很好，后续楼主详细了解了，完善此博客，暂时不拷贝其他作者撰写的解释，以免有纰漏。

  1. 初始化NameNode（只需要第一次,玩崩了也可以再执行下）
    注意⚠️建议不要往~/.bash_profile里PATH变量添加hadoop相关的路径，楼主遇到过坑，每次在终端打开/usr/local/Celler/hadoop/3.1.0/
    2018/08/05 这样配置可以使用
    19.03.14 add: ~/.bash_profile需要添加 export HADOOP_COMMON_HOME=$HADOOP_HOME 
$ ./bin/hdfs namenode -format
  1. 启动
  • 启动NameNode和DataNode
$ ./sbin/start-dfs.sh

启动完毕即可登录：http://localhost:9870

  • 启动Yarn(ResourceManager和NodeManager)
$ ./sbin/start-yarn.sh

启动完毕即可登录：http://localhost:8088

Tips: 可以在终端任意位置使用jps查看启动的java应用程序，理论启动完毕其中会包括：NameNode, DataNode, NodeManager, ResoureManager四个java程序

简单应用

常用命令

# 打开文件执行位置
$ cd /usr/local/Cellar/hadoop/3.1.0/bin

# 查看已启动内容
$ jps

# 查看信息
$ hdfs dfsadmin -report

# 创建文件夹
$ hdfs dfs -mkdir /test

# 查看文件夹下文件
$ hdfs dfs -ls /

# 查看所有命令
$ hdfs dfs -help

# 查看文件内容
$ hdfs dfs -cat /test/mk.txt

# 拷贝至hdfs
$ hdfs dfs -copyFromLocal /Users/goddy/repo/hadoop/hdfs-file/mk.txt /test/

# 拷贝至本地
$ hdfs dfs -copyToLocal /test/mk.txt /Users/goddy/repo/hadoop/hdfs-file/mk2.txt 

# 更改文件权限
$ hdfs dfs -chmod 777 /test/mk.txt 
[https://blog.csdn.net/u013197629/article/details/73608613?locationNum=10&fps=1]

# 执行
$ hadoop jar /usr/local/Cellar/hadoop/3.1.0/libexec/share/hadoop/tools/lib/hadoop-streaming-3.1.0.jar -files '/Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_map.py,/Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_reduce.py' -input /test/mk.txt -output /tmp/wordcounttest -mapper 'python3 /Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_map.py' -reducer 'python3 /Users/goddy/repo/python/kg-tool-goddy/hadoop_demo/hdfs_reduce.py'
# 执行
$ /usr/local/Cellar/hadoop/3.1.0/bin/hadoop jar /usr/local/Cellar/hadoop/3.1.0/libexec/share/hadoop/tools/lib/hadoop-streaming-3.1.0.jar -files 'hdfs_map.py,hdfs_reduce.py' -input /test/mk.txt -output /tmp/wordcounttest -mapper '/usr/local/bin/python3 hdfs_map.py' -reducer '/usr/local/bin/python3 hdfs_reduce.py'

//FIXME: 2018/09/04 待添加例子，准备用慕课网课程的例子，实操可实现...提前发布下文章，以免有人用hadoop 3.1.0遇坑

Appendixes

Reference

感谢🙏各位作者，摘取了大家博客的部分片段，只是想汇总下，不作商业用途，感谢、！

相关文章

网友评论

    本文标题：macOS Hadoop 3.1.0的安装及简单使用

    本文链接：https://www.haomeiwen.com/subject/tofgwftx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    App 开发者学习大数据

    关于我们|服务条款|联系我们|macOS Hadoop 3.1.0的安装及简单使用|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！