美文网首页
mac hadoop 配置

mac hadoop 配置

作者: destinyLee | 来源:发表于2018-05-02 16:08 被阅读0次

记录:
1.安装jdk
mac 自带的有java,可以安装自己的版本,需要配置环境变量.
修改.bash_profile文件就可以.
2.ssh免密登录
2.1系统偏好设置->共享->勾选远程登录.
2.2 command+shift+g 输入~/.ssh 前往 . 进入.ssh文件夹下会多


屏幕快照 2018-05-02 15.17.25.png

然后在终端下输入

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
2.3验证 ssh 设置成功 屏幕快照 2018-05-02 15.21.06.png

3.在mac中下载解压版本
4.配置
所需要修改的配置文件都在hadoop-3.0.0.0/etc/hadoop目录下。
4.1 hadoop-env.sh

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

4.2core-site.xml

<!-- 指定HDFS老大(namenode)的通信地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://0.0.0.0:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/Library/hadoop-2.7.3/temp</value>
</property>

4.3hadfs-site.xml

<configuration>
<!--默认副本数3 ,修改为1-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<!--指明fsimage存放目录,多个目录用逗号隔开-->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/Users/leerui/Documents/soft/hadoop-3.0.0/tmp/hdfs/name</value>
</property>
<!--定块文件存放目录,多个目录逗号隔开-->
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/Users/leerui/Documents/soft/hadoop-3.0.0/tmp/hdfs/data</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.http.address</name>
    <value>0.0.0.0:50070</value>
</property>

4.4 mapred-site.xml

 <configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

4.5yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</configuration>

5.配置环境变量
在 vi ~/.bash_profile 中进行配置

export HADOOP_HOME=/Users/leerui/Documents/soft/hadoop-3.0.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=${PATH}:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让配置生效:

source ~/.bash_profile

想要验证环境变量 是否配置成功的话 可以输入

echo $path

6.初始化以及启动

//进入hadoop安装目录
cd $HADOOP_HOME
//初始化namenode
hdfs namenode -format
//启动hdfs
sbin/start-dfs.sh 
//启动yarn
sbin/start-yarn.sh

7.测试是否成功
当启动完hdfs以及yarn可以打开浏览器,输入以下地址看是否能进入对应的页面
启动完hdfs访问: http://localhost:50070

屏幕快照 2018-05-02 16.06.55.png

启动完yarn访问: http://localhost:8088

屏幕快照 2018-05-02 16.07.35.png

就启动成功了.

原文https://www.cnblogs.com/landed/p/6831758.html

相关文章

  • hdfs的API操作

    *配置Windows下Hadoop环境 经测试mac好像没有这个问题 在windows系统需要配置hadoop运行...

  • Flink on Yarn

    安装和启动YARN 根据『 Hadoop 』mac下Hadoop的安装与使用这篇文章的指示安装并配置好Hadoop...

  • mac hadoop 配置

    记录:1.安装jdkmac 自带的有java,可以安装自己的版本,需要配置环境变量.修改.bash_profile...

  • Mac配置hadoop

    一,安装 二,启动

  • Mac Hadoop配置

    设置ssh免密登录从系统偏好设置->共享,打开远程登录(允许所有用户)控制台输入 授权你的公钥到本地可以无需密码实...

  • hadoop 2.7.5 + spark +scala + ec

    环境: hadoop 2.7.5, mac OS 10.12.6, eclipse Mars 这两天搞配置搞了一万...

  • Spark01 hadoop&spark环境安装

    hadoop 安装 基于mac os 创建hadoop账号 我用登录电脑的账号启动 这一步略 配置ssh 如果没有...

  • Hadoop学习(一) MAC OS下安装Hadoop开发环境

    在MAC OS下安装和配置Hadoop开发环境相当简单。 先去下载最新稳定版本的Hadoop的文件包,下载地址为:...

  • hadoop的安装与操作

    Ubuntu16.04-hadoop3.1.0安装与配置hadoop的配置文件在hadoop/etc/hadoop...

  • Giraph配置及使用

    环境配置 Hadoop配置 这里使用Hadoop2.5.1进行配置,可以参考这里。 查看版本号 运行Hadoop ...

网友评论

      本文标题:mac hadoop 配置

      本文链接:https://www.haomeiwen.com/subject/afbqrftx.html