美文网首页
Hadoop-3.3.1版本 mac编译

Hadoop-3.3.1版本 mac编译

作者: ShiPF | 来源:发表于2023-05-21 23:34 被阅读0次

    最近在看董西成老师的yarn代码解读,编译了一下hadoop代码,使用的是3.3.1版本,记录下过程
    需要依赖的组件有

    1. java 1.8
    2. mvn 3.x
    3. protrobuf服务
    4. c编译相关服务
    5. node.js

    问题1. Mac使用默认Java时候,读取Javahome路径异常,手动设置java-home变量解决


    image.png

    问题2. 3.3.1引进了node.js服务,需要使用到yarn, 这里的yarn是node的yarn,需要手动安装node

    brew install node
    # 设置临时代理
    npm config set registry https://registry.npm.taobao.org/
    

    有2个心得

    1. 使用新版本,使用docker
      编译尽量使用比较新的版本软件,就版本依赖的底层服务比较老,配置也比较旧。会出现的问题比较多。如果是生产环境使用,尽量生成一个docker 镜像,进行服务的编译,减少不同环境上消耗的时间。
    2. 出现的问题使用chat机器人提问,会开拓思路
      贴个机器人连接 https://poe.com/

    相关文章

      网友评论

          本文标题:Hadoop-3.3.1版本 mac编译

          本文链接:https://www.haomeiwen.com/subject/eguzsdtx.html