美文网首页
pig 编译及安装

pig 编译及安装

作者: 后端老鸟 | 来源:发表于2020-04-06 11:50 被阅读0次

这篇文章我写的是集群方式的,如果是单节点且不需要持久化可以参考文章https://www.jianshu.com/p/fe257adc331d

1. 安装环境说明

必须安装:
Hadoop 2.X
Java 1.7+

选择性安装:
Python 2.7(当使用Streaming Python UDFs)
Ant 1.8+(编译时用,pig有自带的,可以不装)

2.源码下载并编译

目前最新版本是0.17.0,源码下载地址是
http://mirrors.hust.edu.cn/apache/pig/latest/pig-0.17.0-src.tar.gz
将压缩包解压到某个目录,并进入源码目录,执行ant命令

ant

慢慢等待吧....
编译完成之后:


image.png
image.png

验证编译完的jar包,下面这个命令会执行很长时间,可以不验证

ant test

【转载请注明出处】:https://www.jianshu.com/p/c610bd6cda63

相关文章

  • pig 编译及安装

    这篇文章我写的是集群方式的,如果是单节点且不需要持久化可以参考文章https://www.jianshu.com/...

  • Pig 安装及使用

    一、Pig简介 1、Pig与Mapreduce当业务比较复杂的时候,使用MapReduce将会是一个很复杂的事情,...

  • (二)Tendermint 安装

    一、获取源码 二、安装工具及依赖 三、编译及安装 四、运行 五、 重新安装 重新编译安装 升级

  • Pig安装及入门案例

    【前言】相比Java的MapReduce api,Pig为大型数据集的处理提供了更高层次的抽象,与MapReduc...

  • Centos 安装 NodeJS

    准备命令: 下载源码及解压: 编译及安装: 验证是否安装配置成功:

  • CentOS7 部署php5.2.17+ZendOptimize

    依赖 安装libmcrypt 安装php-5.2.17以及php-fpm补丁包 编译安装PHP 编译时mysql及...

  • centos 安装配置ss5-3.8.9 搭建sock5 代理服

    1.安装: 安装编译环境及安装编译SS5依赖组件: yum -y install gcc automake mak...

  • Nginx安装以及配置

    安装编译工具及库文件 安装 PCRE 下载 PCRE 安装包 解压安装包 进入安装包目录 编译安装 查看pcre版...

  • 构建CentOS httpd RPM包

    安装依赖包 下载apr及httpd源码包 编译apr rpm包 安装apr包 编译http包 安装http包

  • ubuntu16.04安装最新版本python3.7.1

    1、安装编译环境 2、下载Python-3.7.1.tar.xz 3、解压 4、配置安装位置 5、编译及安装 6、...

网友评论

      本文标题:pig 编译及安装

      本文链接:https://www.haomeiwen.com/subject/tmdfgxtx.html