美文网首页
Pig学习与实践

Pig学习与实践

作者: jackLee | 来源:发表于2016-11-22 15:31 被阅读369次

pig

本文架构

  • 1.什么是pig
  • 2.pig有什么作用
  • 3.如何使用 pig
  • 4.pig最佳实践与进阶
  • 5.参考资料

pig

1.什么是pig

<font color=#f00 >Pig是yahoo捐献给apache的一个项目,使用SQL-like语言,即pig Latin的脚本语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中。</font>

理解:

  • pig主要用于数据分析,pig Latin语言和传统的数据库操作语言非常相似,<font color=#f00 >但是Pig Latin语言更侧重与数据的查询和分析,而不是对数据进行修改和删除。</font>
  • pig架构包含了MapReduce编译器,只需要使用简单的pig脚本语言,底层会自动转为优化的mapreduce程序,使用起来很方便

2.pig有什么用

pig的语言层包括一个叫做pig Latin的脚本语言,可以编写pig脚本程序进行数据分析,pig带有的MapReduce编译器会将pig脚本编译会优化的MapReduce程序去执行。

pig 有如下特性

  • 1.易于编程:使用pig脚本语言实现简单的各高度并行的数据分析认为非常容易。因为pig脚本语言本身就很简单,易于学习使用。
  • 2.自动优化:编译器会自动优化编译成的MapReduce函数
  • 3.可扩展性:用户可以轻松编写自己的函数来处理数据

3.如何使用pig

pig两种工作模式

  • 本地模式:Pig运行于本地模式,只涉及到单独的一台计算机
  • MapReduce模式:Pig运行于MapReduce模式,需要能访问一个Hadoop集群,并且需要装上HDFS

pig的三种交互方式

  • Grunt shell方式:通过交互的方式,输入命令执行任务;
  • Pig script方式:通过script脚本的方式来运行任务;
  • 嵌入式方式:嵌入java源代码中,通过java调用来运行任务。

4.pig最佳实践与进阶

  • 1.准备需要分析的数据,或者是数据的输入和输出路径
  • 2.编写pig脚本程序
    • 第一步:进入pig shell 模式

相关文章

  • Pig学习与实践

    本文架构 1.什么是pig 2.pig有什么作用 3.如何使用 pig 4.pig最佳实践与进阶 5.参考资料 1...

  • Pig学习

    参考文档 https://www.jianshu.com/p/f58a62539cf6

  • [SQL]Pig~各种SQL在PIG中实现

    Hadoop Pig学习笔记(一) 各种SQL在PIG中实现 - 清雾沁仙 - ITeye技术网站http://g...

  • pig pig

    Many words, like man is a pig, he never found the beauty ...

  • pig pig

    有一只小黑猪和小白猪,它们很相爱。小黑猪总把寻觅到的好吃的给小白猪,看着小白猪白白胖胖的模样,小黑猪就觉的心里成功...

  • 机器学习—路线图

    机器学习数据处理步骤: 机器学习基础与实践(一)----数据清洗 机器学习基础与实践(二)----数据转换 机器学...

  • Pig 安装及使用

    一、Pig简介 1、Pig与Mapreduce当业务比较复杂的时候,使用MapReduce将会是一个很复杂的事情,...

  • 学习与实践

    今天的天气很冷,下着阵阵小雨,北风呼呼的吹着,孩子很早就起来了,在院子里等我,说她接我吃早饭,美其名曰她“...

  • 学习与实践

    最近学习组织创新已经有一段时间了,因为创新的机会特别少,反而应用的机会并不多。 今天,在与朋友吃饭后代的交谈中,实...

  • 实践与学习

网友评论

      本文标题:Pig学习与实践

      本文链接:https://www.haomeiwen.com/subject/ryoppttx.html