美文网首页
Hive各模块说明

Hive各模块说明

作者: david9 | 来源:发表于2019-10-22 14:26 被阅读0次

    hive 2.1.1源码为例,对应CDH版本为6.2.0

    模块名称 模块说明
    hive-accumulo-handler
    hive-ant
    hive-beeline beeline客户端,内部通过jdbc和hiveserver2交互,走thrift
    hive-cli hive命令的实现类,通过CliDriver处理整个流程
    hive-common common包,没啥好说的,注意HiveConf类贯穿整个hive执行流程
    hive-contrib 一些示例代码
    hive-exec 核心模块,SQL的编译、执行(MR、Spark、Tez)都在这里,配合hive-cli 或hive-service看
    hive-hbase-handler hbase相关,没细看
    hive-hcatalog-core 提供编程式读写hive的接口(HCatReader/HCatWriter),官方介绍:HCatalog is a table and storage management layer for Hadoop that enables users with different data processing tools — Pig, MapReduce — to more easily read and write data on the grid
    hive-hcatalog-pig-adapter
    hive-hcatalog-server-extensions
    hive-hcatalog-streaming
    hive-hplsql hplsql,存储过程
    hive-hwi 简单的JSP web界面,容器为jetty
    hive-jdbc hive jdbc驱动实现,提供以jdbc方式连接HiveServer2,底层为thrift
    hive-llap-client llap相关
    hive-llap-common
    hive-llap-ext-client
    hive-llap-server
    hive-llap-ext-client
    hive-llap-tez
    hive-metastore 核心模块,metastore相关,通过thrift和hiveserver2交互,注意各种events
    hive-orc orc文件格式
    hive-packaging deb包相关
    hive-serde 序列化、反序列化
    hive-service 核心模块,CLIService接口
    hive-service-rpc CLIService的thrift协议定义
    hive-shims-0.23 胶水代码,适配各种不同版本的hadoop、xxx、yyy等等
    hive-shims-aggregator
    hive-shims-common
    hive-shims-scheduler
    hive-storage-api
    hive-testutils
    hive-webhcat hcatalog的REST接口,官方介绍:WebHCat is the REST API for HCatalog, a table and storage management layer for Hadoop
    hive-webhcat-java-client

    相关文章

      网友评论

          本文标题:Hive各模块说明

          本文链接:https://www.haomeiwen.com/subject/unnvyctx.html