美文网首页
Hadoop 组件之Hive

Hadoop 组件之Hive

作者: 起个什么呢称呢 | 来源:发表于2017-08-07 19:44 被阅读96次

               弄这个hive 就有点小曲折了 ,安装hive还算是顺顺利利,关键是hive 使用默认的Derby数据库,一次只能建立一个任务会话,所以,我用MySQL数据库,我的MySQL数据库是安装自爱Linux上的,因为hive 版本不高出现了兼容不匹配的问题,所以又重新安装高版本的,安装之后在/etc/profile文件下指定hive的安装目录,在conf hive.sh文件下指定 Java Hadoop hive的安装目录 之后安装MySQL,给root用户设置密码 基本上hive 安装配置完成。

      hive 是数据仓库,是建立在Hadoop平台上的,Hadoop 的两大核心技术,

    一:hdfs  二:mapreduce

    其他的组件是围绕着这两大核心技术展开的,hive底层走的是mapreduce 即可以自定义mapreduce 任务、提供类SQL语言。

               hive 是SQL解析引擎。hive 将sql语言解析生成mapreduce然后在Hadoop上运行。hive 中的表其实就是HDFS目录,按表名把文件分开。如果是分区表,则分区值是文件夹。可以直接在mapreduce中使用这些数据。hive可以相当于Hadoop客服端工具,部署时不一定放在集群节点上,可以放在某一个节点上。

          hive 没有专门的存储模式。 它可以默认直接加载文本文件,在创建表时候,指定数据的列,行,分隔符,hive即可解析数据。

    相关文章

      网友评论

          本文标题:Hadoop 组件之Hive

          本文链接:https://www.haomeiwen.com/subject/ngijvttx.html