美文网首页HadoopHadoop
基于Ubuntu系使用Ambari 快速搭建Hadoop大数据处

基于Ubuntu系使用Ambari 快速搭建Hadoop大数据处

作者: 起个什么呢称呢 | 来源:发表于2017-05-27 17:57 被阅读123次

    目的:使用Ambari快速搭建Hadoop 平台 并能通过web页面对Hadoop实现有效管理

    先说说遇到的哪些坑

    坑一:用自己的mysql数据库,但是没有成功的相关导入数据,启动各种报错,即使成功之后服务也会自动关闭。导致不能访问

    坑二:安装的Ambari版本不支持HDP2.6版本,想升级,但是有问题 所以重新装Ambari 高版本 这里用的是2.5的Ambari

    坑三:域名访问出错 解决方法在/etc/hosts 下添加IP映射即可

    坑四:选择在线安装 浪费时间。

    还需要多久?

    准备工作:

    1.三台虚拟机,配置固定IP 。修改主机名和hosts【主机映射】

    2免密码通信

    3.安装JDK

    4.有的文章会有安装mysql数据库的步骤。我的建议是不安装,使用默认的psql

    5更新本地源

    安装Ambari server

    cd  /etc/apt/sources.list.d/

    执行命令:

    wget -nv  /etc/apt/sources.list.d/ambari.list http://public-repo-1.hortonworks.com/ambari/ubuntu14/2.x/updates/2.5.0.3/ambari.list

    apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD

    // 不一定执行成功 要是不成功先执行下一条语句,在执行该语句

    sudo apt-key adv–keyserver keyserver.ubuntu.com –recv-keys DCF9F87B6DFBCBAE

    apt-get update

    apt-cache showpkg ambari-server

    apt-cache showpkg ambari-agent

    apt-cache showpkg ambari-metrics-assembly

    apt-getinstall ambari-server

    ambari-server setup

    设置自己的JDK安装目录
    使用默认数据库

    启动 ambari -server

    ambari -server start

    访问web 在浏览器输入IP:8080

    user:admin password:admin
    1 2

    选择适合自己的操作系统 其他的remove

    3


    4
    5

    建议选少一点 没见过的不选 。有依赖关系的会自动添加

    6

    看自己需要选

    对一些报错的进行密码设置确认,主要是hive 那块 需要对数据库确认


    等配置完成就好了

     整体来说 配置这个很坑的。各种错,试着在Ubuntu上本地安装HDP。但是下载的包的结构很懵逼,网上的资料大部分是centos的。是不是很多人都歧视Ubuntu,为毛这个资料那么少













    相关文章

      网友评论

        本文标题:基于Ubuntu系使用Ambari 快速搭建Hadoop大数据处

        本文链接:https://www.haomeiwen.com/subject/oakoxxtx.html