美文网首页
大数据启动服务步骤(待更新)

大数据启动服务步骤(待更新)

作者: chia奇亚币 | 来源:发表于2019-10-24 17:06 被阅读0次

hadoop

在3.2版本中 hdfs namenode -format 后,启动start-all.sh

[root@ hadoop01 ~]$jps
60498 SecondaryNameNode
60818 ResourceManager
61204 Jps
60093 NameNode

jps 查看没有 datanode ,需要使用

hdfs 命令 hdfs datanode 启动

[root@ hadoop01 ~]$jps
60498 SecondaryNameNode
60818 ResourceManager
61348 Jps
60093 NameNode
61247 DataNode

jps 查看没有 namenode ,需要使用

hdfs 命令 hdfs --daemon start namenode 启动 ,可能是hdfs文件没了,需要格式化hdfs namenode -format

  • hadoop command

hdfs dfs -ls / | hadoop fs -ls / 查看目录文件信息 。

hdfs dfs -mkdir /test 创建文件

hdfs dfs -put history.txt /test 上传文件到test目录

  • hadoop 安全模式

    hadoop dfsadmin -safemode leave 离开安全模式

    安全模式是hadoop的一种保护机制,在启动时,最好是等待集群自动退出,然后进行文件操作。

hive

前提

  • 安装JDK-略过
  • 安装Hadoop-略过
  • 安装Mysql-略过 docker 安装的数据库,docker 启动

hive map reduce

yarn --daemon start nodemanager

  • 在hive中可以查询hadoop文件目录

    dfs -ls -R /;
    
  • hive 连接用户问题

    user: ** is not allowed to impersonate anonymous,这个通常是因为Hadoop的hdfs需要配置用户代理:
    
    <property>
      <name>hadoop.proxyuser.**.hosts</name>
      <value>*</value>
    </property>
    <property>
      <name>hadoop.proxyuser.**.groups</name>
     <value>hadoop</value>
    </property>
    
  • hive启动服务端口,配置文件后 需要kill -9 ,在启动

    hive --service hiveserver2 >/dev/null  2>&1 & 
    
  • beeline

    beeline -u jdbc:hive2://192.168.31.225:10000/
    

37开 - 原创文章(已经在多平台发表),转载请标明出处

原文地址-99get81.com

相关文章

  • 大数据启动服务步骤(待更新)

    hadoop 在3.2版本中 hdfs namenode -format 后,启动start-all.sh 用jp...

  • oracle 启动停止

    启动oracle 分两步 启动监听 启动数据库实例 步骤 登录服务器,切换到oracle 用户(请使用 su - ...

  • 服务安装

    MySQL服务 步骤一:拉取镜像 步骤二:启动容器 Tomcat服务 步骤一:拉取镜像 步骤二:启动容器 Ngin...

  • MySQL数据库(八)——MySQL登陆与配置

    用户启动了MySQL服务,便可以通过客户端登录MySQL数据库。 登录MySQL数据库的具体操作步骤如下: 步骤 ...

  • Centos7.6安装PostgreSQL12.1

    安装步骤 安装RPM 安装客户端 安装服务端 配置步骤 始化数据库并启用自动启动 (可选) 修改PostgreSQ...

  • Manjaro 系统安装Docker

    更新系统 此步骤确保系统为最新状态 安装 也可以用yay安装,命令如下 启动服务并开机自启动 确认安装版本 配置用...

  • ZooKeeper 启动过程分析

    单机服务器启动ZooKeeper服务器启动,大体分为五个主要步骤:配置文件解析、初始化数据管理器、初始化网络I/O...

  • MongoDB 基本操作

    操作MongoDB的步骤 1.创建数据库中数据的存储目录 2.启动MongoDB的服务实例 3.创建数据库 4.创...

  • web服务(同域和跨域)

    web服务请求数据更新界面的步骤 1. 服务器把数据汇集起来,通过一个web服务对外发布。 2. 浏览器加载web...

  • SQL Server基本操作

    启动SQL Server数据库服务 启动SQL Server数据库服务有以下三种方式。 ①后台启动服务  “我的电...

网友评论

      本文标题:大数据启动服务步骤(待更新)

      本文链接:https://www.haomeiwen.com/subject/ubsdvctx.html