Hadoop-Linux基础

作者: Willluzheng_ | 来源:发表于2018-11-20 14:06 被阅读0次

一、Linux的实验环境

1、Linux操作系统:RedHat 7.4  64位
2、Vmware版本不能太低,12版本
3、网卡:推荐“仅主机模式”
4、一共5台虚拟机
    bigdata111   192.168.220.111
    bigdata112   192.168.220.112
    bigdata113   192.168.220.113
    bigdata114   192.168.220.114
    bigdata115   192.168.220.115

二、配置Linux和Linux的目录结构

1、关闭防火墙
    systemctl stop firewalld.service
    systemctl disable firewalld.service
     
2、设置主机名和IP的对应关系:/etc/hosts
    vi /etc/hosts
    192.168.220.111 bigdata111
     
3、Linux的tmp目录
    (*)特点:一旦Linux重启,该目录下所有数据会被删除
    (*)HDFS默认的数据保存的目录是:/tmp

三、vi编辑器:相当于记事本

三种模式:
1、编辑模式:等待命令输入
              i:进入插入模式
 
2、插入模式:按esc键
 
3、命令模式:需要在编辑模式上,输入:号
    w  保存
    wq 保存退出
    wq! 强制保存退出
    q 退出
    打开行号:set number
    关闭行号: set nonumber
     
    换行:set wrap
          set nowrap

四、文件目录操作命令:(类似HDFS的操作命令)

(*)ls 显示文件和目录列表 
     -l 列出文件的详细信息  等价于:ll命令
     -a 列出当前目录所有文件,包含隐藏文件
      
     隐藏文件:/root/.bash_profile 设置环境变量:JAVA_HOME、HADOOP_HOME等等
     隐藏目录:/root/.ssh  ----> 配置免密码登录(Hadoop和Spark),有公钥和私钥
      
     HDFS操作:hdfs dfs -ls /  查看HDFS的根目录
  
(*)mkdir 创建目录
        -p 父目录不存在情况下先生成父目录
         
    约定:mkdir /root/tools     ----> 安装包
          mkdir /root/training  ----> 安装目录
 
    HDFS上:hdfs dfs -mkdir /input
 
 
cd 切换目录
touch 生成一个空文件
 
(*)echo 生成一个带内容文件
     使用echo查看环境变量值
     echo $JAVA_HOME
 
 
(*)cat、tac 显示文本文件内容
     cat是从第一行开始写;tac是从最后一行开始写
 
    查看HDFS文件的内容:hdfs dfs -cat /input/data.txt
     
(*)cp 复制文件或目录
    cp a.txt b.txt
    HDFS: hdfs dfs -cp /input/data.txt  /input/datanew.txt
 
(*)rm 删除文件
        -r 同时删除该目录下的所有文件
        -f 强制删除文件或目录
         
    HDFS:hdfs dfs -rmr /input/data.txt
          HDFS有回收站,默认情况下,关闭
 
(*)ps 显示瞬间的进程状态
        ps –ef 使用标准格式显示每个进程信息
     
    查看Redis服务实例:ps -ef |grep redis-server

(*)kill 杀死一个进程
     参数:-9 强制杀死一个进程
           -3 Java进程,打印Java进程的Thread Dump

(*)tar 文件、目录打(解)包

五、Linux的权限管理(非常类似HDFS的权限管理)

1、权限的类型:3种
    r  读
    w  写
    x 执行
     
2、查看文件或者目录的权限:ls -l 或者 ll

六、安装常用软件:安装JDK

tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/training/
 
设置环境变量  vi ~/.bash_profile
JAVA_HOME=/root/training/jdk1.8.0_144
export JAVA_HOME

一定要把Java home的bin在最前面
PATH=$JAVA_HOME/bin:$PATH
export PATH
 
生效环境变量 source ~/.bash_profile

相关文章

  • Hadoop-Linux基础

    一、Linux的实验环境 二、配置Linux和Linux的目录结构 三、vi编辑器:相当于记事本 四、文件目录操作...

  • 机械设备安装技术

    设备基础种类及应用 垫层基础允许产生沉降:大型储罐 浅基础扩展基础联合基础:轧机独立基础 深基础桩基础:适用于需要...

  • 基础,基础,基础

    如果有人现在问我,JAVA该怎么学,我会告诉他不要急于求成,少看视频,多练,多思考。但说到这里有人可能会反...

  • 【Android】知识点汇总,坚持原创ing

    Android基础 Java基础 Java基础——Java内存模型和垃圾回收机制 语法基础 语法基础——C语法基础...

  • Java 基础

    Java 基础01Java开发入门 Java 基础02Java编程基础 Java 基础03面向对象 Java 基础...

  • 零基础学画画从入门到放弃

    零基础应该怎么学画画?零基础那就从基础开始学啊!基础是什么?造型基础和色彩基础。 造型基础就是用点线面组成起码能让...

  • 面试题汇总

    1.Java基础面试问题 Java基础之基础问题 Java基础之面向对象 Java基础之数据结构 Java基础之I...

  • 基础基础还是基础

    这次去面试,还是被基础给打趴下了。 对于PHP7的新特性没有了解。 对于TP的新特性没有了解。 再一个就是独立完成...

  • 零基础学UI设计需要美术基础吗?

    零基础学UI设计需要美术基础吗?零基础学UI设计需要美术基础吗?零基础学UI设计需要美术基础吗?零基础学UI设计需...

  • 基础基础!

    人生中第一个自主设计的实验方案终于得到认可^O^在设计方案过程中认识到基础知识以及细心的重要性,还有半个学期可以努...

网友评论

    本文标题:Hadoop-Linux基础

    本文链接:https://www.haomeiwen.com/subject/jrztqqtx.html