美文网首页Hadoop大数据程序员
运维工具SaltStack简介

运维工具SaltStack简介

作者: 叁金 | 来源:发表于2018-05-29 10:50 被阅读37次

    当我们决定要自己动手做一个Hadoop生态集群管理服务的时候我们已经入了运维的坑了。如果我们对于Hadoop生态集群管理服务到底有哪些功能,应该如何设计的话我们需要对现有的成熟的Hadoop生态安装管理服务进行剖析,帮助明确我们需要的功能以及系统的设计。关于Apache顶级项目Ambari的简单介绍大家可以看这里

    Ambari的运维部分是基于Puppet搞的,那么我们不会Ruby感觉Puppet上手很难怎么办?其实这种集群运维工具有很多,大家一起来看这张对比表。

    名称 Puppet SaltStack Ansible
    开发语言 Ruby Python Python
    架构模型 CS架构 CS架构 单点
    配置文件格式 Ruby语法格式 YAML YAML
    web UI 提供 提供 商业版提供
    命令执行 支持(需配置) 支持 支持
    扩展及二次开发 支持度低 支持 支持

    Puppet

    puppet由Ruby编写,为server-client模式的系统。运行时由客户端定时去获取自己的配置文件进而应用更改。也可以通过master的push命令即可触发变更。
    将命令,文件,服务等抽象成资源,概念比较统一,时间悠久,文档较多。
    就可用操作,模块,用户界面等等功能而言,是三者之中最全面的,安装部署难度一般,配置清单相对于其他工具较复杂。

    SaltStack

    saltStack由Python编写,为server-client模式的系统(在salstack中叫Master-Minion),自己本身支持多master,而puppet则需要依赖于web服务器。saltstack除了可以通过在节点安装客户端进行管理还支持直接通过ssh进行管理。运行模式为master端下发指令,客户端接收指令执行。
    saltstack依赖于zeromq消息队列,采用yaml格式编写配置文件,比较简单。
    支持api及自定义python模块,能轻松实现功能扩展。

    Ansible

    类似与saltstack,基于python开发,关注的重点是精简和快速。不需要在节点安装代理软件,通过ssh执行所有功能。安装运行简单。
    其模块可以用任何语言开发,采用yaml格式编写配置文件。
    没有客户端,较难扩展。

    我们发现Saltstack好像还比较满足我们的需要哈,同样是S/C架构,基于Python语言方便我们入手学习。那我们的集群管理服务底层的运维工具就基于Saltstack来扩展好了。选定了工具我们当然是要部署测试一下了,Saltstack安装部署大家可以看官方文档

    # 在Master机器
    sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-2.el7.noarch.rpm
    
    yum clean expire-cache
    # 安装master服务
    sudo yum install salt-master
    # 安装minion服务
    sudo yum install salt-minion
    # 安装api服务
    sudo yum install salt-api
    
    #启动服务
    sudo systemctl restart salt-master
    sudo systemctl restart salt-minion
    sudo systemctl restart salt-api
    
    # 在Minion机器
    sudo yum install https://repo.saltstack.com/yum/redhat/salt-repo-latest-2.el7.noarch.rpm
    
    yum clean expire-cache
    # 安装minion服务
    sudo yum install salt-minion
    #启动服务
    sudo systemctl restart salt-minion
    

    安装完成之后我们需要对Minion进行简单配置:
    修改Minion配置文件

    vi /etc/salt/minion
    
    # 添加master地址
    #master: salt
    master: 192.168.1.131
    
    # 如果为分布式master配置添加多个
    #master: salt
    master:
     - {master1}
     - {master2}
    

    修改Minion节点配置文件中的master为我们部署了salt-master的机器ip地址,然后我们在Master机器上进行如下操作:

    1. 查看salt-minion节点,并签发证书,在salt-master节点执行以下命令。
    # 输入
    salt-key -L
    # 输出
    Accepted Keys:
    Denied Keys:
    Unaccepted Keys:
    datanode-1
    datanode-2
    datanode-3
    datanode-4
    namenode-1
    Rejected Keys:
    
    # 可见未签发证书的Minion节点,执行命令签发证书
    
    # 输入
    salt-key -A -y              #添加salt-key
    # 输出
    The following keys are going to be accepted:
    Unaccepted Keys:
    datanode-1
    datanode-2
    datanode-3
    datanode-4
    namenode-1
    Key for minion datanode-1 accepted.
    Key for minion datanode-2 accepted.
    Key for minion datanode-3 accepted.
    Key for minion datanode-4 accepted.
    Key for minion namenode-1 accepted.
    
    # 证书已签发,查看所有节点
    
    # 输入
    salt-key -L
    # 输出
    Accepted Keys:
    datanode-1
    datanode-2
    datanode-3
    datanode-4
    namenode-1
    Denied Keys:
    Unaccepted Keys:
    Rejected Keys:
    
    
    # 测试ping命令
    # 输入
    salt datanode-* test.ping
    #输出
    datanode-2:
        True
    datanode-3:
        True
    datanode-1:
        True
    datanode-4:
        True
    
    # 测试shell命令
    # 输入
    salt datanode-* cmd.run 'uname -r'
    # 输出
    datanode-1:
        3.10.0-514.26.2.el7.x86_64
    datanode-4:
        3.10.0-514.26.2.el7.x86_64
    datanode-3:
        3.10.0-514.26.2.el7.x86_64
    datanode-2:
        3.10.0-514.26.2.el7.x86_64
    

    这波操作看上去是不是非常的简单,简直666.除了通过命令行操作saltstack还提供了restful api供我们调用,还记得我们安装了salt-api这个模块吗,这个就是saltstack的api服务模块。当然它也需要简单的进行配置。

    # 配置用户
    useradd -M -s /sbin/nologin admin
    passwd admin
    
    # 配置salt-master
    
    vi /etc/salt/master.d/saltapi.conf
    # 插入如下内容
    
    rest_cherrypy:
      port: 8000
      host: 0.0.0.0
      disable_ssl: true
    external_auth:
      pam:
        admin:
          - .*
          - '@runner'
          - '@wheel'
    

    重启master和api

    systemctl restart salt-master
    systemctl restart salt-api
    
    # 查看api是否启动
    netstat -tnlp | grep 8000
    
    1. api相关用法及api接口参考官方文档 官方文档

    2. 安装web ui进行访问 主流web ui有halitesaltshaker

    这里我们只讲述如何通过程序调用Salt-Api,由于SaltStack是基于Python语言开发的,所以我们简单介绍一下如何通过Python程序操作SaltStack,当然我们也可以通过Java调用salt-api,Java可以通过开源模块salt-netapi-client salt-netapi-client实现,通过pom引用即可,详情可看其示例代码。

    无论是通过Python还是Java两者逻辑一致,大概分为如下几个步骤:

    1. 构造saltclient示例,使用saltstack用户名和密码进行登录,获取访问token
    2. 执行相关指令,获取返回值
    3. 解析返回结果进行展示

    测试程序:

    >>> import salt.client
    >>> import salt.config
    >>> client = salt.client.LocalClient()
    >>> master = salt.config.client_config('/etc/salt/master')
    >>> minion = salt.config.minion_config('/etc/salt/minion')
    >>> ping_result = client.cmd('*', 'test.ping')
    >>> print ping_result
    {'datanode-1': True, 'namenode-1': True, 'datanode-3': True, 'datanode-2': True, 'datanode-4': True}
    
    

    salt-api含有很多模块,各个模块的调用方式一致,均为:

    client.cmd('cluster_node_iporname',  'module.command',  ['arg1','arg2'])
    

    示例如下(包括命令行与api调用):

    # 指定datanode-1压缩某个文件
    
    salt 'datanode-1' archive.gzip /home/hadoop/test.sh # 命令行示例
    
    client.cmd('datanode-1','archive.gunzip',['/home/hadoop/test.sh']) # python 调用示例
    
    # 远程调用命令
    
    salt '*' cmd.run 'ls' # 命令行示例
    
    client.cmd('*', 'cmd.run', ['ls']) # python 调用示例
    
    # copy命令
    
    client.cmd('*','cp.get_file',['salt://1,sh','/root/1.sh'])    #salt://1,sh可以换成http://ww.baidu.com/1.tar.gz之类的进行下载到指定目录
    
    # 删除文件命令
    
    salt '*' file.remove /tmp/foo # 命令行示例
    
    client.cmd('*','file.remove',['/tmp/foo']) # python 调用示例
    
    

    通过上面的样例程序我们对于saltstack的安装使用已经有了一个简单的认识,我们的目的是仿照Ambari基于puppet的架构来开发一个基于Saltstack的Hadoop生态集群安装管理服务。有兴趣的话大家可以思考一下我们到底怎么设计,都有哪些功能呢?

    相关文章

      网友评论

        本文标题:运维工具SaltStack简介

        本文链接:https://www.haomeiwen.com/subject/pymojftx.html