美文网首页DBA
基于Inception & Yearning做SQL审核的实践(

基于Inception & Yearning做SQL审核的实践(

作者: 丶Daniel | 来源:发表于2019-12-16 20:53 被阅读0次

    SQL审核的需求

    SQL审核是保证DDL&DML正常使用,不会造成线上事故的重要手段。经研究,来自于去哪儿网的Inception有较大的使用基础,结合一些上层的人机交互系统可以实现SQL审核、执行以及备份和恢复功能。

    Inception

    Inception是一个自动化运维工具,在Mysql前做一个审核和操作的屏障。跟Inception的交互是程序级别的,即通过Python或其他程序编程实现对Inception的命令调用,并解析结果。

    Inception的文档地址:http://mysql-inception.github.io/inception-document/

    Yearning

    由于Inception是一个基础工具,如果要做SQL审核,系统级的业务操作(提DDL&DML,审核,执行等)还需要一个人机交互的界面,Yearning就是这么一个Python实现的web系统。

    Yearning的文档地址:https://cookiey.github.io/Yearning-document/

    文档计划

    本篇先把安装问题讲清楚,其实参考作者文档已经很清晰,此处仅把我在安装过程中的问题记录下来,供大家参考。

    后续分Inception和Yearning做业务上的专题研究。

    Inception安装

    参考资料:http://mysql-inception.github.io/inception-document/install/

    1. Inception的编译,使用源码编译时,首先需要对bison包进行降级(yum收录的是3.0.4,源码编译2.5)

    bison 2.5的源码编译
    代码获取:http://ftp.gnu.org/gnu/bison/bison-2.5.tar.bz2
    解压缩:tar xf bison-2.5.tar.bz2
    进入目录:cd bison-2.5
    检查并编译源码:./configure && make && make install
    其中编译问题用以下方式解决
    解决编译问题:https://www.cnblogs.com/hjj801006/p/3988220.html

    1. 拷贝启动文件:
    cd /root/inception/debug/sql
    cp Inception gen_lex_hash /usr/local/bin/
    
    
    1. 制作配置文件
      cat /etc/inception/inc.cnf
    [inception]
    general_log=1
    general_log_file=/var/log/inception.log
    port=6669
    socket=/var/run/inc.socket
    character-set-client-handshake=0
    character-set-server=utf8
    inception_remote_system_password=123
    inception_remote_system_user=root
    inception_remote_backup_port=3306
    inception_remote_backup_host=127.0.0.1
    inception_support_charset=utf8mb4
    inception_enable_nullable=0
    inception_check_primary_key=1
    inception_check_column_comment=1
    inception_check_table_comment=1
    inception_osc_min_table_size=1
    inception_osc_bin_dir=/var/temp
    inception_osc_chunk_time=0.1
    inception_enable_blob_type=1
    inception_check_column_default_value=1
    
    

    inc.socket不用找,会在启动时自动生成。

    1. 启动Inception的命令如下
    Inception --defaults-file=/etc/inception/inc.cnf
    
    

    启动后使用mysql的客户端进行连接(mycli会有错误,貌似是python的兼容问题)

    mysql -uroot -h127.0.0.1 -P6669
    
    

    但是只能本机访问,远程访问不了,原因还未知。(更新:在安装Yearning时发现了阿里云的安全组问题,可能同样是这个原因导致。)

    Yearning安装

    参考资料:https://cookiey.github.io/Yearning-document/install/

    1. 安装pip3
      1.1 安装python3的依赖包:
      sudo yum install openssl-devel
      1.2 获取python3的压缩包:
      wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz
      1.3 安装python3(需要root权限)
    tar zxvf Python-3.6.4.tgz
    cd Python-3.6.4
    ./configure
    make && make install 
    
    
    1. 安装Yearning
      2.1 用pip3安装依赖包(txt文件在src目录中)
      pip3 install -r requirements.txt
      2.2 创建数据库实例yearning
      2.3 将该数据库实例的连接信息写入develop.conf。升级请注意:1.0.0发布后,该文件增加了两个属性:ldap_type=1和smtp_port=,如果是cp原有的配置文件覆盖新下载的,要加上这两个配置
      2.4 初始化数据库
      python3 manage.py makemigrations && python3 manage.py migrate
      2.5 添加初始化用户
    echo "from core.models import Account;Account.objects.create_user(username='admin', password='Yearning_admin', group='admin',is_staff=1)" | python3 manage.py shell
    #升级请注意,从1.0.0开始,要补充下面这句权限的配置
    echo "from core.models import grained;grained.objects.get_or_create(username='admin', permissions={'ddl': '1', 'ddlcon': [], 'dml': '1', 'dmlcon': [], 'dic': '1', 'diccon': [], 'dicedit': '0', 'query': '1', 'querycon': [], 'user': '1', 'base': '1', 'dicexport': '0'})" | python3 manage.py shell 初始化权限
    
    

    2.6 复制网页的静态文件
    cp -rf Yearning/webpage/dist/* $NGINX_HOME/html/
    2.7 修改并启动nginx

    image

    2.8 启动django(注意在src目录)
    python3 manage.py runserver 0.0.0.0:8000
    2.9 修改阿里云的安全组策略(解决不能用公网IP访问的问题,请一定注意增加80和8000两个端口,否则还是登录不了),参考以下文章
    http://blog.csdn.net/LJFPHP/article/details/78670459

    至此用公网ip访问可出现如下界面,说明安装成功

    image

    初始用户见#2.5,登录后如下图所示(如果登录不了,注意看#2.9是否增加了8000的安全组策略)

    image

    1.0.0升级后,之前的用户要重新配置权限,但有些权限可能存在一些bug,例如数据字典修改时的403问题

    至此安装全部完成!

    现在的问题:

    1. 界面运行比较慢,估计是Python的原因,暂时不予解决;
    2. 正常的sql,检测不通过,怀疑是Inception的配置问题。经查,是测试数据库的问题。一个简单的现象就是用mysql客户端(mycli同样)不能加密码输入(-p参数不存在),其他数据库没有这个问题,即如果客户端能直连,Inception的各项功能也就没有问题。怀疑可能是root用户的原因,或者是阿里云的原因。由于不影响评估,也暂时不理会了。

    作者:赵先生2019
    链接:https://www.jianshu.com/p/03e784106003
    来源:简书
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

    相关文章

      网友评论

        本文标题:基于Inception & Yearning做SQL审核的实践(

        本文链接:https://www.haomeiwen.com/subject/vgxjnctx.html