一、总述

Inception是集审核、执行、回滚于一体的一个自动化运维系统，它是根据MySQL代码修改过来的，用它可以很明确的，详细的，准确的审核MySQL的SQL语句，它的工作模式和MySQL完全相同，可以直接使用MySQL客户端来连接，但不需要验证权限，它相对应用程序（上层审核流程系统等）而言，是一个服务器，在连接时需要指定服务器地址及Inception服务器的端口即可，而它相对要审核或执行的语句所对应的线上MySQL服务器来说，是一个客户端，它在内部需要实时的连接数据库服务器来获取所需要的信息，或者直接在在线上执行相应的语句及获取binlog等，Inception就是一个中间性质的服务。

Inception的架构

Inception提供的功能很丰富，首先，它可以对提交的所有语句的语法分析，如果语法有问题，都会将相应的错误信息返回给审核者。 还提供语义分析，当一个表，库，列等信息不正确或者不符合规范的时候报错，或者使用了一个不存在的对象时报错等等。 还提供了很多针对SQL规范性约束的功能，这些DBA都是可以通过系统参数来配置的。 更高级的功能是，可以辅助DBA分析一条查询语句的性能，如果没有使用索引或者某些原因导致查询很慢，都可以检查。

还提供SQL语句的执行功能，可执行的语句类型包括常用的DML及DDL语句及truncate table等操作。 Inception 在执行 DML 时还提供生成回滚语句的功能，对应的操作记录及回滚语句会被存储在备份机器上面，备份机器通过配置Inception参数来指定。

Yearning 是基于Inception的web可视化SQL审核平台,其本身只提供可视化交互页面并不具备sql审核的能力。所以必须搭配Inception一起使用。

二、搭建Inception

1、安装依赖包

#yum -y install gcc gcc-c++ cmake openssl-devel ncurses-devel MySQL-python git m4

#cd /usr/local/src

#wget http://ftp.gnu.org/gnu/bison/bison-2.5.1.tar.gz

#tar xf bison-2.5.1.tar.gz

#cd bison-2.5.1

#./configure

#make

#make install

2、安装mysql服务

#rpm -ivh http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm

#yum -y install mysql-community-server

#systemctl start mysql

3、安装inception

#cd /app/

#git clone https://github.com/mysql-inception/inception.git

#cd /app/inception

#bash inception_build.sh debug

#mkdir /app/inception/{conf,log,sqls}

4、配置inception

# vi /app/inception/conf/inc.cnf

[inception]

general_log=1

general_log_file=/app/inception/log/inception.log

port=6669

socket=/tmp/inc.socket

character-set-client-handshake=0

character-set-server=utf8

inception_remote_system_password=

inception_remote_system_user=root

inception_remote_backup_port=3306

inception_remote_backup_host=localhost

inception_support_charset=utf8mb4

inception_enable_nullable=0

inception_check_primary_key=1

inception_check_column_comment=1

inception_check_table_comment=1

inception_osc_min_table_size=1

inception_osc_bin_dir=/usr/bin

inception_osc_chunk_time=0.1

inception_enable_blob_type=1

inception_check_column_default_value=1

5、启动inception

#nohup /app/inception/debug/mysql/bin/Inception --defaults-file=/app/inception/conf/inc.cnf &

6、验证inception

#mysql -uroot -h127.0.0.1 -P6669

mysql> inception get variables;

#vi /app/inception/sqls/inception.py

#!/usr/bin/python

#-\*-coding: utf-8-\*-

import MySQLdb

sql='/*--user=root;--password=;--host=127.0.0.1;--execute=1;--port=3306;*/\

inception_magic_start;\

use mysql;\

CREATE TABLE adaptive_office(id int);\

inception_magic_commit;'

try:

    conn=MySQLdb.connect(host='127.0.0.1',user='',passwd='',db='',port=6669)

    cur=conn.cursor()

    ret=cur.execute(sql)

    result=cur.fetchall()

    num_fields = len(cur.description)

    field_names = [i[0] for i in cur.description]

    print field_names

    for row in result:

        print row[0], "|",row[1],"|",row[2],"|",row[3],"|",row[4],"|",row[5],"|",row[6],"|",row[7],"|",row[8],"|",row[9],"|",row[10]

    cur.close()

    conn.close()

except MySQLdb.Error,e:

    print "Mysql Error %d: %s" % (e.args[0], e.args[1])

#python /app/inception/sqls/inception.py

三、搭建Yearning

1、安装nginx

#rpm -ivh  http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm

#yum -y install nginx

2、安装python3.6

#cd /usr/local/src/

#wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tar.xz

#tar -xf Python-3.6.4.tar.xz

#mkdir -p /usr/local/python/3.6.4/lib

#cd Python-3.6.4

#./configure --enable-shared --prefix=/usr/local/python/3.6.4 LDFLAGS="-Wl,-rpath /usr/local/python/3.6.4/lib"

#make

#make install

3、建立数据库

#mysql

mysql> create database Yearning DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;

4、Yearning下载

#cd /app/

#git clone https://github.com/cookieY/Yearning.git

5、Yearning配置

#vi /app/Yearning/src/deploy.conf

[mysql]

db = Yearning

address = 127.0.0.1

port = 3306

username = root

password =

[host]

ipaddress = 192.168.0.108:80

[Inception]

ip = 127.0.0.1

port = 6669

user = root

password  =

backupdb = 127.0.0.1

backupport = 3306

backupuser = root

backuppassword =

[LDAP]

LDAP_SERVER =

LDAP_SCBASE =

LDAP_DOMAIN =

LDAP_TYPE = 1

[email]

username =

password =

smtp_server =

smtp_port =

[sql]

limit = 100

[webhook]

dingding =

6、安装python依赖库

#cd /app/Yearning/src/

#/usr/local/python/3.6.4/bin/pip3 install -r requirements.txt

7、初始化数据库

#/usr/local/python/3.6.4/bin/python3 manage.py makemigrations core && /usr/local/python/3.6.4/bin/python3 manage.py migrate core

8、初始化用户

#echo "from core.models import Account;Account.objects.create_user(username='admin', password='20151012', group='admin',is_staff=1)" | /usr/local/python/3.6.4/bin/python3 manage.py shell

#echo "from core.models import grained;grained.objects.get_or_create(username='admin', permissions={'person': [], 'ddl': '1', 'ddlcon': [], 'dml': '1', 'dmlcon': [], 'dic': '1', 'diccon': [], 'dicedit': '0', 'user': '1', 'base': '1', 'dicexport': '0'})" |  /usr/local/python/3.6.4/bin/python3 manage.py shell

9、复制编译好的静态文件到nginx html目录下

#cp -rf /app/Yearning/webpage/dist/* /usr/share/nginx/html/

# systemctl start nginx

10、启动django

#cd /app/Yearning/src/

#nohup /usr/local/python/3.6.4/bin/python3 manage.py runserver 0.0.0.0:8000 &

11、注意事项

默认超级管理用户只拥有管理页面的访问权限,其他的权限需自行增加！详情请查看使用说明用户管理

由于Inception 并不原生支持pymysql，所以需更改pymysql相关源码

注: 在install 文件夹下有已经修改的connections.py 和 cursors.py 直接替换即可

#cp /app/Yearning/install/connections.py /usr/local/python/3.6.4/lib/python3.6/site-packages/pymysql/

#cp /app/Yearning/install/cursors.py /usr/local/python/3.6.4/lib/python3.6/site-packages/pymysql/

或直接修改 $PYTHON_HOME/lib/python3.6/site-packages/pymysql下

connections.py 和 cursors.py 两个文件

找到 connections.py 1108行

ifint(self.server_version.split('.',1)[0]) >=5:self.client_flag|= CLIENT.MULTI_RESULTS

更改为

try:ifint(self.server_version.split('.',1)[0]) >=5:self.client_flag |= CLIENT.MULTI_RESULTSexcept:ifself.server_version.split('.',1)[0] >='Inception2':self.client_flag |= CLIENT.MULTI_RESULTS

找到 cursors.py 345行

ifself._resultand(self._result.has_nextornotself._result.warning_count):return

更改为

ifself._result:return

12、访问Yearning

http://192.168.0.108