Atlas

作者: 九都散人 | 来源:发表于2015-10-29 20:26 被阅读5995次

    介绍

    Atlas 是由 Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上,修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用,很多MySQL业务已经接入了Atlas平台,每天承载的读写请求数达几十亿条。

    1. 源码 Github: https://github.com/Qihoo360/Atlas

    2. 主要功能:

    读写分离
    从库负载均衡
    自动分表
    IP过滤
    SQL语句黑白名单
    DBA可平滑上下线DB
    自动摘除宕机的DB

    3. 使用场景
    Atlas是一个位于前端应用与后端MySQL数据库之间的中间件,它使得应用程序员无需再关心读写分离、分表等与MySQL相关的细节,可以专注于编写业务逻辑,同时使得DBA的运维工作对前端应用透明,上下线DB前端应用无感知。


    安装、配置

    1 安装

    1. rpm安装(推荐)

    下载地址:https://github.com/Qihoo360/Atlas/releases

    sudo rpm –i Atlas-XX.el6.x86_64.rpm
    

    注意:

    1. Atlas只能安装运行在64位的系统上
    1. Centos 5.X安装 Atlas-XX.el5.x86_64.rpm,Centos 6.X安装Atlas-XX.el6.x86_64.rpm。
    1. 如果执行sudo rpm –i Atlas-XX.el6.x86_64.rpm,提示类似:“file /usr/local/mysql-proxy/bin/encrypt from install of Atlas-2.0.1-1.x86_64 conflicts with file from package Atlas-1.0.3-1.x86_64”错误,则表示该系统之前已经安装过Atlas-1.0.3-1.x86_64,需要执行:sudo rpm –e Atlas-1.0.3-1.x86_64,将之前安装的Atlas删除掉,再执行sudo rpm –i Atlas-XX.el6.x86_64.rpm安装新版本的Atlas。
    1. 后端mysql版本应大于5.1,建议使用Mysql 5.6

    2. 源码安装

    1. checkout最新源码
    git clone https://github.com/Qihoo360/Atlas.git
    git checkout sharding
    git pull origin sharding
    
    1. 编译sharding分支的Atlas还需要安装lemon
    git clone https://github.com/winkyao/lemon
    cd lemon
    mkdir build && cd build && cmake ..
    make
    sudo make install
    
    1. 编译(glibjemalloclibffilibevent等依赖请自行安装)
    ./bootstrap.sh
    make
    sudo make install
    

    2 配置(test.cnf)

    在运行Atlas之前,需要对该文件进行配置(test.cnf),Atlas的安装目录是/usr/local/mysql-proxy,conf目录下面test.cnf文件

    1. 配置说明

    [mysql-proxy]

    #(必备,默认值即可)管理接口的用户名
    admin-username = user

    #(必备,默认值即可)管理接口的密码
    admin-password = pwd

    #(必备,根据实际情况配置)主库的IP和端口
    proxy-backend-addresses = 192.168.0.12:3306

    #(非必备,根据实际情况配置)从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔。如果想让主库也能分担读请求的话,只需要将主库信息加入到下面的配置项中
    proxy-read-only-backend-addresses = 192.168.0.13:3306,192.168.0.14:3306

    #(必备,根据实际情况配置)用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,用户名与密码之间用冒号分隔。主从数据库上需要先创建该用户并设置密码(用户名和密码在主从数据库上要一致)。比如用户名为myuser,密码为mypwd,执行./encrypt mypwd结果为HJBoxfRsjeI=。如果有多个用户用逗号分隔即可。则设置如下行所示:
    pwds = myuser: HJBoxfRsjeI=,myuser2:HJBoxfRsjeI=

    #(必备,默认值即可)Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true
    daemon = true

    #(必备,默认值即可)设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false时只有worker,没有monitor,一般开发调试时设为false,线上运行时设为true
    keepalive = true

    #(必备,根据实际情况配置)工作线程数,推荐设置成系统的CPU核数
    # 对性能和正常运行起到重要作用
    event-threads = 4

    #(必备,默认值即可)日志级别,分为message、warning、critical、error、debug五个级别
    log-level = message

    #(必备,默认值即可)日志存放的路径
    log-path = /usr/local/mysql-proxy/log

    #(必备,根据实际情况配置)SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,该模式下日志刷新是基于缓冲区的,当日志填满缓冲区后,才将日志信息刷到磁盘。REALTIME用于调试,代表记录SQL日志且实时写入磁盘,默认为OFF
    sql-log = OFF

    #(可选项,可不设置)慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出全部日志。
    sql-log-slow = 10

    (可选项,可不设置)关闭不活跃的客户端连接设置。当设置了该参数时,Atlas会主动关闭经过'wait-timeout'时间后一直未活跃的连接。单位:秒
    wait-timeout = 10

    #(必备,默认值即可)Atlas监听的工作接口IP和端口;代表客户端应该使用1234这个端口连接Atlas来发送SQL请求。
    proxy-address = 0.0.0.0:1234

    #(必备,默认值即可)Atlas监听的管理接口IP和端口 ;代表DBA应该使用2345这个端口连接Atlas来执行运维管理操作。
    admin-address = 0.0.0.0:2345

    #(可选项,可不设置)分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项,子表需要事先建好,子表名称为表名_数字,数字范围为[0,子表数-1],如本例里,子表名称为mt_0、mt_1、mt_2
    tables = person.mt.id.3

    #(可选项,可不设置)默认字符集,若不设置该项,则默认字符集为latin1
    charset = utf8

    #(可选项,可不设置)允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允许列表中的IP连接
    client-ips = 127.0.0.1, 192.168.1

    #(可选项,极少需要)Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置,否则可以不设置
    lvs-ips = 192.168.1.1

    3 启动与停止

    1. 启动
    sudo ./mysql-proxy --defaults-file=../conf/test.cnf 
    或
    sudo ./mysql-proxyd test start
    
    1. 重启
    sudo ./mysql-proxyd test restart
    
    1. 停止
    sudo ./mysql-proxyd test stop
    

    注意:

    1. 运行文件是:mysql-proxyd(不是mysql-proxy)。
    2. test是conf目录下配置文件的名字,也是配置文件里instance项的名字,三者需要统一。
    3. 可以使用ps -ef | grep mysql-proxy查看Atlas是否已经启动或停止。
      执行命令:mysql -h127.0.0.1 -P1234 -u用户名 -p密码,如果能连上则证明Atlas初步测试正常,可以再尝试发几条SQL语句看看执行结果是否正确。

    进入Atlas的管理界面的命令:mysql -h127.0.0.1 -P2345 -uuser -ppwd,进入后执行:select * from help;查看管理DB的各类命令。


    功能

    1 读写分离

    1. Atlas会透明的将事务语句和写语句发送至主库执行,读语句发送至从库执行。具体以下语句会在主库执行
    • 显式事务中的语句
    • autocommit=0时的所有语句
    • 含有select GET_LOCK()的语句
    • 除SELECT、SET、USE、SHOW、DESC、EXPLAIN外的其他语句

    2 从库负载均衡

    proxy-read-only-backend-addresses = 192.168.0.13:3306,192.168.0.14:3306
    
    1. 查看是否读写分离测试
    root@(none) 10:28:46>show variables like "server_id";
    +---------------+-------+
    | Variable_name | Value |
    +---------------+-------+
    | server_id     | 3     |
    +---------------+-------+
    1 row in set (0.00 sec)
    -
    root@(none) 10:28:48>show variables like "server_id";
    +---------------+-------+
    | Variable_name | Value |
    +---------------+-------+
    | server_id     | 2     |
    +---------------+-------+
    1 row in set (0.00 sec)
    
    1. 查看日志

    3 自动分表

    1. 使用Atlas的分表功能时,首先需要在配置文件test.cnf设置tables参数。

    2. tables参数设置格式:数据库名.表名.分表字段.子表数量,比如你的数据库名叫school,表名叫stu,分表字段叫id,总共分为100张表,那么就写为school.stu.id.100,如果还有其他的分表,以逗号分隔即可。用户需要手动建立100张子表(stu_0,stu_1,…stu_99,注意子表序号是从0开始的)。且所有的子表必须在DB的同一个database里。

    3. 当通过Atlas执行(SELECT、DELETE、UPDATE、INSERT、REPLACE)操作时,Atlas会根据分表结果(id%100=k),定位到相应的子表(stu_k)。例如,执行select * from stu where id=110;,Atlas会自动从stu_10这张子表返回查询结果。但如果执行SQL语句(select * from stu;)时不带上id,则会提示执行stu 表不存在。

    4. Atlas暂不支持自动建表和跨库分表的功能。

    5. Atlas目前支持分表的语句有SELECT、DELETE、UPDATE、INSERT、REPLACE。

    4 IP过滤:client-ips

    1. 该参数用来实现IP过滤功能。

    2. 在传统的开发模式中,应用程序直接连接DB,因此DB会对部署应用的机器(比如web服务器)的IP作访问授权。

    3. 在引入中间层后,因为连接DB的是Atlas,所以DB改为对部署Atlas的机器的IP作访问授权,如果任意一台客户端都可以连接Atlas,就会带来潜在的风险。

    4. client-ips参数用来控制连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔写在一行上即可,如client-ips=192.168.1.2, 192.168.2,这就代表192.168.1.2这个IP和192.168.2.*这个C段的IP可以连接Atlas,其他IP均不能连接。

    5. 如果该参数不设置,则任意IP均可连接Atlas。

    6. 如果设置了client-ips参数,且Atlas前面挂有LVS,则必须设置lvs-ips参数,否则可以不设置lvs-ips。

    5 SQL语句黑白名单

    Atlas会屏蔽不带where条件的delete和update操作,以及sleep函数。

    6 DBA可平滑上下线DB


    Atlas架构

    1 Atlas的整体架构可参考下面这两幅图:
    Atlas 架构图形象表示 Atlas 总体架构
    线程模型

    Atlas启动后会创建多个线程,其中一个为主线程,其余为工作线程。主线程负责监听所有的客户端连接请求,工作线程只监听主线程的命令请求。

    Atlas 线程模型

    Sharding版本

    Sharding的基本思想就是把一个数据表中的数据切分成多个部分, 存放到不同的主机上去(切分的策略有多种), 从而缓解单台机器的性能跟容量的问题. sharding是一种水平切分, 适用于单表数据庞大的情景. 目前atlas支持静态的sharding方案, 暂时不支持数据的自动迁移以及数据组的动态加入.

    Atlas以表为单位sharding, 同一个数据库内可以同时共有sharding的表和不sharding的表, 不sharding的表数据存在未sharding的数据库组中.

    目前Atlas sharding支持insert, delete, select, update语句, 只支持不跨shard的事务. 所有的写操作如insert, delete, update只能一次命中一个组, 否则会报"ERROR 1105 (HY000):write operation is only allow to one dbgroup!"错误.

    由于sharding取替了Atlas的分表功能, 所以在Sharding分支里面, Atlas单机分表的功能已经移除, 配置tables将不会再有效.

    Atlas-Sharding架构

    Atlas功能特点FAQ

    1. Atlas是否支持多字符集?
    对多字符集的支持是我们对原版MySQL-Proxy的第一项改进,符合国情是必须的。并且支持客户端在连接时指定默认字符集。

    2. Atlas是否支持事务操作?
    支持,且处于事务状态的客户端中途退出时,Atlas会销毁该客户端使用的连接,让后台的mysql回滚事务,保证了事务的完整性。

    3. 自动读写分离挺好,但有时候我写完马上就想读,万一主从同步延迟怎么办?
    SQL语句前增加 /master/ 就可以将读请求强制发往主库。在mysql命令行测试该功能时,需要加-c选项,以防mysql客户端过滤掉注释信息。

    4. 主库宕机,读操作受影响么?
    在Atlas中读操作不受影响,Atlas会将读请求转发到其他还存活的从库上。但此时写请求将会失败,因为主库宕机了。

    5. 检测后端DB状态会阻塞正常请求么?
    不会, atlas中检测线程是异步进行检测的,即使有db宕机,也不会阻塞主流程。在Atlas中没有什么异常会让主流程阻塞。

    6. 想下线一台DB, 又不想停掉mysql server, 怎么办?
    可以通过管理接口手动上下线后端db, Atlas会优先考虑管理员的意愿。

    7. 想给集群中增加一台DB, 不想影响线上正常访问可以吗?
    通过管理接口可以轻松实现。

    8. 相比官方mysql-proxy, Atlas还有哪些改进?
    A: 这实在是个难以回答的问题,性能,稳定性,可靠性,易维护性,我们做过几十项的改进,下面会尽量列一些较大的改动

    9.Atlas支持mysql的prepare特性吗?
    目前Atlas部分支持prepare功能,支持java,python,PHP(PDO方式)。

    10.Altas支持多个主库的运行模式吗?
    目前还未对于Atlas后面挂接多个主库的情形进行测试过,不建议这样使用。建议使用一主一从或一主多从的模式。

    11.在使用Atlas的过程中,发现了Atlas存在的bug或者对Atlas有新的功能需求,如何反馈给开发者?
    对于用户反馈的bug,我们非常重视。欢迎用户将bug的复现的环境、步骤和运行截图发邮件至zhuchao[AT]360.cn。同时如果用户在实际的应用场景中,对Atlas有新的功能需求,也可以向我们发邮件,我们将及时回复。另外有热心网友建了QQ群326544838,开发者也已经加入,方便讨论。

    12.java程序连接Atlas出现乱码问题
    把jdbc连接中的amp;删除掉,例如:将
    jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true修改为:
    jdbc:mysql://10.10.10.37:3306/user_db?useUnicode=true&characterEncoding=utf-8&autoReconnect=true

    13.监控主从同步之间的延迟?
    Atlas不负责MySQL的主从同步操作,需要DBA自己管理。但热心的网友已经通过脚本实现了通过调用Atlas提供的接口,来监控主从之间的同步,并做上下线从库的操作。有需要的同学参看:
    https://github.com/chenzhe07/Atlas_auto_setline

    14.java程序连接Atlas发现不能读写分离,所有的请求都发向主库,这是为什么?
    检查一下java框架,是不是默认将autocommit设置为0了,很多java框架将语句都封装在一个事务中,而Atlas会将事务请求都发向主库。

    15.Atlas有sql语句黑名单过滤机制吗?
    有的,Atlas会屏蔽不带where条件的delete和update操作,以及sleep函数。


    作者 @九都散人
    2015 年 10月 28日


    参考:


    相关文章

      网友评论

      本文标题:Atlas

      本文链接:https://www.haomeiwen.com/subject/bytfhttx.html