美文网首页MySQLjava 设计
大数据高并发下表如何扩展字段?

大数据高并发下表如何扩展字段?

作者: 码哥说 | 来源:发表于2019-03-21 10:59 被阅读77次

    表字段扩展方案

    背景

    业务需要,开发了新功能,对应的,需要对原表新增一些必要字段。想当然的

    alter table add column
    
    

    相信很多朋友和我一样,认为没问题。的确,针对一般的项目OK,为啥?因为数据量不大的小站当然没问题,alter造成的也是可以接受的。但是,针对数据量大且并发高的这肯定是有问题的。
    于是,博主研究了一些成熟的应对方案。

    解决方案

    pt-online-schema-change

    原理
    以user(uid, name, passwd)
    扩展到user(uid, name, passwd, age, sex)为例
    基本原理是:

    1. 先创建一个扩充字段后的新表user_new(uid, name, passwd, age, sex)
    2. 在原表user上创建三个触发器,对原表user进行的所有insert/delete/update操作,都会对新表user_new进行相同的操作
    3. 分批将原表user中的数据insert到新表user_new,直至数据迁移完成
    4. 删掉触发器,把原表移走(默认是drop掉)
    5. 把新表user_new重命名(rename)成原表user

    操作过程中需要注意:

    1. 变更过程中,最重要的是冲突的处理,一条原则,以触发器的新数据为准,这就要求被迁移的表必须有主键(这个要求基本都满足)
    2. 变更过程中,写操作需要建立触发器,所以如果原表已经有很多触发器,方案就不行(互联网大数据高并发的在线业务,一般都禁止使用触发器)
    3. 触发器的建立,会影响原表的性能,所以这个操作建议在流量低峰期进行

    优点
    整个过程不需要锁表,可以持续对外提供服务

    建议

    以上即为主流的大表新增字段的DBA解决方式,其实,更好的方案是设计表阶段就尽量规划好,有如下两种比较好的方案:

    1. 预留出足够的字段备用,“足够”怎么理解?需要一个熟悉业务的规划好。预留多了占用不少空间,预留少了也是没有意义,把握好度
    2. 可以采用“通用基础字段+version字段+ext字段”来设计表,通用基础字段即该表存储数据行的共性字段,ext字段是扩展字段,存储除了共性字段的其它个性字段的json字符串,verison字段用来标识ext代表的意义。注意,mysql此种方式ext中的字段不支持索引和查询(非要采用的话,需要特殊逻辑处理),MongoDB是支持的。
      针对数据量不大,并发不高的可以采取简单的方式:
    3. alter table add column
    4. 新增扩展表,用过联表查询来扩展(切记:大并发,大数据的不能用此方式,性能差劲)

    相关文章

      网友评论

        本文标题:大数据高并发下表如何扩展字段?

        本文链接:https://www.haomeiwen.com/subject/wtutmqtx.html