美文网首页
在线大数据表增加属性

在线大数据表增加属性

作者: 上海马超23 | 来源:发表于2017-09-09 16:05 被阅读0次

    仅增加少量公共属性

    由于是大数据高并发场景,alter方式和关联查询不适用。

    1. 提前预留字段
    2. 增加扩展表,service层屏蔽访问数据库的细节(应该是2次访问,禁止join)。
    3. 增加大字段,如果有索引需求可以使用MongoDB
    4. 业内成熟的扩展列方案:新表+触发器+迁移数据+rename
      4.1 先创建一个扩充字段的新表newTable
      4.2 在原表oldTable上创建三个触发器,分别对应insert、delete和update操作,都会对新表进行同步操作。(触发器的建立会影响原表性能,建议在流量低谷时候做)
      4.3 人工分批将原表的数据insert迁移到新表
      4.4 删除触发器,逻辑或物理删除原表;新表newTable重命名成oldTable(删除旧表和重命名新表是一个原子操作,旧表上会先加锁,新表重命名成旧表后写操作才可以继续执行。)

    海量属性,且存在每个类目独有属性

    异构数据统一方案:category + extension,不同的category 存储不同格式的extension。

    1. extension里的key命名使用数字id,用字符串占据大量空间,id的解释统一存储在单独字典表里。
    2. category的层级关系也统一存储在单独表里。

    相关文章

      网友评论

          本文标题:在线大数据表增加属性

          本文链接:https://www.haomeiwen.com/subject/anaojxtx.html