美文网首页
数据的生命周期

数据的生命周期

作者: haitaoyao | 来源:发表于2017-06-15 10:37 被阅读343次

系统产生的数据, 是有生命周期的. 总结来说可以分成三个阶段:

  1. 炙手可热.
  2. 不时之需
  3. 以备后患

0x00 炙手可热

数据处于"炙手可热"时期, 一般指线上系统会访问, 或者近期计算需要使用的数据. 比如线上 DB 中的数据, 或者当天产生的日志. 这种情况下, 必须以性能为主要考虑因素, 放在访问最快的介质中

0x01 不时之需

过一段时间后, 部分数据会变成只有很少情况会访问到的情况. 比如一年前的订单, 或者是已经 ETL 过的原始的日志手. 这种场景下, 就可以将数据迁移到相对便宜的存储方案中. 例如一些电商网站把这个阶段的数据存储到 HBase 中. 这种存储的选型, 更多的是结合业务系统的改造, 尽量选择一个价格便宜, 但数据迁移成本相对低廉的方案.

0x02 以备后患

这种场景下, 数据变成了容灾备份, 无论如何线上系统或者分析系统都不会访问这部分数据. 但一旦需要这种数据时, 最重要的却是多长时间能够数据到位(一般备份数据都很大). 成本低廉 + 持久性好 + 容灾恢复快是此类型数据存储选型的三个要素. 当然, 更关键并且容易忽略的是, 备份完成后一定要验证备份可用啊, Gitlab.com 300G 数据遭误删,5种备份失效,在线等!, 如果标题中的主角换成你家公司, 你肯定准备卷包袱走人了吧...

0x03 存储选型闲扯

举两个例子, 闲扯一下线上数据库和分析数据存储在上述三种情况下的选型.

线上数据库

  1. 炙手可热 阶段数据一般都存储在 MySQL 中
  2. 不时之需 阶段数据可以选择 HBase 等便宜又能塞的多的品种; 数据迁移的策略也可以根据业务场景进行选择, 比如一刀切按照时间迁移, 或则给每个用户保存最后一段时间范围的数据.
  3. 以备后患 阶段, 就要看手头有什么了, 如果是 AWS 家的, 强烈推荐 S3

日志存储

  1. 炙手可热 阶段, AWS 家的话数据可以存储在 S3 的 Standard 级别的存储中; 自建 Hadoop 的话就是 HDFS 了
  2. 不时之需 阶段, 由于 S3 便宜, Standard 这个级别还可以继续保持 Standard 级别的存储; HDFS 的话, 就要参考 HDFS 新特性: Archival Storage, SSD & Memory
  3. 以备后患 阶段, AWS 家有 Glacier/Standard IA 两个选择, 更便宜, 直设置一下规则即可

0x04 总结

数据按照生命周期这个维度选择不同的存储介质, 以来节省成本, 二来还能降低对炙手可热级别系统的影响, 比如爬虫经常爬历史数据导致线上数据库负载高影响正常用户.

日志型数据存储分级别就更是刚需了, 当年 HDFS Archival Storage 没有的年代, 冷数据扔也不是, 不扔存储3份还嫌贵的纠结谁经历过谁知道其中的酸爽. 不过这里还是要表扬一下 AWS 家的 S3, 通过简单的设置就可以支持回收站和冷热数据转移的功能. 例如如下 Terraform 配置:

  lifecycle_rule {
    id      = "log"
    
    # 根据路径指定存储规则
    prefix  = "log/"
    enabled = true

     # ----- 冷热数据分级配置 ----
    ## 30 天后将数据放到稍微便宜一点儿的存储
    transition {
      days          = 30
      storage_class = "STANDARD_IA"
    }

     ## 60天后, 将数据转移到 Glacier 级别的存储, 就是最便宜那种
    transition {
      days          = 60
      storage_class = "GLACIER"
    }
    
    ## 这里的意思是 90 天后数据就自动删除
    expiration {
      days = 90
    }
    
    # -------------------
    ## 往下就是回收站功能
    ## 数据删除 30 天后, 转移到便宜的 IA 级别
    noncurrent_version_transition {
      days          = 30
      storage_class = "STANDARD_IA"
    }

      ## 数据被删除90天后, 自动彻底删除
    noncurrent_version_expiration {
      days = 90
    }
  }

-- EOF --

相关文章

  • 第十三章:Widget的生命周期

    生命周期:生命周期的回调方法作用:1. 内存管理(销毁数据、监听、Timer等)2. 初始化数据)(创建数据、发送...

  • 数据的生命周期-从数据ETL-OLAP-到数据可视化展现

    数据怎么玩?这是很多人关心的问题。很多人都想玩转数据,但是数据的生命周期,您了解吗?不懂得数据的生命周期,是无法真...

  • 数据生命周期管理对企业大数据平台的重要意义

    数据生命周期从数据规划开始,包括开发、产生、部署应用、监视、存档和销毁,是一个不断循环的过程。数据生命周期管理是通...

  • 三. 数据库设计

    数据库设计概述 数据库的生命周期 数据库的生命周期可以分为二个阶段,分别是数据库分析与设计阶段、数据库实现与操作阶...

  • 数据生命周期浅谈

    数据如同企业其他资产一样,也具有生命周期。企业只有充分地认识数据的全生命周期,才能更好地描述、衡量、量化和管理数据...

  • 数据仓库生命周期工具箱

    数据仓库生命周期工具箱

  • vue

    1.vue的生命周期 vue的生命周期主要分为几个简单部分:数据初始化,dom挂载,数据更新,组件写卸载。在一个,...

  • 前端面试题——Vue高频问题

    1.Vue的生命周期 Vue的生命周期主要分为几个简单,数据初始化,dom挂载,数据更新,组件卸载,在一个就是开启...

  • Vue的生命周期

    Vue的生命周期 Vue实例从创建到销毁的过程,就是生命周期。 Vue的生命周期包括:开始创建、初始化数据、编译模...

  • react生命周期函数(老版本)

    图例说明 生命周期函数 生命周期: 组件的初始化流程: 组件的数据更新流程 例子演示

网友评论

      本文标题:数据的生命周期

      本文链接:https://www.haomeiwen.com/subject/okuyqxtx.html