美文网首页
大型网站图片服务

大型网站图片服务

作者: 六弦极品 | 来源:发表于2018-10-25 13:59 被阅读0次

    PDM图片服务空间性能及解决方案

    现状:

    目前PDM图片服务是由一台NFS文件系统共享,一台归档服务器

    server Size Used Avail
    master 15T 12T 3T
    backup 11T 8T 3T

    1、主服务器一个月时间涨了将近6T图片数据,只剩3T空间;主服务器使用空间已大于备份服务器总空间。
    2、由于主服务器的IO性能已达到瓶颈影响增量同步没法实时同步,照成备份数据不全。
    3、单台NFS服务器不能横向扩容,读写性能已达到瓶颈。

    方案:

    方案1-S3

    1、优点:在线动态扩容,安全性高,维护成本低
    2、缺点:用户上传下载图片文件交依赖用户端的带宽,开发需要修改代码
    3、成本:
    第一个 50 TB/月 每 GB 0.025 USD
    随后 450 TB/月 每 GB 0.024 USD
    S3 Select 返回的数据 每 GB 0.0009 USD
    S3 Select 扫描的数据 每 GB 0.0025 USD
    PUT、COPY、POST 或 LIST 请求 每 1000 个请求 0.005 USD
    GET、SELECT 及所有其他请求 每 1000 个请求 0.0004 USD
    https://aws.amazon.com/cn/s3/pricing/?nc=sn&loc=4
    4、风险性:风险性较低

    方案2-Ceph

    1、优点:在线动态扩容,安全性高,读写性能非常优秀
    2、缺点:技术要求较高,开发需要修改代码
    3、成本:购买多台实体机(台数待定)
    4、风险性:需要负责人对安全性、稳定性的评估及把控性
    http://docs.ceph.org.cn/rados/

    方案3-MFS

    1、优点:在线动态扩容,分布存储安全性高,读写性能优秀,开发不需要修改代码
    2、缺点:master出现单点问题,元数据恢复需要较长时间(时间更具元数据大小有关)
    3、成本:购买多台实体机(5台)
    4、风险性:master故障,元数据大于64G恢复时间30分钟

    方案4-NFS2

    1、优点:操作、维护简单,成本较低
    2、缺点:单台IO性能瓶颈问题,不能横向扩容,单台扩容容量有限;需要web重新挂载新的图片数据目录。
    3、成本:购买单台大磁盘服务器,成本较低
    4、风险:单台IO性能问题影响数据备份,造成数据备份不全;待开发和业务评估加新目录是否影响以前业务。

    作者:larryzhao
    链接:https://www.jianshu.com/p/sTeAbC
    來源:简书
    简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

    相关文章

      网友评论

          本文标题:大型网站图片服务

          本文链接:https://www.haomeiwen.com/subject/lfoqtqtx.html