美文网首页
集群规模及购买服务器建议

集群规模及购买服务器建议

作者: etheon | 来源:发表于2020-02-07 16:25 被阅读0次

    1.用户行为数据

    100万用户,每人一天100条,每条日志1K。

    每天约100G

    ODS压缩为10G

    DWD压缩为10G

    DWS轻度聚合约50G

    ADS数据量忽略不计

    保存3副本 共210G

    半年不扩容共37T

    预留20%30%共53T

    2.DATAHUB缓存数据

    每天100G,2副本,共200G

    保存3天,共600G

    预留30%,共1T

    3.FLUME缓存,忽略不计

    4.业务数据

    每天下单用户10W,产生业务数据10条,每条日志1K。共1G

    数仓四层存储,共3G

    保存3副本,共9G

    半年不扩容,共1.6T

    预留30%,共2T

    5.集群总规模,共56T

    6.每台服务器8T,共需7台。

    相关文章

      网友评论

          本文标题:集群规模及购买服务器建议

          本文链接:https://www.haomeiwen.com/subject/ddzmxhtx.html