美文网首页
如何应对大数据高并发

如何应对大数据高并发

作者: 杰克_王_ | 来源:发表于2021-08-03 09:44 被阅读0次

如何应对大数据高并发

  • 增强服务器硬件配置
    • 增加cpu核心, 高速缓存, 频率
    • 增加内存容量, 频率
    • HDD换成SSD
    • 使用磁盘阵列
    • 使用高速网卡
    • 将双绞线换成光纤,甚至是背板
    • 使用专线
  • 分流(主要指负载均衡)
    • DNS
    • CDN
    • F5
    • LVS
    • LBF
    • HAProxy
    • Nginx
    • 文件服务器
    • 动静分离
    • 数据库读写分离
    • 数据冷热分离
  • 服务拆分
    • 分布式/微服务: 细粒度的服务拆分,方便按需进行伸缩
    • 数据库: 分库,分表
    • 前后端采用不同域名
  • 服务治理(故障转移和服务伸缩)
    • 服务注册: zookeeper, etcd, consul
    • 服务发现: ocelot
    • 心跳检测
  • 服务质量
    • 限流
    • 熔断
    • 降级
  • 提前一切可提前的
    • 缓存预热
    • 异步刷新缓存(使用MQ或定时任务, 即事件调度和定时调度)
    • 站点预热: 动态内容静态化
  • 延迟一切可延迟的
    • 使用MQ将一些不是那么重要的或无需同步执行完毕的计算任务,延迟执行
  • 性能优化
    • 批量读写
    • 顺序读写
    • 减少网络IO
    • 减少磁盘IO
    • IO多路复用
    • 按需读写
    • 尽可能的将数据和计算资源放在较近的位置
    • 优化数据库索引,规范查询,必要时,可适当调整业务
    • 尽可能快速的释放不再需要的资源
    • 减少资源竞争
  • 服务扩容
    • 服务集群化
    • RDB集群化
    • NoSQL集群化
    • 服务无状态化
    • 使用K8S对服务进行动态伸缩

案例总结:

我们以秒杀场景为例, 当大量用户请求进来时, 一个服务是扛不住的, 这时候我们想到的是分流, 就像现在打疫苗一样, 不同地区的人, 就近打疫苗, 如果全部去大医院, 或全部去北京打, 这个肯定是扛不住的; 当请求到达服务, 如果此时服务才开始准备数据, 势必会照成请求的拥塞, 所以我们需要提前将动态内容静态化, 就像我们打疫苗时, 是提前生产好的, 而不是打的时候再生产, 这样就可以加快速度; 为了提高并发, 我们一般取数据时, 比如库存, 不去数据库取, 而是从redis缓存取, 就像打疫苗时, 我们的疫苗是提前分发到疫苗服务网点, 然后直接在打疫苗的服务网点拿, 而不是去厂家或仓库拿一样; 当缓存中没有数据时, 我们会去数据库中取, 但是一个数据库可能存不下或无法提供非常高的查询请求, 此时我们就会去做数据的垂直拆分和水平拆分, 以提供更高的存储容量, 做读写分离, 以提高查询的并发, 就像疫苗多个厂家生产, 多仓库储存一样; 我们将生成订单和发送通知, 先生成一个消息发往MQ, 然后由其它服务处理一样, 就像我们打完第一针, 给个凭证(即消息), 等过个21天再来打第二针(即消费消息), 将无需同步执行的任务, 延时执行; 最后将订单信息落库, 将用户带到支付页面, 就像我们打完第二针, 会发另外一个凭证, 方便出行一样.

相关文章

  • 如何应对大数据高并发

    如何应对大数据高并发 增强服务器硬件配置增加cpu核心, 高速缓存, 频率增加内存容量, 频率HDD换成SSD使用...

  • 高并发项目处理方案

    高并发一般会发生在1、负载均衡(服务)处 2、数据库高并发 link 服务的高并发 应对高并发,解决方案大多从服务...

  • 06.如何应对高并发

    如何应对高并发 什么是高并发 高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素...

  • 如何应对高并发?

    高并发要细化,那么则分为前端、中端、后端,我相信大家都会很疑惑为什么会有前中后不同的端,当然每一个人对高并发以及技...

  • Java高性能高并发秒杀系统设计与优化

    项目简介 本项目主要是模拟应对大并发场景下,如何完成商品的秒杀,以及针对秒杀场景下为应对大并发所做的优化。 项目地...

  • 高并发简介

    高并发发生在两处负载均衡集群与数据库主从复制-读写分离 高并发初期解决方案应对高并发,解决方案大多从系统或服务器级...

  • 大型网站架构设计学习笔记 1

    挑战与架构目标 大型网站的主要挑战是:大容量(请求量大/数据量大[海量数据])、高并发(峰值并发大)、高可用(72...

  • 应对大并发

    高并发是我们现在老生常谈的内容了,这里我们以秒杀为例,来聊聊怎么应对大并发。 一、秒杀带来的问题 在高并发秒杀的情...

  • redis缓存架构概述

    缓存——高并发系统的银弹 (1)如何让redis集群支撑几十万QPS高并发+99.99%高可用+TB级海量数据+企...

  • 分布式电商开发 01

    互联网电商行业的特点 分布式 , 高并发 , 集群 , 海量数据 等等 那如何解决海量数据和高并发的问题呢? 1....

网友评论

      本文标题:如何应对大数据高并发

      本文链接:https://www.haomeiwen.com/subject/frwsvltx.html