美文网首页
一线互联网公司服务器监控系统架构分享

一线互联网公司服务器监控系统架构分享

作者: meng_philip123 | 来源:发表于2018-01-12 14:52 被阅读552次

    转载:一线互联网公司服务器监控系统架构分享

    主题:一线互联网公司服务器监控系统架构

    内容:

    自动运维的一点体会

    性能与可用性可扩展

    功能可扩展

    监控支撑业务扩展

    主讲师:PC 老师

    大学时期就负责学校官方网站的运维工作,实习期间加入豆瓣,有幸成为豆瓣 Top20 员工,从事 Python 开发及运维工作,后在 BAT 从事自动化运维,见证BAT 运维自动化从无到有。擅长系统底层、分布式系统开发,热衷于开源运动,给 memcached、SETI@Home 等多个开源项目贡献过代码。

    视频版

    链接: https://pan.baidu.com/s/1pNkgbrX 密码: fsxy

    自动化运维的一点体会

     不同公司的需求差异

    监控?

    配置管理?

    自动部署?

    调度系统?

    Iaas / Paas?

    or more?

    不同规模、不同行业的公司存在需求差异

    自动运维的几个基础

    一本清晰的账本 (准确的基础信息)

    一个靠谱的监控 

    一个靠谱的任务执行系统 

    自动运维的基础

    靠谱的监控

    本质:对被监控对象的指标进行状态判定

    一台服务器上 nginx 服务的连接数

    需要支持网络层、服务器、服务、业务四层

    精准智能

    适应机器 的规模与增长速度

    高效、高可用性

    支持纷繁多样的服务

    性能与可扩展

     模块内性能

    通信

    长连接

    Epoll

    多进程/线程

    高并发

    并发度可调

    通信层剥离

    统一的高性能通信框架与通信协议

    业务开发简单清晰

    多进程工作模型

    单进程IO复用接收

    多进程(worker)并发处理

    模块功能精简,便于组合

    横向扩展

    任意环节支持横向扩展

    无状态、负载均衡

    可支持级联

    整体处理性能线性增长

    多路多点部署

    高可用

    去中心化

    无单点

    负载均衡

    横向扩展

    多点部署

    自动切换

    每个环节自动切换

    WRR

    多路冗余

    无状态

    Supervise保证存活

    数据传输可靠性

    传输过程中多次确认

    采集到汇聚

    转发到逻辑判断

    转发到存储

    外部状态监控

    传输起始端健康检查

    每个环节的外部监控

    内部判断

    模块内扩展

    模块间可扩展

    采集

    汇聚转发

    过滤

    报警

    离线存储

    挖掘分析

    展示

    模块间可扩展性

    七巧板搭配

    汇聚后的多路传输

    级联

    功能扩展简单

    存活监控

    端口监控

    集群

    核心模块高度复用

    模块之间联动反馈

    互联互通

    存活监控

    模块之间联动反馈

    互联互通

    存活监控

    功能扩展

    基础监控 => 自定义监控        

    端口 =>语义监控  

    URL监控 => HTTP语义监控

    URL监控 => 访问质量监控   

    服务器指标监控 => 集群指标监控        

    监控支撑业务扩展

    预算与成本分摊      ---offline

    结合基础信息管理

    资源使用与服务器选型

    资源管理   --- offline

    空闲资源挖掘

    资源统计分析与基础信息校正

    容量管理

    空闲资源利用  --- offline

    存储资源

    计算资源

    调度决策的基础 --- online

    报警触发简单任务执行

    关联报警挖掘

    与业务评估模型结合

    自动运维平台的一个架构简图

    注意:【51Reboot】架构师班4月7日开班

    咨询报名联系

    QQ(1):979950755    小月   

    QQ(2):279312229    ada   

    WeChat : 1902433859   小月

    相关文章

      网友评论

          本文标题:一线互联网公司服务器监控系统架构分享

          本文链接:https://www.haomeiwen.com/subject/gdjfoxtx.html