《微服务设计》，Building Microservices，作者Sam Newman，译者崔力强、张骏，人民邮电出版社，2016年。
笔记中有些内容直接引用原书。
================================================================
第八章监控
微服务系统出了问题，要通过服务的监控、日志的筛选、网络延迟的判断等各方面去发现问题，要处理的点很多，该如何办？答案是：监控小的服务，然后聚合起来看整体。
1.单一服务，单一服务器
首先监控主机：CPU、内存等。可以使用监控软件Nagios或者像New Relic这样的托管服务来帮助监控主机。接着查看服务器日志，可以使用命令行工具扫描日志，使用logrotate移除旧的日志。最后监控应用程序本身，至少要监控服务响应时间。可以通过查看运行服务的Web服务器或者服务日志完成。进一步可以追踪报告中错误出现的次数。
2.单一服务，多个服务器
仍然要监控每个主机的资源使用情况，需要聚合各主机的信息来分析，也需要对单个主机信息进行深入分析。可以采用Nagios。对于日志，如果只有几个主机，可以用像ssh-multiplexers这样的工具，在多个主机上运行相同的命令。用一个大显示屏，运行grep “Error” app.log来定位错误。对于响应时间，可以在负载均衡器中跟踪，负载均衡器本身也需要跟踪。
3.多个服务，多个服务器
通过日志和应用程序指标的集中收集和聚合来定位问题。
4.日志，日志，更多的日志
可以用logstash，解析多种日志格式，发送到下游系统。Kibana是基于ElasticSearch查看日志的系统。
5.多个服务的指标跟踪
需要长时间收集系统运行指标，以了解其模式，从而判断异常。可以用Graphite来方便地从新的主机收集指标，查看聚合后的数据。
6.服务指标
Linux上安装collectd并指向Graphite时，会有大量的指标。像Nginx或Varnish这样的支撑子系统，也会提供很多信息，如响应时间、缓存命中率。对于应用程序，强烈建议公开自己服务的基本标准。这样可以：了解系统各个功能的使用情况；了解用户如何使用我们的系统，从而得知如何改进；我们永远不知道哪些数据是有用的，因此要暴露一切数据，通过指标系统来处理。Codahale的Metrics库（运行于JVM）可以存储指标，并能将数据发送给Graphite。
7.综合监控
对于系统服务的监控，可以采用合成事务的方式，确保系统行为在语义上的正确性，这种技术因此常被称为语义监控。创建假事件给系统处理，监控处理行为就是一个合成事务的例子。
实现语义监控。可以采用针对指定服务或整个系统的端到端测试进行语义监控。但要确保测试的数据和实时的数据相匹配，还要确保不会产生副作用。
8.关联标识
要能够像查看堆栈一样查看由请求引起的调用链。可以使用关联标识（ID），在触发第一个调用时，生成一个GUID，然后将其传递给所有的后续调用，日志中保存该关联标识，就能通过查看日志进行跟踪。每个服务都应知道传递关联标识。可用Zipkin进行跨多个系统边界跟踪调用。Zipkin有点重，需要自定义客户端并且支持收集系统。传递关联标识需要在所有服务中保持一致，可以通过统一的库来进行，实现该库时需要尽量减少其依赖。
9.级联
级联故障很危险，监控系统之间的集成点非常关键。每个服务应该追踪和显示其下游服务的健康状态，然后将这些信息汇总，整合到一个画面。可以用库实现一个断路器网络调用，帮助你更优雅地处理级联故障和功能降级。如JVM上的Hystrix，提供了挺好的监控功能。
10.标准化
监控领域的标准化很关键，可以利用工具，例如提供预配置的虚拟机镜像，镜像内置logstash和collectd，还有一个公用的应用程序库，使其与Graphite容易交互。
11.考虑受众
不同的人对于数据进行深入分析的需求不一样。需要考虑：他们现在需要知道什么，他们之后想要什么，他们如何消费数据。定量信息的图形化显示可以参考Stephen Few的《Information Dashboard Design: Displaying Data for At-a-Glance Monitoring》一书。
12.未来
存储业务指标的系统通常无法直接、实时地访问，而存储运营指标的系统却可以。如果能有通用的事件路由系统，使两者能聚合用于生成报告，则整体架构会更加简单。Riemann是一个事件服务器，允许高级的聚合和事件路由。Netflix开源的Suro类似。聚合的数据可以分发到不同的系统，如Storm、Hadoop或Kibana。
13.总结
对每个服务：跟踪请求响应时间、错误率和应用程序级指标；跟踪所有下游服务的健康状态，如调用时间、错误率；标准化如何收集和存储指标；以标准格式讲日志记录到一个标准位置；监控底层操作系统。
对系统：聚合CPU等主机层级的指标和程序级指标；确保指标存储工具可以在系统和服务级别做聚合，也能查看单台主机信息；指标存储工具允许维护数据足够长时间，以了解趋势；使用单个可查询工具对日志进行聚合和存储；强烈考虑标准化关联标识的使用；了解什么样的情况需要行动，并构造警报和仪表盘；调查对各种指标聚合和统一化的可能性。
更多通用事件处理系统的内容可参考作者的书《Lightweight Systems for Realtime Monitoring》。
网友评论