美文网首页WebRTC
【修炼】02-程序员练级攻略（2018）-part02-2018

【修炼】02-程序员练级攻略（2018）-part02-2018

作者: cd13856c86e2 | 来源:发表于2018-09-04 22:27 被阅读11次

    订阅了陈皓老师的极客时间专栏，这篇修炼攻略指明了修炼图，非常有意义，给需要的同学参考，希望大家都有所帮助，也希望大家订阅专栏。
    专栏地址：https://time.geekbang.org/column/intro/48
    另：若涉及版权问题，请告知下线。

    ==============> Content part02 <==============
12-程序员练级攻略（2018）：分布式架构入门-极客时间 | 左耳听风
13-程序员练级攻略（2018）：分布式架构经典图书和论文-极客时间 | 左耳听风
14-程序员练级攻略（2018）：分布式架构工程设计-极客时间 | 左耳听风
15-程序员练级攻略（2018）：微服务-极客时间 | 左耳听风
16-程序员练级攻略（2018）：容器化和自动化运维-极客时间 | 左耳听风
17-程序员练级攻略（2018）：机器学习和人工智能 -极客时间 | 左耳听风
18- 程序员练级攻略（2018）：前端基础和底层原理 -极客时间 | 左耳听风
19-程序员练级攻略（2018）：前端性能优化和框架-极客时间 | 左耳听风
20-程序员练级攻略（2018）：UI/UX设计-极客时间 | 左耳听风
21-程序员练级攻略（2018）：技术资源集散地-极客时间 | 左耳听风

    程序员练级攻略（2018）：分布式架构入门

    image.png

    学习分布式系统跟学习其它技术非常不一样，分布式系统涵盖的面非常广，具体来说涵盖如下几方面：

    • 服务调度，涉及服务发现、配置管理、弹性伸缩、故障恢复等。

    • 资源调度，涉及对底层资源的调度使用，如计算资源、网络资源和存储资源等。

    • 流量调度，涉及路由、负载均衡、流控、熔断等。

    • 数据调度，涉及数据复本、数据一致性、分布式事务、分库、分表等。

    • 容错处理，涉及隔离、幂等、重试、业务补偿、异步、降级等。

    • 自动化运维，涉及持续集成、持续部署、全栈监控、调用链跟踪等。

    所有这些形成了分布式架构的整体复杂度，也造就了分布式系统中的很多很多论文、图书以及很多很多的项目。要学好分布式系统及其架构，我们需要大量的时间和实践才能真正掌握这些技术。

    这里有几点需要你注意一下。

    • 分布式系统之所以复杂，就是因为其太容易也太经常出错了。这意味着，你要把处理错误的代码当成正常功能的代码来处理。

    • 开发一个健壮的分布式系统的成本是单体系统的几百倍甚至几万倍。这意味着，我们要自己开发一个，需要能力很强的开发人员。

    • 非常健壮的开源的分布式系统并不多，或者说基本没有。这意味着，如果你要用开源的，那么你需要 hold 得住其源码。

    • 管理或是协调多个服务或机器是非常难的。这意味着，我们要去读很多很多的分布式系统的论文。

    • 在分布式环境下，出了问题是很难 debug 的。这意味着，我们需要非常好的监控和跟踪系统，还需要经常做演练和测试。

    • 在分布式环境下，你需要更科学地分析和统计。这意味着，我们要用 P90 这样的统计指标，而不是平均值，我们还需要做容量计划和评估。

    • 在分布式环境下，需要应用服务化。这意味着，我们需要一个服务开发框架，比如 SOA 或微服务。

    • 在分布式环境下，故障不可怕，可怕的是影响面过大，时间过长。这意味着，我们需要花时间来开发我们的自动化运维平台。

    总之，在分布式环境下，一切都变得非常复杂。要进入这个领域，你需要有足够多的耐性和足够强的心态来接受各式各样的失败。当拥有丰富的实践和经验后，你才会有所建树。这并不是一日之功，你可能要在这个领域花费数年甚至数十年的时间。

    分布式架构入门

    学习如何设计可扩展的架构将会有助于你成为一个更好的工程师。系统设计是一个很宽泛的话题。在互联网上，关于架构设计原则的资源也是多如牛毛。所以，你需要知道一些基本概念，对此，这里你先读一下下面两篇文章，都非常不错。

    然后，我更强烈推荐 GitHub 上的一篇文档 - System Design Primer ，这个仓库主要组织收集分布式系统的一些与扩展性相关的资源，它可以帮助你学习如何构建可扩展的架构。

    目前这个仓库收集到了好些系统架构和设计的基本方法。其中包括：CAP 理论、一致性模型、可用性模式、DNS、CDN、负载均衡、反向代理、应用层的微服务和服务发现、关系型数据库和 NoSQL、缓存、异步通讯、安全等。

    我认为，上面这几篇文章基本足够可以让你入门了，因为其中基本涵盖了所有与系统架构相关的技术。这些技术，足够这世上 90% 以上的公司用了，只有超级巨型的公司才有可能使用更高层次的技术。

    分布式理论

    下面，我们来学习一下分布式方面的理论知识。

    首先，你需要看一下 An introduction to distributed systems。 这只是某个教学课程的提纲，我觉得还是很不错的，几乎涵盖了分布式系统方面的所有知识点，而且辅以简洁并切中要害的说明文字，非常适合初学者提纲挈领地了解知识全貌，快速与现有知识结合，形成知识体系。这也是一个分布式系统的知识图谱，可以让你看到分布式系统的整体全貌。你可以根据这个知识图 Google 下去，然后你会学会所有的东西。

    然后，你需要了解一下拜占庭将军问题（Byzantine Generals Problem）。这个问题是莱斯利·兰波特（Leslie Lamport）于 1982 年提出用来解释一致性问题的一个虚构模型（论文地址）。拜占庭是古代东罗马帝国的首都，由于地域宽广，守卫边境的多个将军（系统中的多个节点）需要通过信使来传递消息，达成某些一致的决定。但由于将军中可能存在叛徒（系统中节点出错），这些叛徒将努力向不同的将军发送不同的消息，试图会干扰一致性的达成。拜占庭问题即为在此情况下，如何让忠诚的将军们能达成行动的一致。

    对于拜占庭问题来说，假如节点总数为 N，叛变将军数为 F，则当 N >= 3F + 1时，问题才有解，即拜占庭容错（Byzantine Fault Tolerant，BFT）算法。拜占庭容错算法解决的是，网络通信可靠但节点可能故障情况下一致性该如何达成的问题。

    最早由卡斯特罗（Castro）和利斯科夫（Liskov）在 1999 年提出的实用拜占庭容错（Practical Byzantine Fault Tolerant，PBFT）算法，是第一个得到广泛应用的 BFT 算法。只要系统中有 2/3 的节点是正常工作的，则可以保证一致性。PBFT 算法包括三个阶段来达成共识：预准备（Pre-Prepare）、准备（Prepare）和提交（Commit）。

    这里有几篇和这个问题相关的文章，推荐阅读。

    拜占庭容错系统研究中有三个重要理论：CAP、FLP 和 DLS。

    • CAP 定理，CAP 理论相信你应该听说过不下 N 次了。CAP 定理是分布式系统设计中最基础也是最为关键的理论。CAP 定理指出，分布式数据存储不可能同时满足以下三个条件：一致性（Consistency）、可用性（Availability）和 分区容忍（Partition tolerance）。 “在网络发生阻断（partition）时，你只能选择数据的一致性（consistency）或可用性（availability），无法两者兼得”。

      论点比较直观：如果网络因阻断而分隔为二，在其中一边我送出一笔交易：“将我的十元给 A”；在另一半我送出另一笔交易：" 将我的十元给 B "。此时系统要不是，a）无可用性，即这两笔交易至少会有一笔交易不会被接受；要不就是，b）无一致性，一半看到的是 A 多了十元而另一半则看到 B 多了十元。要注意的是，CAP 理论和扩展性（scalability）是无关的，在分片（sharded）或非分片的系统皆适用。

    • FLP impossibility- 在异步环境中，如果节点间的网络延迟没有上限，只要有一个恶意的节点存在，就没有算法能在有限的时间内达成共识。但值得注意的是，“Las Vegas” algorithms（这个算法又叫撞大运算法，其保证结果正确，只是在运算时所用资源上进行赌博，一个简单的例子是随机快速排序，它的 pivot 是随机选的，但排序结果永远一致）在每一轮皆有一定机率达成共识，随着时间增加，机率会越趋近于 1。而这也是许多成功的共识算法会采用的解决问题的办法。

    • 容错的上限 - 由 DLS 论文 ，我们可以得到以下结论。

      • 在部分同步（partially synchronous）的网络环境中（即网络延迟有一定的上限，但我们无法事先知道上限是多少），协议可以容忍最多 1/3 的拜占庭故障（Byzantine fault）。

      • 在异步（asynchronous）的网络环境中，具有确定性质的协议无法容忍任何错误，但这篇论文并没有提及 randomized algorithms，在这种情况下可以容忍最多 1/3 的拜占庭故障。

      • 在同步（synchronous）网络环境中（即网络延迟有上限且上限是已知的），协议可以容忍 100% 的拜占庭故障，但当超过 1/2 的节点为恶意节点时，会有一些限制条件。要注意的是，我们考虑的是 " 具有认证特性的拜占庭模型（authenticated Byzantine）"，而不是 " 一般的拜占庭模型 "；具有认证特性指的是将如今已经过大量研究且成本低廉的公私钥加密机制应用在我们的算法中。

    当然，还有一个著名的“8 条荒谬的分布式假设（Fallacies of Distributed Computing）”。

    1. 网络是稳定的。
    2. 网络传输的延迟是零。
    3. 网络的带宽是无穷大。
    4. 网络是安全的。
    5. 网络的拓扑不会改变。
    6. 只有一个系统管理员。
    7. 传输数据的成本为零。
    8. 整个网络是同构的。

    阿尔农·罗特姆 - 盖尔 - 奥兹（Arnon Rotem-Gal-Oz）写了一篇长文 Fallacies of Distributed Computing Explained 来解释为什么这些观点是错误的。另外，加勒思·威尔逊（Gareth Wilson）的文章 则用日常生活中的例子，对这些点做了通俗的解释。为什么我们深刻地认识到这 8 个错误？是因为，这要我们清楚地认识到——在分布式系统中错误是不可能避免的，我们在分布式系统中，能做的不是避免错误，而是要把错误的处理当成功能写在代码中。

    下面分享几篇一致性方面的论文。

    • 当然，关于经典的 CAP 理论，也存在一些误导的地方，这个问题在 2012 年有一篇论文 CAP Twelve Years Later: How the Rules Have Changed （中译版）中做了一些讨论，主要是说，在 CAP 中最大的问题就是分区，也就是 P，在 P 发生的情况下，非常难以保证 C 和 A。然而，这是强一致性的情况。

      其实，在很多时候，我们并不需要强一致性的系统，所以后来，人们争论关于数据一致性和可用性时，主要是集中在强一致性的 ACID 或最终一致性的 BASE。当时，BASE 还不怎么为世人所接受，主要是大家都觉得 ACID 是最完美的模型，大家很难接受不完美的 BASE。在 CAP 理论中，大家总是觉得需要 " 三选二 "，也就是说，P 是必选项，那 " 三选二 " 的选择题不就变成数据一致性 (consistency)、服务可用性 (availability) 间的 " 二选一 " ？

      然而，现实却是，P 很少遇到，而 C 和 A 这两个事，工程实践中一致性有不同程度，可用性也有不同等级，在保证分区容错性的前提下，放宽约束后可以兼顾一致性和可用性，两者不是非此即彼。其实，在一个时间可能允许的范围内是可以取舍并交替选择的。

    • Harvest, Yield, and Scalable Tolerant Systems ，这篇论文是基于上面那篇 "CAP 12 年后 " 的论文写的，它主要提出了 Harvest 和 Yield 概念，并把上面那篇论文中所讨论的东西讲得更为仔细了一些。

    • Base: An Acid Alternative （中译版），本文是 eBay 的架构师在 2008 年发表给 ACM 的文章，是一篇解释 BASE 原则，或者说最终一致性的经典文章。文中讨论了 BASE 与 ACID 原则的基本差异, 以及如何设计大型网站以满足不断增长的可伸缩性需求，其中有如何对业务做调整和折中，以及一些具体的折中技术的介绍。一个比较经典的话是——“在对数据库进行分区后, 为了可用性（Availability）牺牲部分一致性（Consistency）可以显著地提升系统的可伸缩性 (Scalability)”。

    • Eventually Consistent ，这篇文章是 AWS 的 CTO 维尔纳·沃格尔（Werner Vogel）在 2008 年发布在 ACM Queue 上的一篇数据库方面的重要文章，阐述了 NoSQL 数据库的理论基石——最终一致性，对传统的关系型数据库（ACID，Transaction）做了较好的补充。

    小结

    好了，总结一下今天分享的内容。文章的开头，我给出了学习分布式架构需要注意的几个关键点，然后列出了入门学习的资源，基本涵盖了所有与系统架构相关的技术。随后讲述了拜占庭容错系统研究中有三个重要理论：CAP、FLP 和 DLS，以及 8 条荒谬的分布式假设，从理论和认知等角度让你更为清楚地理解分布式系统。最后分享了几篇一致性相关的论文，很实用很经典，推荐阅读。

    下篇文章中，我将推荐一些分布式架构的经典图书和论文，并给出了导读文字，几乎涵盖了分布式系统架构方面的所有关键的理论知识。敬请期待。

    程序员练级攻略（2018）：分布式架构经典图书和论文

    image.png

    经典图书

    首先，我推荐几本分布式架构方面的经典图书。

    • Distributed Systems for fun and profit，这是一本免费的电子书。作者撰写此书的目的是希望以一种更易于理解的方式，讲述以亚马逊的 Dynamo、谷歌的 Bigtable 和 MapReduce 等为代表的分布式系统背后的核心思想。

    • Designing Data Intensive Applications，这本书是一本非常好的书，我们知道，在分布式的世界里，数据结点的扩展是一件非常麻烦的事。这本书深入浅出地用很多的工程案例讲解了如何让数据结点做扩展。作者马丁·科勒普曼（Martin Kleppmann）在分布式数据系统领域有着很深的功底，并在这本书中完整地梳理各类纷繁复杂设计背后的技术逻辑，不同架构之间的妥协与超越，很值得开发人员与架构设计者阅读。

      这本书深入到 B-Tree、SSTables、LSM 这类数据存储结构中，并且从外部的视角来审视这些数据结构对 NoSQL 和关系型数据库的影响。这本书可以让你很清楚地了解到真正世界的大数据架构中的数据分区、数据复制的一些坑，并提供了很好的解决方案。最赞的是，作者将各种各样的技术的本质非常好地关联在一起，令你触类旁通。

      而且，这本书完全就是抽丝剥茧，循循善诱，从 " 提出问题 " 到 " 解决问题 "、“解决方案”、“优化方案 " 和 " 对比不同的方案”，一点一点地把非常晦涩的技术和知识展开。本书的引用相当多，每章后面都有几百个 Reference，通过这些 Reference 你可以看到更为广阔、更为精彩的世界。

    • [Distributed Systems: Principles and Paradigms](http://barbie.uta.edu/~jli/Resources/MapReduce&Hadoop/Distributed Systems Principles and Paradigms.pdf) ，本书是由计算机科学家安德鲁·斯图尔特·塔能鲍姆（Andrew S. Tanenbaum）和其同事马丁·范·斯蒂恩（Martin van Steen）合力撰写的，是分布式系统方面的经典教材。

      语言简洁，内容通俗易懂，介绍了分布式系统的七大核心原理，并给出了大量的例子；系统讲述了分布式系统的概念和技术，包括通信、进程、命名、同步化、一致性和复制、容错以及安全等；讨论了分布式应用的开发方法（即范型）。但本书不是一本指导 " 如何做 " 的手册，仅适合系统性地学习基础知识，了解编写分布式系统的基本原则和逻辑。中文翻译版为《分布式系统原理与范型》（第二版）。

    • Scalable Web Architecture and Distributed Systems，
      这是一本免费的在线小册子，其中文翻译版 可扩展的 Web 架构和分布式系统。本书主要针对面向互联网（公网）的分布式系统，但其中的原理或许也可以应用于其他分布式系统的设计中。作者的观点是，通过了解大型网站的分布式架构原理，小型网站的构建也能从中受益。本书从大型互联网系统的常见特性，如高可用、高性能、高可靠、易管理等出发，引出了一个类似于 Flickr 的典型的大型图片网站的例子。

    • Principles of Distributed Systems ，本书是苏黎世联邦理工学院的教材。它讲述了多种分布式系统中会用到的算法。虽然分布式系统的不同场景会用到不同算法，但并不表示这些算法都会被用到。不过，作为学生来说，掌握了算法设计的精髓也就能举一反三地设计出解决其他问题的算法，从而得到分布式系统架构设计中所需的算法。

    经典论文

    分布式事务

    想了解分布式模型中最难的 " 分布式事务 "，你需要看看 Google App Engine 联合创始人瑞恩·巴雷特（Ryan Barrett）在 2009 年的 Google I/O 大会上的演讲《Transaction Across DataCenter》（YouTube 视频）。

    在这个演讲中，巴雷特讲述了各种经典的解决方案如何在一致性、事务、性能和错误上做平衡。而最后得到为什么分布式系统的事务只有 Paxos 算法是最好的。

    下面这个图是这个算法中的结论。

    [图片上传失败...(image-b0383a-1536069137307)]

    你也可以移步看一下我在 Coolshell 上写的这篇文章《分布式系统的事务处理》。

    Paxos 一致性算法

    Paxos 算法，是莱斯利·兰伯特（Lesile Lamport）于 1990 年提出来的一种基于消息传递且具有高度容错特性的一致性算法。但是这个算法太过于晦涩，所以一直以来都属于理论上的论文性质的东西。其真正进入工程圈，主要是来源于 Google 的 Chubby lock——一个分布式的锁服务，用在了 Bigtable 中。直到 Google 发布了下面这两篇论文，Paxos 才进入到工程界的视野中来。

    Google 与 Bigtable 相齐名的还有另外两篇论文。

    不过，这几篇文章中并没有讲太多的 Paxos 算法上的细节，反而是在Paxos Made Live - An Engineering Perspective 这篇论文中提到了很多工程实现的细节。这篇论文详细解释了 Google 实现 Paxos 时遇到的各种问题和解决方案，讲述了从理论到实际应用二者之间巨大的鸿沟。

    Paxos 算法的原版论文比较晦涩，也不易懂。这里推荐一篇比较容易读的—— Neat Algorithms - Paxos 。这篇文章中还有一些小动画帮助你读懂。还有一篇可以帮你理解的文章是 Paxos by Examples。

    Raft 一致性算法

    因为 Paxos 算法太过于晦涩，而且在实际的实现上有太多的坑，并不太容易写对。所以，有人搞出了另外一个一致性的算法，叫 Raft。其原始论文是 In search of an Understandable Consensus Algorithm (Extended Version) ，寻找一种易于理解的 Raft 算法。这篇论文的译文在 InfoQ 上，题为《Raft 一致性算法论文译文》，推荐你读一读。

    这里推荐几个不错的 Raft 算法的动画演示。

    Gossip 一致性算法

    后面，业内又搞出来一些工程上的东西，比如 Amazon 的 DynamoDB，其论文Dynamo: Amazon’s Highly Available Key Value Store 的影响力非常大。这篇论文中讲述了 Amazon 的 DynamoDB 是如何满足系统的高可用、高扩展和高可靠的。其中展示了系统架构是如何做到数据分布以及数据一致性的。GFS 采用的是查表式的数据分布，而 DynamoDB 采用的是计算式的，也是一个改进版的通过虚拟结点减少增加结点带来数据迁移的一致性哈希。

    这篇文章中有几个关键的概念，一个是 Vector Clock，另一个是 Gossip 协议。

    • Time, Clocks and the Ordering of Events in a Distributed System ，这篇文章是莱斯利·兰伯特（Leslie Lamport）于 1978 年发表的，并在 2007 年被选入 SOSP 的名人堂，被誉为第一篇真正的 " 分布式系统 " 论文，该论文曾一度成为计算机科学史上被引用最多的文章。分布式系统中的时钟同步是一个非常难的问题，因为分布式系统中是使用消息进行通信的，若使用物理时钟来进行同步，一方面是不同的 process 的时钟有差异，另一方面是时间的计算也有一定的误差，这样若有两个时间相同的事件，则无法区分它们谁前谁后了。这篇文章主要解决分布式系统中的时钟同步问题。

    • 马萨诸塞大学课程 Distributed Operating System 中第 10 节 Clock Synchronization，这篇讲议讲述了时钟同步的问题。

    • 关于 Vector Clock，你可以看一下 Why Vector Clocks are Easy 和 Why Vector Clocks are Hard 这两篇文章。

    用来做数据同步的 Gossip 协议的原始论文是 Efficient Reconciliation and Flow Control for Anti-Entropy Protocols。Gossip 算法也是 Cassandra 使用的数据复制协议。这个协议就像八卦和谣言传播一样，可以 " 一传十、十传百 " 传播开来。但是这个协议看似简单，细节上却非常麻烦。

    Gossip 协议也是 NoSQL 数据库 Cassandra 中使用到的数据协议，你可以上 YouTube 上看一下这个视频介绍： Understanding Gossip (Cassandra Internals)。

    关于 Gossip 的一些图示化的东西，你可以看一下动画 Gossip Visualization。

    分布式存储和数据库

    除了前面的 Google 的 BigTable 和 Google File System 那两篇论文，还有 Amazon 的 DynamoDB 的论文，下面也有几篇也是要读一下的。

    分布式消息系统

    • 分布式消息系统，你一定要读一下 Kafka 的这篇论文 Kafka: a Distributed Messaging System for Log Processing。

    • Wormhole: Reliable Pub-Sub to Support Geo-replicated Internet Services ，Wormhole 是 Facebook 内部使用的一个 Pub-Sub 系统，目前还没有开源。它和 Kafka 之类的消息中间件很类似。但是它又不像其它的 Pub-Sub 系统，Wormhole 没有自己的存储来保存消息，它也不需要数据源在原有的更新路径上去插入一个操作来发送消息，是非侵入式的。其直接部署在数据源的机器上并直接扫描数据源的 transaction logs，这样还带来一个好处，Wormhole 本身不需要做任何地域复制（geo-replication）策略，只需要依赖于数据源的 geo-replication 策略即可。

    • All Aboard the Databus! LinkedIn’s Scalable Consistent Change Data Capture Platform ， 在 LinkedIn 投稿 SOCC 2012 的这篇论文中，指出支持对不同数据源的抽取，允许不同数据源抽取器的开发和接入，只需该抽取器遵循设计规范即可。该规范的一个重要方面就是每个数据变化都必须被一个单调递增的数字标注（SCN），用于同步。这其中的一些方法完全可以用做异地双活的系统架构中。（和这篇论文相关的几个链接如下：PDF 论文 、 PPT 分享。）

    日志和数据

    • The Log: What every software engineer should know about real-time data’s unifying abstraction ，这篇文章好长，不过这是一篇非常好非常好的文章，这是每个工程师都应用知道的事，必看啊。你可以看中译版《日志：每个软件工程师都应该知道的有关实时数据的统一概念》。

    • The Log-Structured Merge-Tree (LSM-Tree) ，N 多年前，谷歌发表了 “Bigtable” 的论文，论文中很多很酷的方面，其一就是它所使用的文件组织方式，这个方法更一般的名字叫 Log Structured-Merge Tree。LSM 是当前被用在许多产品的文件结构策略：HBase、Cassandra、LevelDB、SQLite，甚至在 MongoDB 3.0 中也带了一个可选的 LSM 引擎（Wired Tiger 实现的）。LSM 有趣的地方是它抛弃了大多数数据库所使用的传统文件组织方法。实际上，当你第一次看它时是违反直觉的。这篇论文可以让你明白这个技术。（如果读起来有些费解的话，你可以看看中文社区里的这几篇文章：文章一、文章二。）

    • Immutability Changes Everything ，这篇论文是现任 Salesforce 软件架构师帕特·赫兰德（Pat Helland）在 CIDR 2015 大会上发表的（相关视频演讲）。

    • Tango: Distributed Data Structures over a Shared Log）。这个论文非常经典，其中说明了不可变性（immutability）架构设计的优点。随着为海量数据集存储和计算而设计的以数据为中心的新型抽象技术的出现，分布式系统比以往任何时候都更容易构建。但是，对于元数据的存储和访问不存在类似的抽象。

      为了填补这一空白，Tango 为开发人员提供了一个由共享日志支持的内存复制数据结构（例如地图或树）的抽象。Tango 对象易于构建和使用，通过共享日志上简单的追加和读取操作来复制状态，而不是复杂的分布式协议。在这个过程中，它们从共享日志中获得诸如线性化、持久性和高可用性等属性。Tango 还利用共享日志支持跨不同对象的快速事务处理，允许应用程序跨机器进行状态划分，并在不牺牲一致性的情况下扩展到底层日志的上限。

    分布式监控和跟踪

    数据分析

    • The Unified Logging Infrastructure for Data Analytics at Twitter ，Twitter 公司的一篇关于日志架构和数据分析的论文。

    • [Scaling Big Data Mining Infrastructure: The Twitter Experience](http://www.datascienceassn.org/sites/default/files/Scaling Big Data Mining Infrastructure - The Twitter Experience.pdf) ，讲 Twitter 公司的数据分析平台在数据量越来越大，架构越来越复杂，业务需求越来越多的情况下，数据分析从头到底是怎么做的。

    • Dremel: Interactive Analysis of Web-Scale Datasets，Google 公司的 Dremel，是一个针对临时查询提供服务的系统，它处理的是只读的多层数据。本篇文章介绍了它的架构与实现，以及它与 MapReduce 是如何互补的。

    • Resident Distributed Datasets: a Fault-Tolerant Abstraction for In-Memory Cluster Computing，这篇论文提出了弹性分布式数据集（Resilient Distributed Dataset，RDD）的概念，它是一个分布式存储抽象，使得程序员可以在大型集群上以容错的方式执行内存计算；解释了其出现原因：解决之前计算框架在迭代算法和交互式数据挖掘工具两种应用场景下处理效率低下的问题，并指出将数据保存在内存中，可以将性能提高一个数量级；同时阐述了其实现原理及应用场景等多方面内容。很有趣儿，推荐阅读。

    与编程相关的论文

    其它的分布式论文阅读列表

    除了上面上的那些我觉得不错的论文，下面还有三个我觉得不错的分布式系统论文的阅读列表，你可以浏览一下。

    小结

    今天分享的内容是分布式架构方面的经典图书和论文，并给出了导读文字，几乎涵盖了分布式系统架构方面的所有关键的理论知识。这些内容非常重要，是学好分布式架构的基石，请一定要认真学习。

    下篇文章中，我们将讲述分布式架构工程设计方面的内容，包括设计原则、设计模式以及工程实践等方面的内容。敬请期待。

    程序员练级攻略（2018）：分布式架构工程设计

    image.png

    要学好分布式架构，你首先需要学习一些架构指导性的文章和方法论，即分布式架构设计原则。下面是几篇很不错的文章，值得一读。

    设计模式

    有了方法论后，你还需要学习一些比较细节的落地的技术。最好的方式就是学习被前人总结出来的设计模式，虽然设计模式也要分场景，但是设计模式可以让你知道一些套路，这些套路对于我们设计的分布式系统有非常大的帮助，不但可以让我们少走一些弯路，而且还能让我们更为系统和健壮地设计我们的架构。

    下面是一些分布式架构设计模式的网站。

    首先，需要重点推荐的是微软云平台 Azure 上的设计模式。 Cloud Design Patterns，这个网站上罗列了分布式设计的各种设计模式，可以说是非常全面和完整。对于每一个模式都有详细的说明，并有对其优缺点的讨论，以及适用场景和不适用场景的说明，实在是一个非常不错的学习分布式设计模式的地方。其中有如下分类。

    除此之外，还有其它的一些关于分布式系统设计模式的网站和相关资料。

    我个人觉得微服务也好，SOA 也好，都是分布式系统的一部分，这里有两个网站罗列了各种各样的服务架构模式。

    当然，还有我在极客时间上写的那些分布式的设计模式的总结。

    • 弹力设计篇，内容包括：认识故障和弹力设计、隔离设计、异步通讯设计、幂等性设计、服务的状态、补偿事务、重试设计、熔断设计、限流设计、降级设计、弹力设计总结。

    • 管理设计篇，内容包括：分布式锁、配置中心、边车模式、服务网格、网关模式、部署升级策略等。

    • 性能设计篇，内容包括：缓存、异步处理、数据库扩展、秒杀、边缘计算等。

    设计与工程实践

    分布式系统的故障测试

    弹性伸缩

    一致性哈希

    数据库分布式

    • Life Beyond Distributed Transactions ，该文是 Salesforce 的软件架构师帕特·赫兰德（Pat Helland）于 2016 年 12 月发表的针对其在 2007 年 CIDR（创新数据库研究会议）上首次发表的同名文章的更新和缩写版本。业界谈到分布式事务通常指两段提交 2PC 事务（Spring/JEE 中 JTA 等) 或者 Paxos 与 Raft，这些事务都有明显缺点和局限性。

      而赫兰德在本文讨论的是另外一种基于本地事务情况下的事务机制，它是基于实体和活动（Activity）的概念，其实类似 DDD 聚合根和领域事件的概念，这种工作流类型事务虽然需要程序员介入，依靠消息系统实现，但可以实现接近无限扩展的大型系统。赫兰德文中提出了重要的观点：“如果你不能使用分布式事务，那么你就只能使用工作流。”

    • How Sharding Works ，这是一篇很不错的探讨数据 Sharding 的文章。基本上来说，数据 Sharding 可能的问题都在这篇文章里谈到了。

    • Why you don’t want to shard ，这是 Percona 的一篇文章，其中表达了，不到万不得已不要做数据库分片。是的，最好还是先按业务来拆分，先把做成微服务的架构，然后把数据集变简单，然后再做 Sharding 会更好。

    • [How to Scale Big Data Applications](https://www.percona.com/sites/default/files/presentations/How to Scale Big Data Applications.pdf) ，这也是 Percona 给出的一篇关于怎样给大数据应用做架构扩展的文章。值得一读。

    • MySQL Sharding with ProxySQL ，用 ProxySQL 来支撑 MySQL 数据分片的一篇实践文章。

    缓存

    消息队列

    关于日志方面

    关于性能方面

    关于搜索方面

    各公司的架构实践

    High Scalability ，这个网站会定期分享一些大规模系统架构是怎样构建的，下面是迄今为止各个公司的架构说明。

    小结

    今天我们分享的内容是高手成长篇分布式架构部分的最后一篇——分布式架构工程设计，讲述了设计原则、设计模式等方面的内容，尤其整理和推荐了国内外知名企业的设计思路和工程实践，十分具有借鉴意义。

    下篇文章中，我们将分享微服务架构方面的内容。敬请期待。

    程序员练级攻略（2018）：微服务

    image.png

    微服务是分布式系统中最近比较流行的架构模型，也是 SOA 架构的一个进化。微服务架构并不是银弹，所以，也不要寄希望于微服务构架能够解决所有的问题。微服务架构主要解决的是如何快速地开发和部署我们的服务，这对于一个能够适应快速开发和成长的公司是非常必要的。同时我也觉得，微服务中有很多很不错的想法和理念，所以学习微服务是每一个技术人员迈向卓越的架构师的必经之路。

    首先，你需要看一下，Martin Fowler 的这篇关于微服务架构的文档 - Microservice Architecture （中译版），这篇文章说明了微服务的架构与传统架构的不同之处在于，微服务的每个服务与其数据库都是独立的，可以无依赖地进行部署。你也可以看看 Martin Fowler 老人家现身说法的视频。

    另外，你还可以简单地浏览一下，各家对微服务的理解。

    微服务架构

    接下来，你可以看一下 IBM 红皮书：Microservices Best Practices for Java ，这本书非常好，不但有通过把 Spring Boot 和 Dropwizard 来架建 Java 的微服务，而且还谈到了一些标准的架构模型，如服务注册、服务发现、API 网关、服务通讯、数据处理、应用安全、测试、部署、运维等，是相当不错的一本书。

    当然，有一本书你也可以读一下—— 微服务设计。这本书全面介绍了微服务的建模、集成、测试、部署和监控，通过一个虚构的公司讲解了如何建立微服务架构。主要内容包括认识微服务在保证系统设计与组织目标统一上的重要性，学会把服务集成到已有系统中，采用递增手段拆分单块大型应用，通过持续集成部署微服务，等等。

    与此相似的，也有其它的一系列文章，值得一读。

    下面是 Nginx 上的一组微服务架构的系列文章。

    下面这是 Auto0 Blog 上一系列的微服务的介绍，有代码演示。

    还有 Dzone 的这个 Spring boot 的教程。

    当然，如果你要玩得时髦一些的话，我推荐你使用下面的这套架构。

    • 前端：React.js 或 Vue.js。

    • 后端：Go 语言 + 微服务工具集 Go kit ，因为是微服务了，所以，每个服务的代码就简单了。既然简单了，也就可以用任何语言了，所以，我推荐 Go 语言。

    • 通讯：gRPC，这是 Google 远程调用的一个框架，它比 Restful 的调用要快 20 倍到 50 倍的样子。

    • API：Swagger ，Swagger 是一种 Restful API 的简单但强大的表示方式，标准的，语言无关，这种表示方式不但人可读，而且机器可读。可以作为 Restful API 的交互式文档，也可以作为 Restful API 形式化的接口描述，生成客户端和服务端的代码。今天，所有的 API 应该都通过 Swagger 来完成。

    • 网关：Envoy 其包含了服务发现、负载均衡和熔断等这些特性，也是一个很有潜力的网关。当然，Kubernetes 也是很好的，而且它也是高扩展的，所以，完全可以把 Envoy 通过 Ingress 集成进 Kubernetes。这里有一个开源项目就是干这个事的 - contour。

    • 日志监控：fluentd + ELK 。

    • 指标监控：Prometheus 。

    • 调用跟踪：Jaeger 或是 Zipkin，当然，后者比较传统一些，前者比较时髦，最重要的是，其可以和 Prometheus 和 Envory 集成。

    • 自动化运维：Docker + Kubernetes 。

    微服务和 SOA

    在对微服务有了一定的认识以后，一定有很多同学分不清楚微服务和 SOA 架构，对此，你可以看一下这本电子书 - 《Microservices vs. Service-Oriented Architecture》。通过这本书，你可以学到，服务化架构的一些事实，还有基础的 SOA 和微服务的架构知识，以及两种架构的不同。这本书的作者马克·理查兹（Mark Richards）同学拥有十年以上的 SOA 和微服务架构的设计和实现的经验。

    另外，还有几篇其它对比 SOA 和微服务的文章你也可以看看。

    除此之外，我们还需要知道微服务和其它架构的一些不同和比较，这样我们就可以了解微服务架构的优缺点。下面几篇文章将帮助获得这些知识。

    设计模式和最佳实践

    然后，你可以看一下微服务的一些设计模式。

    相关资源

    小结

    好了，总结一下今天的内容。我认为，微服务中有很多很不错的想法和理念，所以学习微服务是每一个技术人员迈向卓越的架构师的必经之路。在这篇文章中，我先给出了 AWS、Microsoft 和 Pivotal 对微服务的理解；然后给出了好几个系列的教程，帮你全面学习和理解微服务架构；然后通过一系列文章帮你来区分何为微服务，何为 SOA；最后给出了微服务架构的设计模式和最佳实践，以及相关资源。相信通过这一系列内容的学习，你一定会对微服务有全面、透彻的理解。

    下篇文章，我们将讲述的容器化和自动化运维方面的内容。敬请期待。

    程序员练级攻略（2018）：容器化和自动化运维

    这篇文章重点学习 Docker 和 Kubernetes，它们已经是分布式架构和自动化运维的必需品了，也是你必需要学习的。对于这两个东西，你千万不要害怕，因为技术方面都不算复杂，只是它们的玩法和传统运维不一样，所以你不用担心，只要你花上一点时间，一定会学好的。

    Docker

    有了上述的一些感性体会之后，你就可以阅读 Docker 官方文档 Docker Documentation 了，这是学习 Docker 最好的方式。

    如果你想了解一下 Docker 的底层技术细节，你可以参看我的文章。

    还有一些不错的与 Docker 网络有关的文章你需要阅读及实践一下。

    Docker 有下面几种网络解决方案：Calico 、Flannel 和 Weave ，你需要学习一下。另外，还需要学习一下 netshoot 。这是一个很不错的用来诊断 Docker 网络问题的工具集。

    关于这几个容器网络解决方案的性能对比，你可以看一下下面这几篇文章或报告。

    如果你对 Docker 的性能有什么问题的话，你可以看一下下面这些文章。

    下面是一些和存储相关的文章。

    然后是跟运维相关的文章。

    最后，推荐看看 Valuable Docker Links ，其中收集并罗列了一系列非常不错的 Docker 文章。

    最佳实践

    下面分享一些与 Docker 相关的最佳实践。

    • Best Practices for Dockerfile ，Docker 官方文档里的 Dockerfile 的最佳实践。

    • Docker Best Practices ，这里收集汇总了存在于各个地方的使用 Docker 的建议和实践。

    • Container Best Practices ，来自 Atomic 项目，是一个介绍容器化应用程序的架构、创建和管理的协作型文档项目。

    • Eight Docker Development Patterns ，八个 Docker 的开发模式：共享基础容器、共享同一个卷的多个开发容器、开发工具专用容器、测试环境容器、编译构建容器、防手误的安装容器、默认服务容器、胶黏容器。

    Kubernetes

    Kubernetes 是 Google 开源的容器集群管理系统，是 Google 多年大规模容器管理技术 Borg 的开源版本，也是 CNCF 最重要的项目之一，主要功能包括：

    • 基于容器的应用部署、维护和滚动升级；
    • 负载均衡和服务发现；
    • 跨机器和跨地区的集群调度；
    • 自动伸缩；
    • 无状态服务和有状态服务；
    • 广泛的 Volume 支持；
    • 插件机制保证扩展性。

    Kubernetes 发展非常迅速，已经成为容器编排领域的领导者。

    首先，我推荐你阅读 Kubernetes 前世今生的一篇论文。

    学习 kubernetes，有两个免费的开源电子书。

    • 《Kubernetes Handbook》，这本书记录了作者从零开始学习和使用 Kubernetes 的心路历程，着重于经验分享和总结，同时也会有相关的概念解析。希望能够帮助你少踩坑，少走弯路，还会指引你关注 kubernetes 生态周边，如微服务构建、DevOps、大数据应用、Service Mesh、Cloud Native 等领域。

    • 《Kubernetes 指南》，这本书旨在整理平时在开发和使用 Kubernetes 时的参考指南和实践总结，形成一个系统化的参考指南以方便查阅。

    这两本电子书都不错，前者更像是一本学习教程，而且面明显广一些，还包括 Cloud Natvie、Service Mesh 以及微服务相关的东西。而后者聚焦于 Kubernetes 本身，更像一本参考书。

    但是也别忘了 Kubernetes 的官方网站：Kubernetes.io，上面不但有全面的文档 ，也包括一个很不错的 官方教程 。

    此外，还有一些交互式教程，帮助你理解掌握，以及一些很不错的文章推荐你阅读。

    一些交互式教程

    一些文章

    这里还有一些不错的文档，你应该去读一下。

    网络相关的文章

    要学习 Kubernetes，你只需要读一下，下面这个 Kubernetes 101 系列的文章。

    CI/CD 相关的文章

    最佳实践

    Docker 和 Kubernetes 资源汇总

    下面是 Github 上和 Docker & Kubernetes 相关的 Awesome 系列。

    虽然上面的这些系列非常全的罗列了很多资源，但是我觉得很不系统。对于系统的说明 Docker 和 Kubernetes 生态圈，我非常推荐大家看一下 The New Stack 为 Kubernetes 出的一系列的电子书或报告。

    小结

    总结一下今天的内容。Docker 和 Kubernetes 已经成为分布式架构和自动化运维方面的不可或缺的两大基本构成，是你必需要学习的。虽然它们的玩法跟传统运维不一样，但技术方面并不算复杂，只要你花上一点时间，一定会学好的。

    在这篇文章中，我推荐了 Docker 和 Kubernetes 基础技术方面的学习资料，并给出了存储、运维、网络、CI/CD 等多方面的资料，同时列出了与之相关的最佳实践。相信认真学习和消化这些知识，你一定可以掌握 Docker 和 Kubernetes 两大利器。

    下篇文章，我们将学习机器学习和人工智能方面的内容。敬请期待。

    程序员练级攻略（2018）：机器学习和人工智能

    image.png

    我之前写过一篇机器学习的入门文章，因为我也是在入门和在学习的人，所以，那篇文章和这篇机器学习和人工智能方向的文章可能都会有点太肤浅。如果你有更好的学习方式或资料，欢迎补充。

    基本原理简介

    我们先来介绍一下机器学习的基本原理。

    机器学习主要有两种方式，一种是监督式学习（Supervised Learning），另一种是非监督式学习（Unsupervised Learning）。下面简单地说一下这两者的不同。

    • 监督式学习（Supervised Learning）。所谓监督式学习，也就是说，我们需要提供一组学习样本，包括相关的特征数据和相应的标签。我们的程序可以通过这组样本来学习相关的规律或是模式，然后通过得到的规律或模式来判断没有被打过标签的数据是什么样的数据。

      举个例子，假设需要识别一些手写的数字，我们要找到尽可能多的手写体的数字的图像样本，然后人工或是通过某种算法来明确地标注上什么是这些手写体的图片，谁是 1，谁是 2，谁是 3…… 这组数据叫样本数据，又叫训练数据（training data）。然后通过机器学习的算法，找到每个数字在不同手写体下的特征，找到规律和模式。通过得到的规律或模式来识别那些没有被打过标签的手写数据，以此完成识别手写体数字的目的。

    • 非监督式学习（Unsupervised Learning）。对于非监督式学习，也就是说，数据是没有被标注过的，所以相关的机器学习算法需要找到这些数据中的共性。因为大量的数据是没被被标识过的，所以这种学习方式可以让大量的未标识的数据能够更有价值。而且，非监督式学习，可以为我们找到人类很难发现的数据里的规律或模型，所以也有人称这种学习为 " 特征点学习 "，其可以让我们自动地为数据进行分类，并找到分类的模型。

      一般来说，非监督式学习会应用在一些交易型的数据中。比如，你有一堆堆的用户购买数据，但是对于人类来说，我们很难找到用户属性和购买商品类型之间的关系。所以，非监督式学习算法可以帮助我们找到它们之间的关系。比如，一个在某个年龄段的女性购买了某种肥皂，有可能说明这个女性在怀孕期，或是某人购买儿童用品，有可能说明这个人的关系链中有孩子，等等。于是，这些信息会被用作一些所谓的精准市场营销活动，从而可以增加商品销量。

    我们这么来说吧，监督式学习是在被告诉过了正确的答案后的学习，而非监督式学习是在没有被告诉正确答案时的学习。所以，非监督式学习是在大量的非常乱的数据中找寻一些潜在的关系，这个成本也比较高。非监督式学习经常被用来检测一些不正常的事情发生，比如信用卡的诈骗或是盗刷。也被用在推荐系统，比如买了这个商品的人又买了别的什么商品，或是如果某个人喜欢某篇文章、某个音乐、某个餐馆，那么他可能会喜欢某个车、某个明星或某个地方。

    在监督式学习算法下，我们可以用一组 " 狗 " 的照片来确定某个照片中的物体是不是狗。而在非监督式学习算法下，我们可以通过一个照片来找到其中有与其相似的事物的照片。这两种学习方式都有些有用的场景。

    关于机器学习，你可以读一读 Machine Learning is Fun! ，这篇文章（中文翻译版）恐怕是全世界最简单的入门资料了。

    相关课程

    接下来，我们需要比较专业地学习一下机器学习了。

    在学习机器学习之前，我们需要学习数据分析，所以，我们得先学一些大数据相关的东西，也就是 Data Science 相关的内容。下面是两个不错的和数据科学相关的教程以及一个资源列表。

    之后，有下面几门不错的在线机器学习的课程供你入门，也是非常不错。

    • 吴恩达教授（Andrew Ng）在 Coursera 上的免费机器学习课程 非常棒。我强烈建议从此入手。对于任何拥有计算机或科学学位的人，或是还能记住一点点数学知识的人来说，都应该非常容易入门。这个斯坦福大学的课程请尽量拿满分。可以在 网易公开课 中找到这一课程。除此之外，吴恩达教授还有一组新的和深度学习相关的课程，现在可以在网易公开课上免费学习——Deep Learning Specialization。

    • Deep Learning by Google ，Google 的一个关于深度学习的在线免费课程，其支持中英文。这门课会教授你如何训练和优化基本神经网络、卷积神经网络和长短期记忆网络。你将通过项目和任务接触完整的机器学习系统 TensorFlow。

    • 卡内基梅隆大学汤姆·米切尔（Tom Mitchell）的机器学习 英文原版视频与课件 PDF 。

    • 2013 年加利福尼亚理工学院亚瑟·阿布 - 穆斯塔法（Yaser Abu-Mostafa）的 Learning from Data 课程视频及课件 PDF，内容更适合进阶。

    • 关于神经网络方面，YouTube 上有一个非常火的课程视频，由宾夕法尼亚大学的雨果·拉罗歇尔（Hugo Larochelle）的教学课程 - Neural networks class - Université de Sherbrooke 。

    除此之外，还有很多的在线大学课程你可以学习。比如：

    更多的列表，请参看——Awesome Machine Learning Courses。

    相关图书

    相关文章

    除了上述的那些课程和图书外，下面这些文章也很不错。

    下面是一些和神经网络相关的不错的文章。

    相关算法

    下面是 10 个非常经典的机器学习的算法。

    如果你想了解更全的机器学习的算法列表，你可以看一下 Wikipedia 上的 List of Machine Learning Algorithms。

    在 A Tour of Machine Learning Algorithms ，这篇文章带你概览了一些机器学习算法，其中还有一个 " 脑图 " 可以下载，并还有一些 How-To 的文章供你参考。

    对于这些算法，SciKit-Learn有一些文档供你学习。

    相关资源

    小结

    总结一下今天的内容。我首先介绍了机器学习的基本原理：监督式学习和非监督式学习，然后给出了全世界最简单的入门资料 Machine Learning is Fun!。随后给出了与机器学习密切相关的数据分析方面的内容和资料，然后推荐了深入学习机器学习知识的在线课程、图书和文章等，尤其列举了神经网络方面的学习资料。最后描述了机器学习的十大经典算法及相关的学习资料。

    在机器学习和人工智能领域，我也在学习，也处于入门阶段，所以本文中推荐的内容，可能在你看来会有些浅。如果你有更好的信息和资料，欢迎补充。目前文章中给出来的是，我在学习过程中认为很不错的内容，我从中受益良多，所以希望它们也能为你的学习提供帮助。

    从下篇文章开始，我们将进入前端知识的学习，包括基础和底层原理、性能优化、前端框架、UI/UX 设计等内容。敬请期待。

    程序员练级攻略（2018）：前端基础和底层原理

    image.png

    对于前端的学习和提高，我的基本思路是这样的。首先，前端的三个最基本的东西 HTML5、CSS3 和 JavaScript（ES6）是必需要学好的。这其中有很多很多的技术，比如，CSS3 引申出来的 Canvas（位图）、SVG（矢量图） 和 WebGL（3D 图），以及 CSS 的各种图形变换可以让你做出非常丰富的渲染效果和动画效果。

    ES6 简直就是把 JavaScript 带到了一个新的台阶，JavaScript 语言的强大，大大释放了前端开发人员的生产力，让前端得以开发更为复杂的代码和程序，于是像 React 和 Vue 这样的框架开始成为前端编程的不二之选。

    我一直认为学习任何知识都要从基础出发，所以我会有很大的篇幅在讲各种技术的基础知识和基本原理，尤其是如下的这些知识，都是前端程序员需要一块一块啃掉的硬骨头。

    • JavaScript 的核心原理。这里我会给出好些网上很不错的讲 JavaScript 的原理的文章或图书，你一定要学好语言的特性和其中的各种坑。

    • 浏览器的工作原理。这也是一块硬骨头，我觉得这是前端程序员需要了解和明白的东西，不然，你将无法深入下去。

    • 网络协议 HTTP。也是要着重了解的，尤其是 HTTP/2，还有 HTTP 的几种请求方式：短连接、长连接、Stream 连接、WebSocket 连接。

    • 前端性能调优。有了以上的这些基础后，你就可以进入前端性能调优的主题了，我相信你可以很容易上手各种性能调优技术的。

    • 框架学习。我只给了 React 和 Vue 两个框架。就这两个框架来说，Virtual DOM 技术是其底层技术，组件化是其思想，管理组件的状态是其重点。而对于 React 来说，函数式编程又是其编程思想，所以，这些基础技术都是你需要好好研究和学习的。

    • UI 设计。设计也是前端需要做的一个事，比如像 Google 的 Material UI，或是比较流行的 Atomic Design 等应该是前端工程师需要学习的。

    而对于工具类的东西，这里我基本没怎么涉及，因为本文主要还是从原理和基础入手。那些工具我觉得都很简单，就像学习 Java 我没有让你去学习 Maven 一样，因为只要你去动手了，这种知识你自然就会获得，我们还是把精力重点放在更重要的地方。

    下面我们从前端基础和底层原理开始讲起。先来讲讲 HTML5 相关的内容。

    HTML5

    HTML5 主要有以下几本书推荐。

    • HTML5 权威指南 ，本书面向初学者和中等水平 Web 开发人员，是牢固掌握 HTML5、CSS3 和 JavaScript 的必读之作。书看起来比较厚，是因为里面的代码很多。

    • HTML5 Canvas 核心技术 ，如果你要做 HTML5 游戏的话，这本书必读。

    对于 SVG、Canvas 和 WebGL 这三个对应于矢量图、位图和 3D 图的渲染来说，给前端开发带来了重武器，很多 HTML5 小游戏也因此蓬勃发展。所以，你可以学习一下。

    学习这三个技术，我个人觉得最好的地方是 MDN。

    最后是几个资源列表。

    CSS

    在《程序员练级攻略（2018）》系列文章最开始，我们就推荐过 CSS 的在线学习文档，这里再推荐一下 MDN Web Doc - CSS 。我个人觉得只要你仔细读一下文档，CSS 并不难学。绝大多数觉得难的，一方面是文档没读透，另一方面是浏览支持的标准不一致。所以，学好 CSS 最关键的还是要仔细地读文档。

    之后，在写 CSS 的时候，你会发现，你的 CSS 中有很多看起来相似的东西。你的 DRY - Don’t Repeat Yourself 洁癖告诉你，这是不对的。所以，你需要学会使用LESS 和 SaSS 这两个 CSS 预处理工具，其可以帮你提高很多效率。

    然后，你需要学习一下 CSS 的书写规范，前面的《程序员修养》一文中提到过一些，这里再补充几个。

    如果你需要更有效率，那么你还需要使用一些 CSS Framework，其中最著名的就是 Twitter 公司的 Bootstrap，其有很多不错的 UI 组件，页面布局方案，可以让你非常方便也非常快速地开发页面。除此之外，还有，主打清新 UI 的 Semantic UI 、主要响应式界面的 Foundation 和基于 Flexbox 的 Bulma。

    当然，在使用 CSS 之前，你需要把你浏览器中的一些 HTML 标签给标准化掉。所以，推荐几个 Reset 或标准化的 CSS 库：Normalize、MiniRest.css、sanitize.css和 unstyle.css。

    关于更多的 CSS 框架，你可以参看Awesome CSS Frameworks 上的列表。

    接下来，是几个公司的 CSS 相关实践，供你参考。

    最后是一个可以写出可扩展的 CSS 的阅读列表 A Scalable CSS Reading List 。

    JavaScript

    下面是学习 JavaScript 的一些图书和文章。

    浏览器原理

    你需要了解一下浏览器是怎么工作的，所以，你必需要看《How browsers work》。这篇文章受众之大，后来被人重新整理并发布为《How Browsers Work: Behind the scenes of modern web browsers》，其中还包括中文版。这篇文章非常非常长，所以，你要有耐心看完。如果你想看个精简版的，可以看我在 Coolshell 上发的《浏览器的渲染原理简介》或是看一下这个幻灯片。

    然后，是对 Virtual DOM 的学习。Virtual DOM 是 React 的一个非常核心的技术细节，它也是前端渲染和性能的关键技术。所以，你有必要要好好学习一下这个技术的实现原理和算法。当然，前提条件是你需要学习过前面我所推荐过的浏览器的工作原理。下面是一些不错的文章可以帮你学习这一技术。

    网络协议

    小结

    总结一下今天的内容。我一直认为学习任何知识都要从基础出发，所以今天我主要讲述了 HTML5、CSS3 和 JavaScript（ES6）这三大基础核心，给出了大量的图书、文章以及其他一些相关的学习资源。之后，我建议你学习浏览器的工作原理和网络协议相关的内容。我认为，掌握这些原理也是学好前端知识的前提和基础。值得花时间，好好学习消化。

    下篇文章中，我们将讲讲如何做前端性能优化，并推荐一些好用的前端框架。敬请期待。

    程序员练级攻略（2018）：前端性能优化和框架

    image.png

    前端性能优化

    首先是推荐几本前端性能优化方面的图书。

    • Web Performance in Action ，这本书目前国内没有卖的。你可以看电子版本，我觉得是一本很不错的书，其中有 CSS、图片、字体、JavaScript 性能调优等。

    • Designing for Performance ，这本在线的电子书很不错，其中讲了很多网页优化的技术和相关的工具，可以让你对整体网页性能优化有所了解。

    • High Performance JavaScript ，这本书在国内可以买到，能让你了解如何提升各方面的性能，包括代码的加载、运行、DOM 交互、页面生存周期等。雅虎的前端工程师尼古拉斯·扎卡斯（Nicholas C. Zakas）和其他五位 JavaScript 专家介绍了页面代码加载的最佳方法和编程技巧，来帮助你编写更为高效和快速的代码。你还会了解到构建和部署文件到生产环境的最佳实践，以及有助于定位线上问题的工具。

    • High Performance Web Sites: Essential Knowledge for Front-End Engineers ，这本书国内也有卖，翻译版为《高性能网站建设指南：前端工程师技能精髓》。作者给出了 14 条具体的优化原则，每一条原则都配以范例佐证，并提供了在线支持。

      全书内容丰富，主要包括减少 HTTP 请求、Edge Computing 技术、Expires Header 技术、gzip 组件、CSS 和 JavaScript 最佳实践、主页内联、Domain 最小化、JavaScript 优化、避免重定向的技巧、删除重复 JavaScript 的技巧、关闭 ETags 的技巧、Ajax 缓存技术和最小化技术等。

    • 除了上面这几本书之外，Google 的 Web Fundamentals 里的 Performance 这一章节也有很多非常不错的知识和经验。

    接下来是一些最佳实践性的文档。

    接下来，重点推荐一个性能优化的案例学习网站 WPO Stats 。WPO 是 Web Performance Optimization 的缩写，这个网站上有很多很不错的性能优化的案例分享，一定可以帮助你很多。

    然后是一些文章和案例。

    接下来是一些性能工具。在线性能测试分析工具太多，这里只推荐比较权威的。

    • PageSpeed ，谷歌有一组 PageSpeed 工具来帮助你分析和优化网站的性能。Google 出品的，质量相当有保证。

    • YSlow ，雅虎的一个网页分析工具。

    • GTmetrix ，是一个将 PageSpeed 和 YSlow 合并起来的一个网页分析工具，并且加上一些 Page load 或是其它的一些分析。也是一个很不错的分析工具。

    • Awesome WPO ，在 GitHub 上的这个 Awesome 中，你可以找到更多的性能优化工具和资源。

    另外，中国的网络有各种问题（你懂的），所以，你不能使用 Google 共享的 JavaScript 链接来提速，你得用中国自己的。你可以到这里看看中国的共享库资源，Forget Google and Use These Hosted JavaScript Libraries in China 。

    前端框架

    接下来，要学习的是 Web 前端的几大框架。目前而言，前端社区有三大框架 Angular.js、React.js 和 Vue.js。我认为，React 和 Vue 更为强劲一些，所以，我这里只写和 React 和 Vue 相关的攻略。关于两者的比较，网上有好多文章。我这里推荐几篇我觉得还不错的，供你参考。

    其实，比较这些框架的优缺点还有利弊并不是要比出个输赢，而是让你了解一下不同框架的优缺点。我觉得，这些框架都是可以学习的。而在我们生活工作中具体要用哪个框架，最好还是要有一些出发点，比如，你是为了找份好的工作，为了快速地搭一个网站，为了改造一个大规模的前端系统，还是纯粹地为了学习……

    不同的目的会导致不同的决定。我并不希望上述的这些比较会让你进入 " 二选一 " 或是 " 三选一 " 的境地。我只是想通过这些文章让你知道这些框架的设计思路和实现原理，这些才是让你受益一辈子的事。

    React.js 框架

    下面先来学习一下 React.js 框架。

    入门

    React 学起来并不复杂，就看 React 官方教程 和其文档就好了（ React 的中文教程）。

    然后，下面的文章会带你了解一下 React.js 的基本原理。

    提高

    学习一个技术最重要的是要学到其中的思想和方法。下面是一些我觉得学习 React 中最重要的东西。

    还有一些不错的实践和经验。

    资源列表

    最后就是 React 的资源列表。

    • Awesome React ，这是一些 React 相关资源的列表，很大很全。

    • React/Redux Links ，这也是 React 相关的资源列表，与上面不一样的是，这个列表主要收集了大量的文章，其中讲述了很多 React 知识和技术，比上面的列表好很多。

    • React Rocks ，这个网站主要收集各种 React 的组件示例，可以让你大开眼界。

    Vue.js 框架

    Vue 可能是一个更符合前端工程师习惯的框架。不像 React.js 那样使用函数式编程方式，是后端程序员的思路。

    最令人高兴的是，Vue 的作者是我的好朋友尤雨溪（Evan You），最近一次对他的采访 “Vue on 2018 - Interview with Evan You” 当中有很多故事以及对 Vue 的展望。（注意：Vue 是完全由其支持者和用户资助的，这意味着它更接近社区而不受大公司的控制。）

    要学习 Vue 并不难，我认为上官网看文档（ Vue 官方文档（中文版）），照着搞一搞就可以很快上手了。Vue.js screencasts 是一个很不错的英文视频教程。

    另外，推荐 新手向：Vue 2.0 的建议学习顺序 ，这是 Vue 作者写的，所以有特殊意义。

    Vue 的确比较简单，有 Web 开发经验的人上手也比较快，所以这里也不会像 React 那样给出很多的资料。下面是一些我觉得还不错的内容，推荐给你。

    当然，最后一定还有 Awesome Vue ，Vue.js 里最为巨大最为优秀的资源列表。

    小结

    总结一下今天的内容。我先介绍的是前端性能优化方面的内容，推荐了图书、最佳实践性的文档、案例，以及一些在线性能测试分析工具。随后重点讲述了 React 和 Vue 两大前端框架，给出了大量的文章、教程和相关资源列表。我认为，React.js 使用函数式编程方式，更加符合后端程序员的思路，而 Vue 是更符合前端工程师习惯的框架。因此，两者比较起来，Vue 会更容易上手一些。

    下篇文章，我们将讲述前端工程师的一个基本功——UI/UX 设计。敬请期待。

    程序员练级攻略（2018）：UI/UX设计

    image.png

    上面的技术都讲完了，前端还有一个很重要的事就是设计。作为前端人员，我们有必要了解现在的一些知名且流行的设计语言或是一些设计规范或是设计方法，学习它们的设计思想和方法，有助于我们拓宽眼界、与时俱进。我并不觉得这些内容是设计师要学习的，如果你要成为一个前端程序员，那么学习这些设计上的东西可以让你有更好的成长空间。

    对于学习设计的新手来说，推荐看看 7 steps to become a UI/UX designer ，这是一篇很不错的让新手入门的文章，非常具有指导性。首先，你得开始学习设计的一些原则和套路，如配色、平衡、排版、一致性等。还有用户体验的 4D 步骤——Discover、Define、Develop 和 Delivery。然后，开始到一些网站上找灵感。接下来，是到不同的网站上读各种文章和资源，开始学习使用设计工具，最后是找人拜师。此外，其中还链接了其它一些不错的文章、网站、博客和工具。我认为，这篇文章是一篇很不错的设计师从入门到精通的练级攻略。

    虽然有这么一个速成的教程，但我觉得还是应该系统地学习一下，所以有了下面这些推荐。

    图书和文章推荐

    先推荐几本书。

    • Don’t Make Me Think ，这是我看的第一本和设计相关的书。这本书对我的影响也比较深远。这本书践行了自己的理论，整本书短小精悍，语言轻松诙谐，书中穿插大量色彩丰富的屏幕截图、趣味丛生的卡通插图以及包含大量信息的图表，使枯燥的设计原理变得平易近人。

    • Simple and Usable Web,Mobile,and Interaction Design ，中文版译名为《简约至上》。本书作者贾尔斯（Giles）有 20 多年交互式设计的探索与实践。提出了合理删除、分层组织、适时隐藏和巧妙转移这四个达成简约至上的终极策略，讲述了为什么应该站在主流用户一边，以及如何从他们的真实需求和期望出发，简化设计，提升易用性。

    • Designing with the Mind in Mind: Simple Guide to Understanding User Interface Design Rules ，中文版译名为《认知与设计：理解 UI 设计准则》。这本书语言清晰明了，将设计准则与其核心的认知学和感知科学高度统一起来，使得设计准则更容易在具体环境中得到应用。涵盖了交互计算机系统设计的方方面面，为交互系统设计提供了支持工程方法。不仅如此，这也是一本人类行为原理的入门书。

    • Designing Interfaces: Patterns for Effective Interaction Design ，中文版译名为《界面设计模式》。这本书开篇即总结了 " 与人有关 " 的各类问题，为读者提供了界面设计总体思路上的指引，帮助读者举一反三。然后，收集并分析了很多常用的界面设计模式，帮助读者理解在实现级别的各种常用解决方案，将它们灵活地运用到自己的设计中。

    除了上面的这几本书，还有下面的这几篇文章也是很不错的，推荐一读。

    原子设计（Atomic Design）

    在 2013 年网页设计师布拉德·弗罗斯特（Brad Frost）从化学中受到启发：原子（Atoms）结合在一起，形成分子（Molecules），进一步结合形成的生物体（Organisms）。布拉德将这个概念应用在界面设计中，我们的界面就是由一些基本的元素组成的。

    乔希·杜克（Josh Duck）的 "HTML 元素周期表 " 完美阐述了我们所有的网站、App、企业内部网、hoobadyboops 等是如何由相同的 HTML 元素组成的。通过在大层面（页）和小层面（原子）同时思考界面，布拉德认为，可以利用原子设计建立一个适应组件的动态系统。

    为什么要玩原子设计，我认为，这对程序员来说是非常好理解的，因为这就是代码模块化重用化的体现。于是，你就是要像搭积木一样开发和设计网页，当你把其模块化组件化了，也更容易规范整体的风格，而且容易维护……这些都意味着你可以更容易地维护你的代码。所以，这个方法论导致了 Web 组件化的玩法。这是设计中非常重要的方法论。

    关于这个设计方法论，你可以阅读一下下面这几篇文章。

    但是，真正权威的地方还是布拉德·弗罗斯特的电子书、博客和实验室，可以从中获取更多的信息。

    接下来是关于这个设计方法和 React.js 框架的几篇文章。

    设计语言和设计系统

    下面来介绍一下设计语言和设计系统。

    Fluent Design System

    Fluent Design System 中文翻译为流畅设计体系，是微软于 2017 年开发的设计语言。流畅设计是 Microsoft Design Language 2 的改版，其中包含为所有面向 Windows 10 设备和平台设计的软件中的设计和交互的指导原则。

    该体系基于五个关键元素：光感、深度、动效、材质和缩放。新的设计语言包括更多对动效、深度及半透明效果的使用。过渡到流畅设计体系是一个长期项目，没有具体的完成目标，但是从创作者更新以来，新设计语言的元素已被融入到个别应用程序中。它将在未来的 Windows 10 秋季创作者更新中更广泛地使用，但微软也表示，该设计体系不会在秋季创作者更新内完成。

    微软于 2017 年 5 月 11 日的 Microsoft Build 2017 开发者大会上公开了该设计体系。

    还有 Build 2018 上的一些微软的 YouTube 分享。

    Material Design

    Material Design 中文翻译为质感设计，或是材质设计、材料设计。这是由 Google 开发的设计语言。扩展于 Google Now 的 " 卡片 " 设计，Material Design 基于网格的布局、响应动画与过渡、填充、深度效果（如光线和阴影）。设计师马蒂亚斯·杜阿尔特（Matías Duarte）解释说：" 与真正的纸张不同，我们的数字材质可以智能地扩大和变形。材质具有实体的表面和边缘。接缝和阴影表明组件的含义。"Google 指出他们的新设计语言基于纸张和油墨。

    Material Design 于 2014 年的 Google I/O 大会上发布（参看 Google I/O 2014 - Material witness: How Android material applications work）。其可借助 v7 appcompat 库用于 Android 2.1 及以上版本，几乎支持所有 2009 年以后制造的 Android 设备。随后，Material Design 扩展到 Google 的网络和移动产品阵列，提供一致的跨平台和应用程序体验。Google 还为第三方开发人员发布了 API，开发人员可将质感设计应用到他们的应用程序中。

    除了到 官网 学习 Material Design，你还可以访问 Material Design 中文版 来学习。

    另外，Wikipedia 上有一张 Material Design 实现的比较表，供你参考。

    下面是几个可供你使用的 Material UI 的工程实现。

    • Material Design Lite ，这是 Google 官方的框架，简单易用。

    • Materialize ，一组类似于 Bootstrap 的前端 UI 框架。

    • Material-UI 是基于 Google Material Design 的 React 组件实现。

    • MUI 是一个轻量级的 CSS 框架，遵循 Google 的 Material Design 设计方针。

    其它公司

    接下来再来推荐其它几家公司的设计语言。

    • 苹果公司的设计指南，在这个网站有苹果的各种设备的设计规范和指导，一方面可以让你的 App 能和苹果的 UI 融合在一起，另一方面，你也可以从中看到苹果的审美和思维方式。

    • IBM 公司的设计语言 ，我们总觉得 IBM 公司是一家比较传统的没有新意的公司，但是并不是这样的。IBM 公司的这个设计语言的确比较出众。所以，在这里推荐一下。

    • Salesforce 公司的 Lightning Design System ，是在 Salesforce 生态系统中用于创建统一 UI 的设计模式、组件和指南的集合，是一个企业级的产品。

    • Facebook Design - What’s on our mind? ，Facebook 的设计师们收集的一系列的文章、视频和资源。很不错哦。

    动画效果设计

    我认为，要了解 Web 动画效果设计的第一步，最好的地方是 CodePen。这个网站不只是让人分享 HTML、CSS 和 JavaScript 代码的网站。其中也有很多分享样例都和动画效果有关。这个网站可以让你对动画效果有一些感性认识，当然还有代码供你参考。

    接下来，我们要了解动画效果设计的一些方法。基本上来说，动画设计都会受 "动画的 12 项基本法则 " 的影响，这个方法论源自于迪士尼动画师奥利·约翰斯顿（Ollie Johnston）和弗兰克·托马斯（Frank Thomas）在 1981 年所出的《The Illusion of Life: Disney Animation》一书。这些法则已被普遍采用，至今仍与制作 3D 动画法则有关联。这里还有一篇文章 “Understand the 12 principles of animation” 是对这个法则的解读和理解。

    除此之外，还有几个动画设计指南和相关文章供你参考和学习。

    相关资源

    下面分享一下 UI/UX 设计的相关资源。文章资源主要有以下这些。

    文章资源

    • Web Designer News ，一个文章聚合的网站。除此之外，还有两个文章聚合网站，你也可以订阅。一个是Designer News ，另一个是 Reddit Web Design。

    • Marvel Blog ，Marvel 团队的博客。

    • The Next Web ，内容主要涵盖国际技术新闻、商业和文化等多个方面。

    • Medium - Design ，Medium 现在已经成为一个好文章的集散地了，这个地方必去。

    • Smashing Magazine ，这个地方是给专业的 Web 设计师和程序员的。不但有设计还有 HTML、CSS 和 JavaScript 等各种资源。

    • Sitepoint ，这个网站上也有很多不错的给 Web 前端程序员和设计师看的文章（当然，给程序员看的有点简单了，我觉得更像是让设计师来学写程序的网站）。

    设计收集

    接下来推荐一些优秀设计的聚集地。

    • Awwwards ，这个网站给一些设计得不错网站的评分，在这里你可以看到很多设计不错的网站。

    • One Page Love ，就是一个单页的网页设计的收集。

    • Inspired UI ，移动 App 的设计模式。

    • Behance，这个地言有很不错的很有创意的作品。

    • Dribbble ，这应该是设计师都知道也都爱去的网站。除了你可以看到一些很不错的作品外，你还可以在这里看到很多不错的设计师。

    • UI Movement ，也是个设计的收集网站，上面有很多很不错的 UI 设计，大量的动画。虽说会像抖音一样，让你不知不觉就看了好几小时，但是它比抖音让你的收获大多了。

    小结

    总结一下今天的内容。我并不认为 UI/UX 设计这些内容只是设计师要学习的，如果你要成为一个前端程序员，那么学习这些设计上的东西可以让你有更好的成长空间。首先，我推荐了一些图书和文章，让你更好地了解经典的设计原则和指导思想。

    然后介绍了原子设计，以及深入学习和理解这一设计方法论的图书、文章和其他相关资源。最后分享了当下主流和知名公司中在用的设计语言和设计系统，并给出了大量的学习资源，推荐了一些优秀设计的聚集地。相信通过学习这些内容，你在 UI/UX 设计方面不仅能收获方法，还能获得非常多的灵感。

    下篇文章是程序员练级攻略 2018 版高手成长篇的最后一篇，我将推荐大量有价值的技术资源，这些内容将会为你后续的学习和成长提供很大的助力。敬请期待。

    程序员练级攻略（2018）：技术资源集散地

    image.png

    个人技术博客

    首先，我先推荐一些不错的个人技术博客。

    • Coding Horror ，这是杰夫·阿特伍德（Jeff Atwood）于 2004 年创办的博客，记录其在软件开发经历中的所思所想、点点滴滴。时至今日，该博客每天都有近 10 万人次的访问量，读者纷纷参与评论，各种观点与智慧在这里不断地激情碰撞。其博文选集在中国被翻译成《高效能程序员的修练》，在豆瓣上有 8.3 的高分。2008 年，他和 Joel Spolsky 联合创办了 StackOverflow 问答网站，为程序员在开发软件时节省了非常多的时间，并开启了 "StackOverflow Copy + Paste 式编程 "。

    • Joel on Software ，Joel Spolsky 的这个博客在全世界都有很多的读者和粉丝，其博文选集在中国被翻译成《软件随想录》在豆瓣上有 8.7 的高分。这是一本关于软件技术、人才、创业和企业管理的随想文集，作者以诙谐幽默的笔触将自己在软件行业的亲身感悟娓娓道来，观点新颖独特，简洁实用。

    • Clean Coder Blog ，这是编程大师是 "Bob 大叔 " 的博客，其真名叫 Robert C. Martin，世界级软件开发大师，设计模式和敏捷开发先驱，敏捷联盟首任主席，C++ Report 前主编，被后辈程序员尊称为 "Bob 大叔 "。其博文选集在中国被翻译成《程序员的职业素养》，在豆瓣上有 8.8 的高分。

    • Martin Fowler ，这是另外一个程序员大师，Martin 主要专注于面向对象分析与设计、统一建模语言、领域建模，以及敏捷软件开发方法，包括极限编程。他的《重构》、《分析模式》、《企业应用架构模式》、《领域特定语言》和《NoSQL 精粹》都是非常不错的书。在他的博客上有很多很多的编程和架构模式方法可以学习。

    • Paul Graham Essays ，美国著名程序员、风险投资家、博客和技术作家。《黑客与画家》是他的著作之一。2005 年他与人共同创建了著名的创业投资公司 Y Combinator，是初创公司最想被投的。他有几篇创业方面的文章都很经典，如果你想创业，可以读一读这几篇：《How to Get Startup Ideas》、《Do Things that Don’t Scale》、《Startup = Growth》。Paul Graham 的文章以清新自然，思想深刻见长。不仅可以跟 Paul Graham 学创业，学思考，学技术，更可以学习写作。

    • Steve Yegge ，Steve Yegge 这个人算是一个知名的程序员了，在 Amazon 呆过，现在在 Google，他的文章都是长篇大论，最知名的文章就是对 Amazon 和 Google 平台的吐槽，这篇文章引发了大家的讨论和议论。

    • Bruce Eckel’s Programming Blog ，《Thinking in Java》作者的博客，他之前的博客在 artima - Computing Thoughts 。

    • Herb Sutter ，C++ 大拿，C++ 标准委员会专家，微软软件架构师。《Exceptional C++ 》、《More Exceptional C++》、《Exceptional C++ Style》作者。

    • Eli Bendersky’s website ，这位老哥从 2003 年就一直写博客到今天，其中的文章都非常不错，原理型的，主要是 C、C++ 和 Python 相关的。里面有很多干货。

    • Peter Krumins’ blog ，这位老哥从 2007 年开始写博客，他博客里好玩的东西太多了。

    • Brendan D. Gregg ，Brendan 是 Netflix 的工程师，他的博客里有大量的非常非常不错的文章，基本上都是和 Linux 性能分析相关的，这是一个如果你要玩底层性能分析一定不能错过的博客。

    • Evan Klitzke ，主要讨论 Linux 和 C++ 相关的内容。

    • Julia Evans ，主要讨论 Linux debug 工具和网络相关的内容。

    • null program ，和 C/C++ 相关的一个博客。其中关于 Linux 系统调用、GPU、无锁编程、JIT 编译的一些文章非常不错。

    • Fluent {C++} ，博主是 Murex 的首席工程师，主要玩 C++，在这个博客里有很多很不错的 C++ 相关的文章。

    • Preshing on Programming ，这也是一个和 C/C++ 相关的博客，其中有很多的干货。

    • Programming is Terrible ，这个博客有很多强观点的文章，主要是软件开发中的一些教训。

    • Accidentally Quadratic ，姑且翻译成事故二次方，这里有好些非常有趣的文章。

    • Hacker Noon ，这是一个一堆人在写的博客，里面有很多质量很高的文章。

    其实还有很多不错的博客，不过，现在国外不错的博客都在一个叫 Medium 的网站，我也发现我 Google 很多东西时都会到这个网站上。这个网站上的内容不只有技术的，还有很多很多其他方面的内容，比如文化、艺术、科学等等。这个网站就是一个博客发布系统，其是由 Twitter 联合创始人埃文·克拉克·威廉姆斯（Evan Clark Williams）和克里斯多福·艾萨克·比兹·斯通（Christopher Isaac Biz Stone）创办的，这两个人觉得 Twitter 上全是垃圾没有营养的信息。所以，创办了 Medium，这个平台上有专业和非专业的贡献者，亦有受雇的编者。

    我已经感觉到，未来高质量的文章都会在 Medium 这个平台上出现，因为有一些公司的技术博客也在这个平台上发布了，比如 Netflix 的。所以，你有必要上到这个平台上 follow 一些作者、专栏和主题。

    YouTube 技术频道

    下面是我订阅的一些我认为还不错的和编程相关的频道，推荐给你。

    • Devoxx ，Devoxx 的频道，其中有各种很不错的技术分享。

    • Coding Tech ，也是个非常不错的编程频道，涵盖各种技术。

    • Amazon Web Services

    • Facebook Developers

    • Google Developer ，Google 公司的官方频道，其中包括 Google I/O 大会、教程、新闻、最佳实践、技巧分享……

    • Spring Developer ，Spring 的官方频道。

    • Microsoft Research

    • MIT 公开课

    • Stanford Online

    • Prof. Dr. Jens Dittrich ，一个德国教授开的一个关于数据库相关的频道，里面有很不错的数据库内在原理的内容。

    • Red Hat Summit ，RedHat 峰会频道，其中有很多和 Linux 相关的技术新闻和分享。

    • Open Networking Summit ，这是一个网络相关的频道。

    • Dan Van Boxel ，这是一个机器学习工程师折腾各种事的视频，挺有意思的。

    • The New Boston ，这个频道应该是前端开发工程师必去的地方，可能也是我所知道的最好的关于前端技术的 YouTube 频道。

    • Derek Banas 是一个教程型的频道，其中包括编程语言、游戏开发、Web 开发……我个人觉得是一个可以用来练英文听力的频道。

    • Java ，Java 相关的各种分享。

    • CppCon ，C++ 大会的一些视频，可以让你了解很多 C++ 最新功能和相关的动态。

    • Computerphile ，这个频道是布雷迪·哈伦（Brady Haran）运作的几个频道中的一个，在这个频道里你可以看到很多很有趣的技术方面的科普教程、资讯、见闻等，说得都非常地简单易懂，所以有大量的订阅用户。布雷迪是个对任何技术都很有热情的人，这个频道是关于计算机技术的。除此之外，他还运作Numberphile（数学）、Periodic Videos（化学）、Sixty Symbols（物理）、Deep Sky Videos（天文）等有众多阅人数的频道。如果你喜欢，你都可以一一订阅，感觉就是一个个人版的 Discovery。

    • 关于安全，有如下四个频道你可以订阅一下：

    各大公司技术博客

    细心的你一定会发现这份攻略中的很多推荐文章都来自于各个公司的技术团队的博客。是的，跟随这些公司的博客，你不但可以看到这些公司的工程技术，还能掌握到一些技术方向和趋势。

    下面是 Airbnb、AWS、Cloudera、Dropbox、Facebook、Google 等各个公司的技术博客列表。

    论文

    要想将技术研究得精深，论文是必不可少的。那要如何读论文呢？

    如何读论文

    下面有几篇文章，教你一些读论文的方法，非常不错。

    论文集散地

    要成长为一个高手，论文是你一定要读的。下面是一些非常不错的计算机方面的论文集散地。

    • 2 Minute Papers ，这是一个 YouTube 的频道，其会给出一些非常不错的和计算机相关的论文介绍，让你了解目前最有意思的一些科学突破，每次两分钟左右。

    • Best Paper Awards in Computer Science ，从 1996 年以来，获奖的计算机科学方面的论文收集。

    • Google Scholar ，Google 学术搜索（英语：Google Scholar）是一个可以免费搜索学术文章的网络搜索引擎，由计算机专家阿努拉格·阿查里雅（Anurag Acharya）开发。2004 年 11 月，Google 第一次发布了 Google 学术搜索的试用版。该项索引包括了世界上绝大部分出版的学术期刊。

    • Facebook ，Facebook 公司的论文。

    • Research at Google ，Google 发布一些论文。

    • Microsoft Research ，微软发布的论文。

    • MIT’s Artificial Intelligence Lab Publications ，MIT 和人工智能相关的论文。

    • MIT’s Distributed System’s Reading Group ，MIT 和分布式系统相关的论文。

    • arXiv Paper Repository ，arXiv 是一个收集物理学、数学、计算机科学与生物学的论文预印本的网站，始于 1991 年 8 月 14 日。截至 2008 年 10 月，arXiv.org 已收集超过 50 万篇预印本。至 2014 年底，藏量达到 1 百万篇。

      在 2014 年时，约以每月 8000 篇的速度增加。arXiv 的存在是造就科学出版业中所谓开放获取运动的因素之一。现今的一些数学家及科学家习惯先将其论文上传至 arXiv.org，再提交予专业的学术期刊。这个趋势对传统学术期刊的经营模式造成了可观的冲击。

    • SciRate ，arXiv 上的论文太多，所以，SciRate 索引了 arXiv 上的一些好评的论文，并供大家评论和打分。（开源代码。）

    • cat-v.org ，这个网站，不只有论文，还有技术手册或是一些有意思的文章，包括一些历史资料什么的。

    • Usenix: Best Papers ，Usenix 上推荐的最佳论文。

    • The Morning Paper ，该博客会每天推送一篇论文，特别棒。

    • Lobste.rs tagged as PDF ，Lobsters 是一个聚焦于技术的社区，主要是链接聚合和对话题进行讨论。其中的 PDF 分类可以认为也是一个论文的集散地。

    • Papers We Love ，GitHub 上的一个近 3 万颗星的计算机科学方面的论文社区。

    小结

    总结一下今天的内容。这篇文章我主要跟你分享了一些好的学习资源，帮你开拓眼界，为后续学习夯实基础。

    首先，我推荐了 Coding Horror、Joel on Software、Clean Coder Blog、Martin Fowler、Paul Graham Essays 等多个知名的个人技术博客。然后分享了一些我订阅的我认为还不错的和编程相关的 YouTube 频道，比如 Coding Tech、Amazon Web Services、Facebook Developers、Google Developer 等。

    随后是 Airbnb、AWS、Cloudera、Dropbox、Facebook、Google 等各个公司的技术博客，跟随这些公司的博客，你不但可以看到这些公司的工程技术，还能掌握到一些技术方向和趋势。最后，想成长为一个高手，论文是一定要读的。所以，我给出了一个非常不错的计算机方面的论文集散地，并推荐了一些学习资源来教你如何读这些论文。

    我一直认为，学习需要自我驱动，要学会自己 " 找食物 "，而不是 " 等着喂 "。程序员练级攻略 2018 版到今天就全部更新完成了，但我认为，这其实只是技术练级的起点，还有很多知识和技术，需要我们不断地去探索和发现。加油，我能做到的，你一定也可以做到。

    相关文章

      网友评论

      本文标题：【修炼】02-程序员练级攻略（2018）-part02-2018

      本文链接：https://www.haomeiwen.com/subject/egnnwftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      WebRTC

      关于我们|服务条款|联系我们|【修炼】02-程序员练级攻略（2018）-part02-2018|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！