0x00 前言

总结一下自己对大数据算法认知的过程。正文包含两部分：对算法的认知过程和最终笔者对大数据算法的理解。

写这篇博客的原因有很多，总的来讲有下面几点：

1. 自己在算法的路上一直懵懵懂懂，现在刚刚有了一点点头绪，赶快做个记录。
2. 梳理清楚自己的思路，后续会有一个算法学习的一到两年的计划，这算是个引子。
3. 谈起算法大家都只会想到经典算法和机器算法，除此之外还有很多有意思的算法，特别是为了解决大数据量问题的算法，这些很容易被忽略掉，但是我认为这才算是大数据算法。

0x01 认知过程

1. 算法没什么用

刚入坑的时候，一直以为大数据工程师就是安装一下Hadoop，写写MR程序，运维一下集群就够了，虽说算法很重要，但是工作中没有什么感觉。

我在很长一段时间也抱着一种算法只是起到在面试中起到区分度作用的知识点而已。（现在想来，其实这个观点也没什么错，大部分的开发工作的确用不到什么算法。）

2. 经典算法的魅力

做了一段时间大数据运维后，接到了一个优化调度系统的任务，就和gim老司机在一起设计重构调度系统的方案，在这个过程中复习了很多图论相关的知识点，从此开始对算法产生了极大的兴趣并一发不可收拾，随后重新学习了一遍树相关的内容，自己动手实现了什么2-3树、avl树、红黑树这些数据结构。

其实，感兴趣的一个主要原因就是发现，这些东西基本构建了我们整个的计算机体系。比如文件系统、数据库的索引，学会这些总感觉以后就不会丢饭碗了。

3. 机器学习代表了一切

再接着，机器学习一下子就火了起来，世界上只剩下了两种算法：机器学习算法和非机器学习算法。身边的朋友和同学，凡是和数据开发相关的，都称自己想转做机器学习。笔者也不能免俗，开始准备跟着浪潮走一波。但是一没场景，二是兴趣不大，当有一天我突然意识到自己在学机器学习累的时候居然想玩玩linux放松心情的时候，就暂时放弃了转向机器学习的这个想法。以后我会用到它，可能还会用的很深，但是现在不会全身心地转向它。

机器学习过后，17年又迎来了深度学习的浪潮。

4. 深度学习又是一波浪潮

感触最深的是在17年5月份，看到了一份招聘要求，招的title是人工智能平台架构师，具体的要求是除了数据平台要求的东西外加了一些深度学习平台的东西。

这时候就感到，当浪潮到来的时候，你可以不转向它，但是要包容它。所以，顺便学了一波深度的东西，入了个门，大概知道我以后需要做些什么。（三个月后的今天基本已经忘完了）

5. 还有很多有趣的算法

随着工作的深入，系统在性能上遇到了很多了瓶颈，我们要做一系列的调整来应对，比如敏感信息的加密、集群文件的压缩、负载均衡策略的选择，这时候就不得不深入学习一下加密算法、压缩算法、负载均衡算法的原理。

这些算法一直都在，但是仍然可以在现在的大数据场景下发挥极大的作用。

6. 分布式算法

在这之前，我对自己从事的工作一直有一点心虚，感觉除了写写mr，管一下集群貌似没什么技术含量太深的东西，能拿得出手的也就是各个系统的架构和对他们的熟悉程度。 后来无意间在mooc发现了一门云计算原理的课，然后就对这一块产生了极大的兴趣。

随着学习的深入，发现这块的水还是相当深的，我们称这些为分布式算法，它包含了这么一大堆内容：

2PC、Gossip这一大堆协议；DHT、Paxo、Raft这一大堆算法、还有一些乱七八糟的原理。

这块学的还是很皮毛，后面会有详细的学习计划。

7. 大数据算法到底是什么？

在工作和学习中遇到了这么多算法，再加上一段时间的思考，我会在想，大数据的算法到底是什么样子的？

经典算法暂且不论，压缩和加密算法也一直都有。

那么机器学习呢？总感觉有些地方不对劲，应该说是机器学习是使用了大数据，但是他不是为了解决大数据的各种问题的，真正的大数据问题还要有大数据的算法来解决。

分布式算法也不完全算是，虽说大数据工程师都要用到分布式系统，但是他们解决的问题场景不太一样的。分布式算法要解决时钟、一致性问题这些问题。大数据场景的算法不太一样。

然后我们要想一下大数据场景有什么问题？

大数据场景的问题

数据量大，这是一个最明显的特点，它带来的问题就是处理这些数据成了很大的麻烦。Hadoop是一个突破性的项目，然后在这之外我们还会有一些场景要解决。

集合中不同元素的个数, 比如, 独立访客(Unique Visitor，简称UV)统计，换成sql来写的话就是count(distinct user_id)，假设有1000亿的数据放在这里，需要极快地算出来，可以允许一点点不精确，我们该怎么做？

也就是，我们在很多场景下，会在允许一定牺牲一定的准确度地情况下来快速地算出结果。这一些算法有极大的应用场景。比如redis会用到Hyperloglog来做基数统计。

这样的一批算法，我认为算是大数据算法中的一部分。

内容比较多，后面会写博客展开来专门讲。

0x02 数据工程师算法技能一览

在这里做一个小总结，画一下我认为大数据工程师需要掌握、熟悉和了解的算法。很多其实在工作中都会经常遇到。

算法一览

再放一个详细的图。

算法一览

0XFF 总结

没了

---

作者：dantezhao |简书 | CSDN | GITHUB

个人主页：http://dantezhao.com
文章可以转载, 但必须以超链接形式标明文章原始出处和作者信息