声明:以下内容未经严格考证
其实关于什么是大数据，一般大家想要理解，会去找各种网页，各种图书。看完之后，当场总是觉得很嗨，睡一觉就又什么都不记得了。
当年谢逊和张翠山一家从冰火岛往中原出发，有个桥段：狮王一路上教导无忌一定要熟记七伤拳口诀。无忌年幼，并不知口诀倒是哪般神功，只知熟记于心。这般学法，日后倒真的是助了他武学精进。
说回大数据，从前，某歌说，我要用我的闲散机器，处理我海量数据，于是有了map-reduce。这块山头，由此立下。有好事者，依葫芦画瓢弄出个hadoop。
不得不说，摩尔定律无处不在，真好象是暗空间的硅基生物，一刻不停的往前疯狂进化。过了没多久，大数据的世界，便进化出了spark，数据处理速度何止是hadoop的100倍。
猛然，大家发现，原来几个T的数据，也跟玩excel差不多难度。一个新的数据宇宙就此打开。所谓 数据结构+算法的世界，在各种智能算法面前，就好像远古生物一般。
另外一边，一个叫python的编程语言，预先构建了向量/矩阵计算能力。人们发现，如果能将python的这种特殊能力，用来处理庞大的TB级别的数据，那数据里面蕴藏的各种特征值，就能更容易的被当成金矿挖出来。
map-reduce原语，spark计算平台，python科学计算，当这三兄弟不期而遇的时候，天空劈下一道耀眼的闪电 - tensor-flow诞生了。
那么提问：
1. 请用python实现一个map-reduce版本的word-count
2. 用python，再spark平台上，用拟牛顿法实现求解平方根
3. 请用python分析下，titanic号上遇难的船员中，哪一类人存活率最高？
如果你能回答这三个问题，那么恭喜你，谢老前辈的口诀，你已经得到了。
网友评论