美文网首页大数据,机器学习,人工智能大数据 爬虫Python AI Sql大数据
纯干货分享:大数据计数原理1+0=1这你都不会算

纯干货分享:大数据计数原理1+0=1这你都不会算

作者: 7a5709742101 | 来源:发表于2019-12-25 12:35 被阅读0次

今天的干货,不是一般的干,噎死人那种干。没下面这些准备的话直接退出吧,回去度娘啊谷哥啊弄懂是什么东西再回来。

知识储备必须有这些:

BitMap知识。概率论二项分布。泰勒展开。函数求极限。求期望值。求方差、标准差。log对数变换。极大似然估计。

来了喔。

真的来了喔。

我们先定义几个代数。

整个BitMap 有m个坑,还要有u个坑还没被占。我们已经假设了值经过 Hash 后近似服从独立均匀分布。

对事件进行定义:

根据极大似然估计的判定定理。

对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq群:458345782,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系 。从java和linux入手,其后逐步的深入到HADOOP-hive-oozie-web-flume-python-hbase-kafka-scala-SPARK等相关知识一一分享!

取前三项。原论文里说,因为第二项展开的期望为0,所以保留前三项,求期望得到

一步一步推导下来,再配合前面求的方差,嗯相信你可以的。

所以标准差就是这样。

至此,原理,偏差率,标准差都推导完毕,但是还有一点点问题。就是,这样去算有什么条件呢,对于m的取值?启发性地取泰勒展开前三项和前两项又分别代表什么?这个大家自己去论文看,我要是开心,我可能也会说说看。

是不是很干货?我也知道很干,但是真的要细细阅读,读完最好搭配上原始论文好好看一下,我看了蛮久的说实话。

这个阶段,可以认为基础踏实阶段已经把 20% 学习得比较好了,可以暂时放在旁边一小段时间了,至少在思考的时候要放下。这个阶段思维模式要有一阵转变,对于业务中使用到的任何技术,都应该是不惑的程度,不要经常性地钻入到基础踏实阶段的牛角尖里边,认真思考关于业务需求、业务流程、模型、安全、部署 等方面的事情。

协同合作阶段

协同合作阶段,主要是关注合作伙伴的状态是否满足预期,关注对于团队成员的公共贡献,关注自己对于整个项目的整体的贡献。需要自己实现的业务逻辑那就自己实现,需要帮助被人设计的就帮助别人设计。这个阶段可以认为 80% 的业务需求对于你来说都没有什么大的难度了,驾轻就熟适当,任何需求在你眼中都是在一瞬间就能描述出流程、逻辑、部署事宜,不需要太多关注。

不同的阶段,我们有不同的思维模式,也有不同的努力点,别让这些槛阻碍着你的迭代式成长。基础踏实阶段关注基础,业务服务阶段关注实现路径,协同合作阶段关注伙伴。可以不断迭代踏实更加深的基础,但不要在同一时间来回切换,影响效率,原地踏步,阻碍自己的迭代式成长。

作者:一名叫大蕉的程序员

链接:https://www.imooc.com/article/297942

来源:慕课网

本文原创发布于慕课网 ,转载请注明出处,谢谢合作

相关文章

网友评论

    本文标题:纯干货分享:大数据计数原理1+0=1这你都不会算

    本文链接:https://www.haomeiwen.com/subject/ftkcoctx.html