大数据的兴起
大数据的大规模应用现在仍然处于起步阶段，但却已经带给我们这个时代巨大的改变与机遇。用狄更斯《生存记》中的一句话” 这是一个最好的时代, 也是一个最坏的时代”来描述今天大数据的发展现状，再贴切不过了。
大数据时代-大数据发展历程
第三次信息化浪潮让大数据正式的进入人们的视野。而今年来在存储、计算、网络方面的迅速发展，硬件设备的成本在降低，而性能却反过来在大幅度提升，其发展速度已经大大超过了摩尔定律，这为大数据时代的到来提供了良好的技术支撑。
大数据时代-信息化浪潮.md
有人说是自媒体的推动了大数据时代的到来。其实不然，自媒体是让这个时代能够听到每一个普通的民众的声音，让那个由精英掌控社会主流文化的时代一去不复返，自媒体时代成就了网红，而不是大数据。
而直到物联网（IoT）的兴起，各种传感器、摄像头等每时每刻都在产生数据，是我们进入一个信息爆炸的时代，这些数据已经超出我们人所能控制的范畴。
大数据的概念和影响
大数据的特征（4V+1O）：
数据量大（Volume）：第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
类型繁多（Variety）：第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
价值密度低（Value）：第三个特征是数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。
速度快时效高（Velocity）：第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。
数据是在线的（Online）：数据是永远在线的，是随时能调用和计算的，这是大数据区别于传统数据最大的特征。现在我们所谈到的大数据不仅仅是大，更重要的是数据变的在线了，这是互联网高速发展背景下的特点。比如，对于打车工具，客户的数据和出租司机数据都是实时在线的，这样的数据才有意义。如果是放在磁盘中而且是离线的，这些数据远远不如在线的商业价值大。
影响
1.全样而非抽样：
以往数据量庞大，无法储存和分析，统计学只能采用抽样。目前大数据技术的发展，储存、计算设备的成本不断的降低。我们有足够的储存空间，我们的计算也不仅仅局限于一台计算设备之上。我们完全可使用分布式系统进行储存，使用成千上万个CPU进行计算。
2.效率而非精确：
以往做抽样分析，人们必须不断地追求算法的精度，因为一旦我们将抽样计算的结果，运用到全样以后,误差将会被放大。而使使用大数据技术，由于直接拿全样做分析，因此不用刻意追求精确性。而很多数据都具有时效性，因此，更关注效率。
3.相关而非因果：
大数据时代，我们更加关注数据之间的联系，而这种相关性就能够使数据产生价值。比如：推荐系统。
大数据的应用
- 投资领域：量化投资；
- 金融领域：风控；
- 交通领域：线路优化；
- 消费领域：精准营销；
- 医疗领域：健康管理，癌症预测。Google通过大数据预测甲型H1N1流感；
- 安全领域：犯罪预测；
- 娱乐领域：照相测年龄、cnn毕加索画风创作；
- 体育：马刺的进攻方法，发现他们的每次进攻得分，依赖于他们的传球路线；
转载自BigData4All
网友评论