用不确定的眼光看待世界,再用信息来消除这种不确定性,是大数据解决智能问题的本质。 —— 吴军

第一章 数据 —— 人类建造文明的基石
现象、数据、信息和知识
信息是关于世界、人和事的描述,它比数据来得抽象。
数据中隐藏的信息和知识是客观存在的,但是只有具有相关领域专业知识的人才能将它们挖掘出来。
数据的作用:文明的基石
从观察中总结出数据,是人类和动物的重要区别,后者虽具有观察能力,却无法总结出数据,但是人类有这个能力。而得到数据和使用数据的能力,是衡量文明发展水平的标准之一。
使用数据的标准流程:获取数据 --> 分析数据 --> 建立模型 --> 预测未知
相关性:使用数据的钥匙
数据之间常常有我们想象不到的关联性,利用这种关联性,不仅可以获得想要的信息,而且还可能得到意向不到的惊喜。
很多时候,我们无法直接获得信息(比如疫情传播情况),但是我们可以将相关联的信息(比如各地搜索情况)量化,然后通过数学模型,间接得到所要的信息。而各种数据模型的基础都离不开概率论和统计学。

数学模型:数据驱动方法的基础
要建立模型就要解决两个问题,首先是采用什么样的模型,其次是模型的参数是多少。
数据驱动方法 —— 先有大量的数据,而不是预设的模型,然后用很多简单的模型去契合数据。
在今天的IT领域中,越来越多的问题可以用数据驱动方法来解决。当我们对一个问题暂时不能用简单而准确的方法解决时,我们可以根据以往的历史数据,构造很多近似的模型来逼近真实情况,这实际上使用计算量和数据量来换取研究的时间。
从某种程度上讲,获得和利用数据的水平反映出文明的水平。

也许你会喜欢:
网友评论