大数据

对大数据的误解和大数据的四种力量

大数据和人工智能、云计算一起，已经成为大科技公司的技术标配。
该如何理解大数据技术？这项技术对我们有什么影响？这些基本的问题，不少人却并不清楚。

数据集的大小经常被高估。其实所需要的数据集的大小，跟数据本身的效果、数据的真实程度等都有关。
谷歌的数据之所以这么有价值，其实原因也不完全是因为谷歌能拿到的庞大的数据量，还因为，人们在自己的电脑上输入关键词、进行搜索时，都很诚实。他们不需要考虑社交压力、周围人的眼光等等。
“你未必总是需要大数据，才能得出重要见解，你需要正确的数据。”大数据革命跟收集更多的数据无关，而是跟收集正确的数据有关。
谷歌不是仅仅凭借着能够比其他搜索引擎搜索到更多的内容，就成为世界上最大的搜索引擎公司，它凭借的是可以搜索到更好的数据。这跟谷歌的算法有关。谷歌的算法，按照一个网页被链接的数量来对搜索结果排序。

大数据的四种力量。这四种力量，也并不都同数据集本身的大小相关。
1、提供了新类型的数据。
思想家，都会从性的角度，来解释人类的很多行为。这些思想家更多还是在观念层面进行思考。而现在，大数据时代的研究者，有了一项让那些过往思想家羡慕不已的数据：人们在互联网上搜索和观看色情作品的数据。这些独特的数据来源，能够让研究者进入以前只能靠推理和猜测的领域。
大数据的力量在于，重新想象什么东西有资格成为数据，提供之前从来没有收集过的信息，让人们可以研究。
2、提供了诚实的数据。
在数字时代出现之前，可想而知，由于考虑到社会压力等因素，人往往会隐藏起来那些会让自己难堪的想法。即使面对询问，也不会坦诚相告。在数字时代，在互联网上，尤其是可以匿名的网站上，人们往往会透露出自己的想法。
“大数据使我们终于可以看清人们真正想要什么和真正做了什么，而不是人们说自己要什么和做了什么。”
人们说自己想要的，跟自己实际想要的不一致。奈飞不再要求用户告诉自己他们想看什么电影，而是根据用户点击和观看的数据建立一个模型，用模型来推测用户想看什么电影。结果，用户果然越来越频繁地造访奈飞，在上面看了越来越多的电影。算法比你更了解你自己。
3、让我们可以把焦点放在人口中的一个很小的子集，去进行研究。
当然，这要求对小的子集，也有大数据量。打个比方，为了将照片的一小部分放大后还能看清楚，照片需要有很高的像素。同样，为了能够清楚放大检视数据的小子集，每一个小子集中都需要大量的数据。大数据允许我们有意义地放大检视数据集的细部，获取新的洞察。”
4、允许研究者进行因果关系实验。
大数据可以允许研究者进行快速而且可控制的因果关系实验，而不仅仅是相关性。
这种测试在很多互联网公司被称作是A/B测试。“你不能假设任何事，必须针对每件事都进行测试才行”，“如果我们了解人性，根据我们的生活经验就能判断答案是什么，那么测试就不会有价值。但事实上，我们不了解人性，所以测试才这么有价值。”
这种方法，互联网公司已经大量使用，而现在和将来，社会科学家也可以使用，从而把以往模糊的研究，变得更科学。