目的
还原真相、预测未知、科学决策
基本假设
可以从多维度数据中挖掘出隐藏信息来降低不确定性
关键概念
-
<大数据>将人和物数据化，通过数据建立事物对应的模型，然后还原真相和预测未知。
- 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。
- 所谓大数据其实就是由海量运算存储能力和数据建模算法两部分组成，说白了就是用数学建模的方法对过去的数据建模，以期预测未来的行为。
- 大数据的科学基础是信息论，它的本质就是利用信息消除不确定性。虽然人类使用信息由来已久，但是到了大数据时代，量变带来质变，以至于人们忽然发现，采用信息论的思维方式可以让过去很多难题迎刃而解。
- 差不多在2012年，在我干了三四年的数据的事情之后，渐渐的认识到数据处理其实就是一条流，并且在以后的实践中不断的坚信这一点。
[大数据]古语云：三分技术，七分数据，得数据者得天下。
[大数据思维]什么是大数据思维？——维克托·迈尔-舍恩伯格
1-需要全部数据样本而不是抽样；
2-关注效率而不是精确度；
3-关注相关性而不是因果关系。
用数据建立对应事物的模型
-
<数据>数据就是数值，也就是我们通过观察、实验或计算得出的结果。
- 可以输入计算机进行处理的信息；
- 对客观事物属性、状态的规范化记录和描述。
- 使用约定俗成的关键字， 对客观事物的数量、属性、位置及其相互关系进行抽象表示， 以适合在这个领域中用人工或自然的方式进行保存、传递和处理。
- <数字化>将许多复杂多变的信息转变为可以度量的数字、数据，再以这些数字、数据建立起适当的数字化模型
-
<数据思维>用数据来支持判断和决策
数是死的，人是活的，数据思维的关键在于思维而不是数据。 - <数据挖掘>从大量的数据中通过各种方法找出隐藏于其中的信息。
- <数据驱动>在数位化之后，运用技术，有效利用与分析数据，进行量化决策，实现科学化管理
-
<指标>量化后的目标（值）；衡量的手段（项）
- 当作为一个数字理解时，就是量化后的目标，也即要达到的标准
- 当作为一个参数时，指衡量的手段，指导工作的开展。
- <信度>信度指的是一个数据或指标自身的可靠程度，它是对同一现象进行重复观察之后是否可以得到相同资料的一种反映。
-
<效度>该测量方法主要讲的是如实反映欲测量或衡量标的的程度，即某指标的变化能代表该事物的变化。
大数据让我联想到的人物——《黑客帝国》里的先知
理论方法
- 数学
统计学（知道规律猜测模型）
概率论（知道模型总结规律） - 计算机编程
- 信息论
工具软件
- 算法实现
Python等 - 运算展示
SPSS
Tableau
感性认知
- 直觉关键词：假设、模型、关联
- 直觉方法：将数据还原成情景
网友评论