一、大数据采集技术

数据采集是指通过射频识别（RFID）射频数据、传感器数据、社会网络交互数据和移动互联网数据获取的各种类型的结构化、半结构化（或弱结构化）和非结构化海量数据。它是大数据知识服务模型的基础。重点突破分布式、高速、高可靠性数据采集或采集等大数据采集技术，突破高速数据分析、转换和加载等大数据集成技术，设计质量评价模型，开发数据。质量技术。

大数据采集一般分为大数据智能感知层：主要包括数据传感系统、网络通信系统、传感器自适应系统、智能识别系统以及软硬件资源接入系统。实现了结构化、半结构化和非结构化海量数据的智能识别、定位、跟踪、访问、传输、信号转换、监控、初步处理和管理。.必须关注大型数据源的智能识别、感知、适应、传输和访问技术。基础支持层：为大型数据服务平台、结构化、半结构化、非结构化数据数据库、物联网、网络资源等基础支持环境提供虚拟服务器。重点介绍了分布式虚拟存储技术、大数据采集、存储、组织、分析和决策操作的可视化接口技术、大数据网络传输和压缩技术、大数据隐私保护技术。

二、大数据预处理技术

主要完成对接收到的数据的识别、提取和清理操作。

1、提取：由于采集到的数据可能具有多种结构和类型，数据提取过程可以帮助我们将这些复杂的数据转换为单一的或易于处理的配置，从而达到快速分析和处理的目的。

2、清理：对于大数据来说，这并不都是有价值的。有些数据不是我们关心的，而另一些则完全是错误的干扰项。因此，应通过过滤“去噪”数据来提取有效数据。

很多小伙伴，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习群：775908246，有大量干货（零基础以及进阶的经典实战）分享给大家，并且有清华大学毕业的资深大数据讲师给大家免费授课，给大家分享目前国内最完整的大数据高端实战实用学习流程体系。

三、大数据存储与管理技术

大型数据存储和管理应使用内存来存储收集的数据，建立相应的数据库，并进行管理和调用。专注于复杂的结构化、半结构化和非结构化的大型数据管理和处理技术。主要解决数据存储量大、可代表性、处理性、可靠性和有效传输等关键问题。

（DFS）、能效优化存储、计算与存储集成、大数据去冗余和高效低成本的大数据存储技术；突破分布式非关系型大数据管理与处理技术、异构数据融合技术、数据组织数字化技术，研究大数据建模技术；突破大数据索引技术；根据移动、备份和复制技术，开发大数据可视化技术。

开发了新的数据库技术，将数据库分为关系型数据库、非关系型数据库和数据库缓存系统。其中，非关系型数据库主要是指nosql数据库，可以分为键值数据库、列数据库、图数据库和文档数据库。关系数据库包括传统的关系数据库系统和NewSQL数据库。

发展大数据安全技术。改进数据销毁、透明加密解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真实性鉴别取证、数据完整性验证等技术。

四、大数据分析与挖掘技术

大数据分析技术。改进现有的数据挖掘和机器学习技术；开发数据网络挖掘、特殊组挖掘、图形挖掘等新的数据挖掘技术；突破基于对象的数据连接和相似性连接等数据融合技术；突破用户兴趣分析、网络等大数据挖掘技术。工作行为分析、情感语义学分析等。

数据挖掘是从大量不完整、嘈杂、模糊、随机的实际应用数据中提取隐藏的、潜在有用的信息和知识的过程。数据挖掘涉及到许多技术和方法，并且有许多种分类方法。

根据挖掘任务，可分为分类或预测模型发现、数据汇总、聚类、关联规则发现、顺序模式发现、依赖或依赖模型发现、异常和趋势发现等。

根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异构数据库、遗产数据库和万维网。

根据采矿方法的分类，可大致分为机器学习法、统计法、神经网络法和数据库法。在机器学习中，可以细分为归纳学习方法（决策树、规则归纳等）、案例学习、遗传算法等。统计方法可细分为回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费希尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主成分分析、相关分析等）。等等。神经网络方法可细分为正向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）。除了面向属性的归纳方法外，数据库方法主要是多维数据分析或OLAP方法。

从采矿任务和采矿方法的角度，强调突破：

1、目视分析。数据可视化是普通用户和数据分析师最基本的功能。数据可视化可以让数据自己说话，让用户直观地感受到结果。

2、数据挖掘算法。图像化是将机器语言转化为人类，而数据挖掘是机器的母语。分割、聚类、离群值分析和各种算法使我们能够优化数据和挖掘价值。这些算法必须能够处理大量的数据，而且具有较高的处理速度。

3、预测分析。预测分析允许分析师根据图像分析和数据挖掘的结果做出一些前瞻性的判断。

4、语义引擎。语义引擎的设计需要有足够的人工智能来主动地从数据中提取信息。语言处理技术包括机器翻译、情感分析、舆论分析、智能输入、问答系统等。

5、数据质量和数据管理。数据质量和管理是管理中的最佳实践。通过标准化的流程和机器进行数据处理，确保获得预先设定的质量分析结果。

五、大数据显示与应用技术

大数据技术可以挖掘海量数据中隐藏的信息和知识，为人类社会经济活动提供依据，从而提高各领域的运行效率，大大提高整个社会经济的集约程度。

在我国，大数据将应用于以下三个领域：商业智能、政府决策、公共服务。例如：商业智能技术、政府决策技术、电信数据信息处理与挖掘技术、电网数据处理与挖掘技术、气象信息分析技术、环境监测技术、警用云应用系统（道路监测、视频监控等）监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统）、大规模基因序列分割分析与比较技术、网络信息挖掘技术、多媒体数据并行处理技术、影视制作呈现。ERing技术、云计算和其他行业的海量数据处理应用技术等。