来源：CPDA数据分析师网 / 作者：数据君 /
1、你为什么要这么做？您在解决问题吗？怎么了 数据科学并不是您在事物上散布的调味料，可以使它们以某种方式变得更好。这是解决问题的一种方式。在要求数据科学解决之前，请先了解您的企业正在尝试解决的问题。
2、收集数据。一旦了解了业务原因，您的数据科学家就可以开始找出与之相关的数据并进行收集。不要仅选择可用数据，否则可能会带来偏差。
CPDA数据分析师
3、分析数据。探索性数据分析是最常见的方法。它揭示了数据可以告诉您什么，通常擅长于揭示您想收集更多数据的区域。良好的使用一组预定义的准则和阈值来帮助克服偏差。
4、建立模型并测试它们是否有效。一旦分析了数据，就可以建立旨在为业务问题提供良好解决方案的机器学习模型，在建立模型之前，请务必尝试一些合适的选项和验证周期。
5、结果。运行模型并解释结果。许多人没有意识到人工智能并不能仅仅告诉您解决问题的方法，机器学习模型提供了人类可以解释的输出，数据科学家的见解是使输出可以采取行动的原因，当然这听起来很“容易”，而且显然任何数据科学家都知道证明一切都是为了实现这些事情，但是了解基础知识可以帮助您做出更好的决策，从而帮助数据科学家更好地完成工作，每个人都赢甚至是机器。
如果您有大数据，请知道要使用哪种压缩类型
不同类型的压缩会对您的大数据传输产生巨大影响。知道使用哪种类型对您的业务很重要，世界每天产生2.5亿个字节的数据，而非结构化数据对于95％的公司来说是个问题，公司面临的一个问题是如何存储所有这些数据，以及清除足够的带宽以传输大数据。
这是数据压缩进入对话的地方
在数据压缩中，通过使用比原始数据更少的位来对数据进行编码，数据压缩有两种方法：无损压缩，它消除了冗余但不丢失任何原始数据，有损数据压缩，可通过删除不必要或不太重要的信息来修改数据，在大数据的传输和存储中使用数据压缩非常重要，因为它减少了IT部门必须为该数据提供的网络带宽和存储量，同样重要的是，您实际上并不想保留某些类型的大数据，例如作为物联网（IoT）通信数据一部分的设备间握手引起的抖动。
为了最大程度地利用大数据进行数据压缩，您必须知道何时何地使用不同类型的数据压缩工具和公式。选择数据压缩方法时，请牢记以下几条有用的准则：
何时使用无损数据压缩
如果您有一个大数据应用程序，并且无法承受丢失任何数据的麻烦，并且需要解压缩压缩的每个字节的数据，那么您将需要一种无损的数据压缩方法，当您压缩来自数据库的数据时，即使您意味着必须存储更多的数据，也希望进行无损数据压缩。在选择将此数据重新提交到其数据库时，您需要解压缩完整数据，以便它可以与数据库端的数据匹配并进行存储。
何时使用有损数据压缩
有时您不需要或不需要所有数据，例如物联网和网络设备的抖动，您不需要这些数据，只需提供给您业务所需的上下文信息的数据即可。第二个示例是在数据压缩过程的前端可能使用的数据压缩公式中使用人工智能（AI），如果您正在研究一个特定的问题，并且只希望与该问题直接相关的数据，则可以决定让数据压缩公式不包含与该问题无关的任何数据。
如何节省加工
大数据的CPU处理周期非常昂贵，因此数据压缩过程的一部分应侧重于从CPU卸载处理，这可以通过使用现场可编程门阵列来完成，可以由您配置为计算机的其他处理器的微芯片，您可以减轻CPU的某些压缩处理负担，并提高硬件性能。
如何选择正确的编解码器
一个编解码器是一个硬件，软件的组合，压缩和解压缩数据，所以它在大数据压缩和解压缩操作的核心作用，编解码器有许多种，因此为正确的数据或文件类型选择正确的编解码器很重要，您选择的编解码器类型将取决于您尝试压缩的数据和文件类型，有无损和有损数据的编解码器，也有一些编解码器必须将所有数据文件作为“整体”处理，而其他编解码器可以将数据分割开，以便可以对其进行并行处理，然后在其目的地重新组合，某些编解码器设置用于可视数据，而其他编解码器仅处理音频数据。
为什么数据压缩很重要？
确定将用于大数据的数据压缩类型是大数据操作的重要组成部分，仅在资源端，IT人员就无法承受处理失控和迅速发展的存储的成本，即使必须完整存储数据，也应尽可能地对其进行压缩，也就是说，您可以采取其他步骤来限制存储和处理，以及针对大数据压缩中采用的算法和方法的最适合操作，掌握这些选项是IT部门的关键数据点。
网友评论