从不同视角筛选数据：可视化之前最关键的工作

作者: 图灵教育 | 来源:发表于2016-03-03 10:18 被阅读89次

智慧不是接收来的，我们必须自己去寻找。

——马塞尔• 普鲁斯特

要想完全实现数据可视化的深远潜力，需要广泛的技巧、能力和知识。从许多具有不同背景和视角的人身上，我总结出了一些观察成果，其中包括数据科学家、统计学家、画家和作家。我希望我的读者也具有这样的多元性。我们需要不同的视角。

歧义、矛盾和不确定性经常会造就奇妙的故事。用编码的语言讲，双重意义有时并不是bug，而是特性。例如在科学领域中，一些最伟大的见解和发现都是意料之外的。

1、数据洪流与数据涓流：统计学家约翰• 博斯利的观点

计算的目的是洞察力，而非数字。

——理查德• 哈明

基于多种正当的理由，不少人都把时间和精力花费在管理大数据（如果不深究用词的明确性和准确性，大数据可不仅仅只是“大”而已）所形成的数据洪流上。不过，一些特定类型的数据实际上是一小段一小段汇入其他数据的（如图1-18 所示）。有时，对于某一兴趣领域，人们除了依赖为数不多的可用小数据外，别无选择。

统计学家及可用性顾问约翰• 博斯利与美国劳工统计局合作，花费多年时间，围绕美国经济的多个方面分析了大小不一的数据集，这些方面包括：就业率及失业率、工资、物价以及生产力等。并非所有重要的数据集都是大数据——博斯利注意到一些与人类起源和进化有关的原始数据，它们的数据量极小。那些记录了数百万年以来人类祖先进化史的化石记录，在他看来基本上小到可以“存放进一辆皮卡车的车厢里”。基于这个微小的数据集合，单凭一个新发现，就能令人信服地修正我们对于人类进化过程中如何进入智人阶段的关键认知。

其他的小数据集合也许还保存在一些决策中心中，例如濒危物种保护中心。在这些案例中，有效采样往往是成败的关键。这其中也会有运气的成分，也就是说，样本数据的偶然性很大（是某个时刻碰巧收集到的数据）。任何数据集合（不论规模大小）间都可能会有巨大的差异，这种差异往往是计算机的计算能力所无法解决的。试想以下情形：一位形单影只的古生物学家沿着河谷进行科考，从岩石和泥土中发现了一块骨骼化石。这也许是收集有关数据的唯一方法。

许多数据收集起来不仅不易，而且代价不菲。例如，收集新治疗方法的临床试验数据不仅要持续多年，还会花费上百万美元。博斯利还说了自己的一个亲身经历：“之前见过一位医科专家，她起初想让我服用一种‘新型改良’药物，但是随后发现该药物不在医保范围之内。另外，她查了该药的零售成本，随即说道：‘不对，这个药只在200 位患者身上做过试验，看来眼下还不能用。’”博斯利认为“全国每天有成千上万人要面对这样的决策”。在这个有关新药物的案例中，统计学家博斯利认同了那位医生的逻辑。不过，博斯利也承认许多患者或许不会认同医生的想法和决定。博斯利认为“数据越少，引起分歧的几率就会越大”。

有时，只有将“大”数据和“小”数据结合起来，才会呈现出最清晰的图像，传达最完整的信息。举例来说，也许政府的情报分析师每天都通过爬网程序收集大量网络数据，但一些关键数据则必须经过人工处理才能得出。收集这些数据非常不易，谁都不知道会在什么情况下收集到这些数据。随后，确认或取消决策与行动也是如此，只能根据不同类型的数据所反映出的证据来进行决策或付诸行动。

也许是由于计算能力的不断提升，人们对数据挖掘一类的技术越来越感兴趣，因此在技术社区中，大数据也受到了越来越多的关注。这是因为大数据更易于用技术方法进行处理。然而，特定类型的数据处理也取决于人们处理和收集数据的方法。正如心理学家亚伯拉罕• 马斯洛提出的著名的“工具定律”：如果你只有一把锤子，那么所有东西看起来都像是钉子。在这个以“强大的计算能力”为主角的世界中，在探讨大数据及相关处理工具的时候，我们自然而然地会忽略只能通过人工处理才能获得的重要的、补充性的小数据。

2、留下哪些，删掉哪些：对话新闻学教授及科技企业家伦恩• 塞勒斯

通过何种技术和实践，人们可以将迥然不同的客观现实整合在一起，以便将其以一定形式组织起来，反映出这个世界准确、有趣、重要的一面？这个问题有不少答案，但只有从新闻业的角度回答，才能彻底解决这个问题。虽然传统新闻业前景黯淡，但要将数据变成引人入胜的故事，并且和数据可视化取得联系，新闻业的相关技巧必不可少。

新闻学教授、统计学家以及科技企业家伦恩• 塞勒斯先后从事传统出版业和数字媒体业工作，多年来一直在思考这个问题。他认为对于记者和编辑来说，主要的一项挑战就如同鲍勃•西格的歌词：“留下哪些，删掉哪些。”（What to leave in and what to leave out.）塞勒斯说：“出于本能，最优秀的编辑能从读者的角度考虑问题，想到读者可能会发出的疑问。”这项技能源于天赋、后天训练以及经验。新闻记者需要努力追寻的目标是：“我需要掌握哪些信息，才能更为全面地看待问题？”

塞勒斯说，在管理旧金山的数字设计机构睿域时，他的设计师也持同样的态度，即把所有元素放在一起，仔细观察，然后移除一些元素，看看设计是否还保持原样。不过，这并不意味着作者、编辑和设计师就可以或者应该提前对所有事物作出预判，完全掌控要表达的内容：“在工作中，应该让读者和观众自行判断，得出结论。”为了阐明这一观点，塞勒斯举例说，一位负责报道当地政治新闻的记者在文章中不会使用主观性词汇，例如文章中不会出现“今天市议会作出了十分愚蠢的决策，修改了区划法”。即使该文章作者并未有意使用主观性评语，但只要报道中包含、排除、排序或重新整理了某条新闻的细节，本身就属于带有强烈主观性评论的文章。

看到模式，发现故事

塞勒斯的部分学术训练还包括统计学，他认为自己在做记者的时候，统计学帮了他不少忙：“优秀的新闻记者能告诉你报道中数据的误差幅度，我可是那种关注每一处细节的读者。”塞勒斯说他会梳理文章中的数据，寻找相关模式，为自己写文章积累素材：“模式如同故事或文章的梗概一样。”虽然许多相关数据本身毫无意义，但有时在其他诸多元素之中，模式也会反映出为我们展现有趣关系的相关数据（如图1-24 所示）。“虽然花费时间再分析数据很困难，但正是在分析的过程中，我们才发觉了数据的真正含义。”

3、与Splunk 公司首席信息官道格• 哈尔深入机器数据

错误像稻草，漂浮在水面。欲觅珍珠者，须往水下潜。

——约翰• 德莱顿

无论是用手机给朋友打电话还是在线预订旅行车票，在数不胜数的交互行为中，电子交易的进程都会产生“机器数据”。大多数情况下，这些数据并不引人注目，属于用户和计算机发生交互行为之后留下的痕迹。乍看之下，这些数据似乎没有特别的用途，但在特定情况下，基于不同的目的，它们能提供相当重要的视角。我们来简单形象地解释一下这个观点。试想一下，如果你遭遇海难，流落到了一座荒岛上。你沿着沙滩行走，寻找船的踪迹，与此同时，在沙滩上留下了的脚印。你并不是有意留下这串痕迹的，它们只是你在行走、构思计划或者寻求帮助的时候自然形成的。然而，救援者则会顺着这些无意中留下的痕迹找到你（如图1-39 所示）。

机器数据就像这些沙滩上的脚印一样，在特定的环境下会非常有用。当然，和那些脚印一样，机器数据的生命周期也很短暂。如果不加干预，它们会自行消失。这种非结构化数据的数量、种类以及复杂程度都在上升，这也让找到这些数据创造者的机会越来越多。

道格• 哈尔是Splunk 公司的首席信息官（CIO）。Splunk 是一家致力于机器数据挖掘和可视化的公司，其业务范围正属于“大数据”行业，一些大型项目每天能处理TB 级别的数据。哈尔说这种机器数据的价值在于“机器数据不再局限于表层的交互，例如在特定的时间预订或购买东西”，相反，“机器数据的价值不仅仅是展示上述交易怎样进行，交易体验如何以及交易时间有多长。企业客户想知道的是那些能反映信用卡诚信度，或者其用户是否有欺诈行为的数据”。

【旁注：我们会不时用到二维码，以便快速链接到网上的内容以及一些交互实例。】

这些企业以网站日志的形式形成了庞大的数据池，因此他们发现可以从这些数据池中提取数据，开发新形式的网站分析和商业智能（BI）。哈尔认为：“这种商业智能和传统商业智能的区别在于无需进行预先规划（对数据库组织和结构的描述），实际上也用不到预先规划。”相反，这些企业可以先将数据加入到数据池中，再观察哪些是有用的数据。哈尔还补充了一位同事的看法：“甚至还有些问题是你根本无法想到的。”他认为，无论如何也没有办法系统地规划所有机器数据，因为这种方法要涉及太多的格式。他还认为：

这与传统的商业智能几乎完全对立。通过这种新型的商业智能，我们可以审慎地规划要加入的表格，再对数据进行转换、加载以及清除。在这个场景中，我们可以打开数据池，查找有趣的数据，将这些数据组织起来，并且决定其生命周期的长度。我们可以紧紧盯着数据，随着数据的变化找到新的发现，即使不知道这些发现有何用途时也是一样。我们可以进行初步尝试，不断试图从数据中找到全新的视角，直到找到引人注目、令人信服的发现为止。这是一个全新的领域，因此我们必须接受先入者的发明，而且肯定也免不了进行大量的试错。我们与客户常常注意到，一般由系统管理员下载并运行软件，然后查看软件运行结果。随后，他们会将自己的发现和结论分享给同事。这些结论经过数据池中的诸多筒仓，最终上报首席信息官或其他能发现数据有何用途的高管。

哈尔认为，系统管理员“能成为独具慧眼的英雄，对于某个事物能获得全新的理解；对于整个企业来说，他们可以发现能使企业产生变化的关键视角，而非仅仅局限于IT部门”。这些新的视角可以从财务上节省大量金钱。举例来说，某家龙头电信公司要开始检查详细通话记录，并根据通话路由线路查看费率表。他们将费率数据与路由数据放在一起，创建出一种实时的通话成本图表，用以标识他们在哪些地方花了冤枉钱。这样，通过对系统进行调整，电信公司就可以节省数百万美元。

尽管获取、存储以及检索数据的技术在迅速发展，但这些技术终究有限。从基础的物理条件到预算的限制，都显示出了其局限性，因此决定存储哪些数据是很有必要的。对于决定哪些机器数据最为有用以及这些数据有何用途，缜密的分析和讨论不可或缺。哈尔说道：“尽管‘数据重生’理念要求先保存所有数据，再决定数据用途，但缜密的分析和规划在整个过程中仍然至关重要。”

哈尔指出，诸如网站日志和应用日志之类的机器数据十分有用，因此一般可以被认为是“稳赚不赔的赌注”。遗留在这些日志中的数字印记能反映出访客访问网站的路径，并且对于不同种类的分析来说也相当有用。数字印记能提供重要的视角，例如在人物、内容、地点、时间、方式相关的问题上融入全新的重要视角，有时也许还能反映用户某些特定行为的原因。由于机器数据的各种元素代表着存储、服务器以及网络使用，所以数据本身也能反映重要的客户和系统之间的交互。对于想要对客户有更好了解以及内部有特殊技术基础设施的企业来说，这些数据都值得保留。

除了识别这些明显有用的数据之外，对于一些模棱两可的灰色区域来说，要找出哪些数据值得保留并探索还需要不懈的努力。哈尔说：“针对机器数据的用途开发架构还有不少要注意的地方。”这个进程包括与客户一起找出有价值、值得保存的数据，并使其更易快速存取（如图1-40 所示）。哈尔称：“有时我们会和客户一起开会协商，他们可能不知道有哪些可能性，因此我们会在大屏幕上显示出数据，互相交流一下意见，研究研究数据：‘我们能从这些数据中得到什么，又能用那些数据做些什么？’”