美文网首页关于搜索,我们聊聊理科生的果壳知曰
[译文]图论是理解大数据的关键

[译文]图论是理解大数据的关键

作者: 朱小虎XiaohuZhu | 来源:发表于2014-08-14 17:43 被阅读935次

    Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
    作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

    Is Graph Theory Key to Understanding Big Data

    By DR. Roy Marsten, Emcien

    图论起源于著名的柯尼斯堡七桥问题,并且与一位伟大的数学家L. Euler相关。插一句,这个名字可不是那么容易读准确的。在读研的时候,常常听起宋公方敏的德语发音,无比高大上。而到现代,图论的发展异常迅猛。由于其本身的通用性和抽象能力的强大,现在的世界已经是图论发挥其重要作用的天地,大有囊括自然科学的趋势(成为 一个框架,能够供众多理论在里面玩耍)。这篇文章是一个初级介绍,从搜索巨头Google说起,点破了现在大数据场景下图论最为关键的应用。

    在Google诞生后的一小段时间内,它已经成为了人们日常生活的必须品。

    在众多美剧中,你都可以看到主人公使用Google来查询人物或者事物,在《Supernatural》中就常常看到这个场景,地址,历史,人物关系都可以使用搜索引擎获得。

    搜索已经成为了难以避免的生活方式,由于他们集中服务和产品在索引因特网这一杰出的工作之上。

    Google的网络爬虫和PageRank算法革新了人们搜索网络的方式,使用分类数字和网络连接的重要性比以前更快地传达了相关信息。

    这些网络连接和网站一起形成了一个连接图。这不是我们一般意义上的“图画”,而是一个表象背后的众多个体的关联图。

    PageRank使用这些连接来判断一个网页有多重要或者多么有价值。被众多第三方网站链接指向的网页更可能出现Google搜索的结果中,其原因是那些网站是具有一定的权威性的信息来源。Google搜索结果一般来说要更快更好因为他们的算法将网页之间的链接关系发挥到了极致。

    通过这样去思考关于链接和与其他类型的数据的关系,我们可以揭示数据的本性(the nature),并知道什么是相关的,什么并没有关系,并且知道什么是重要的,什么不重要。

    When a Connection Becomes a Pattern Becomes a Graph

    来看看如何对数据进行分析和处理来揭示一个问题的答案,理解传统的与数据交互的方式很重要。大多数的寻求答案的方式的本质是搜索。

    搜索是一个本质问题,这个是理论计算机科学中有过相应的讨论的。搜索就对应着一个搜索空间,这里是可能的所有的解的集合。而我们就是要在这里面找出满足给定要求的解集合。然而这与我们使用的搜索引擎时提及的搜索是不同层面上的概念,然而察其本质仍是一个。

    搜索始于一个问题的形成。我们若是可以更好地为已有知识和他们和数据的关系,便更有可能通过相应的问题获得最终答案。如果你需要找到你的钥匙,你可能会问“我的钥匙在哪里?”。这就不如“我的钥匙在柜台上么?”更加准确了。第一个问题可能太过宽泛了,而第二个则在你的钥匙在柜台上的时候才算是一个好的问题。

    查询数据库的方式和上面相似。为了获得想要的结果,你需要构造与数据相关的查询语句。总有更多你可以使用的语句来运行。但是极少的查询语句可以让你得到相应的解答。

    这个极为困难的问题让数据科学相当棘手,不过也正是数据科学家们的价值所在。那群最厉害的人是既了解数据本身,也理解用来回答的那些技术的人们。

    如果网络是你的数据集,那么搜索引擎就是你的查询工具。

    搜索引擎在爬取网络,索引网页使得这些数据可以通过搜索获得。这些搜索的结果相差很大,不过通过创建更好的搜索关键词,用户可以改变自己的查询结果。搜索引擎在不断地提高准确度,而创新时刻直到2000年才暴增。

    Google的PageRank渐渐流行,整合和排名内容通过每个超链共享的链接(organizing and ranking content by connections that each link shared)。使用图的链接,Google已经量化了网页的链接来帮助用户更快的获得正确的结果。当然更好的查询语句会让用户得到更加准确的结果。

    查询和PageRank算法之间有一个特定的关系。Google已经映射了或者图化了网页之间的关系来识别那些更加相关的网页。没有这样的关联的网页和联系的映射,Google需要更好的查询来获得一个令用户满意的结果。甚至使用了加强的搜索技术,现代数据问题可以让构造正确的更加准确的查询更加困难或结果更糟糕。

    理解数据之间的这些关系,不管它是网页、产品、货车的特征、信息中的字词或者病人的症状、治疗和收入等等,这是接受图的第一步,也是今后人们看待数据的方式。

    今天所拥有的数据,还有我们观察数据的方式,已经深深迈进图论的领域。在未来,我们借助来理解数据将带来一个搜索得到结果的飞越。创建和分析可以让答案自动的得出。当我们让数据自己互联时,其意义已经自动地出现了。

    相关文章

      网友评论

      • LostAbaddon:@Not_GOD 物理方面偏重的领域记得和计算机方面很不一样。我们那个时候也就只用到平均场方法导出一组动力学方程组,这个主要偏向于整体结构的演化趋势。对于单独节点或者节点簇反正那个时候我们是没怎么考虑啦,全部交给计算机程序模拟去了。。。就和你说的一样,最后就变成了一个计算问题。
      • 朱小虎XiaohuZhu:@LostAbaddon 另一个比较酷的是博弈论,这玩意儿和图论(或者复杂网络)的融合就是无敌了。可以刻画各种带有个体交互的系统。不过本质上会化归到一个计算问题。这类问题常常是NP hard的。
      • 朱小虎XiaohuZhu:@LostAbaddon 我以前也做过复杂网络的,不过基本上是静态的结构,没有涉及网络生成模型那方面的研究。以后要多多请教你了。 :smiley:
      • LostAbaddon:物理上有一个和计算机的交叉领域叫复杂网络的,其中的基本数学工具就是图论。
        以前做论文的时候就搞过这个东西。。。

      本文标题:[译文]图论是理解大数据的关键

      本文链接:https://www.haomeiwen.com/subject/ktmetttx.html