美文网首页
2020KDD-AutoST: Efficient Neural

2020KDD-AutoST: Efficient Neural

作者: andyham | 来源:发表于2020-10-08 23:24 被阅读0次

    作者以及单位

    Ting Li , Junbo Zhang (作者很多,仅罗列第一作者和通讯作者)
    单位是西安交大和京东联合发的文章。

    解决问题

    作者研究了时空预测任务的神经网络结构搜索(NAS),并提出了一种有效的时空神经网络结构搜索方法,名为AutoST。本文设计了一种新的时空域搜索空间,该空间由两类分量组成:(i)在每一层进行可选的卷积运算,自动提取多范围的时空相关性;(ii)可学习跳过层之间的连接来动态融合低级和高级的时空特征。

    大白话解释:根据解决问题的领域来手动设计神经网络需要花费大量的精力和专业知识。作者搭建了一个能够自动建立一个通用的神经网络来处理城市中的各种时空预测任务。我觉得这个也是本文最大的贡献,节省了科研人员的时间。作者在最后的evaluation也谈到了,快大概8-10倍,而且准度也不差。

    研究对象

    本文在出租车流和人流等四个真实时空预测任务(TaxiBJ,CrowdBJ,TaxiJN,TaxiGY)上进行了大量的实验,结果表明所学的网络架构可以显著提高时空神经网络中代表性模型的性能。

    值得注意的是,我觉得除了出租车等数据集上的应用,还可以在城市规划、智能交通和公共安全等一系列智慧城市应用中具有重要意义。如果从应用的角度来说,在横向课题里面,稍微改一改就可以用到了例如智能旅游中,的确文章很有意义。

    研究方法

    为了处理先前工作的遗留问题,本文提出了AutoST模型,具体包含三个部分,分别为:初始时空特征抽取组件,特征学习组件以及额外特征融合预测组件。AutoSt模型和传统模型的比较如下图:


    新旧模型对比,上为传统NAS,下为新的AutoST

    模型整体结构:下图中(a)表示传统的残差模型,具有固定的卷积和固定的连接操作。图(b)中Darts模型具有多种候选操作,如:卷积操作,池化操作和连接操作等。图(c)为本文提出的模型结构,它主要由两种类型操作组成(混合卷积操作和混合连接操作),混合卷积操作在每一层搜索不同的卷积核,混合连接操作在不同的层之间学习否连接操作,目的是进行不同级别特征的融合。

    模型架构

    观看顶会的文章,我看大部分文章在EXPERIMENTAL RESULTS环境中以问题开头,本文也抛出了3个问题,分别是:
    Q1. Can AutoST be applied to a wide range of spatial-temporal prediction tasks and steadily improve performance compared with the state-of-the-art network?
    因为作者说的是设计一个通用的模型嘛,所以试验比较的第一个是,到底是不是可以应付这些时空预测任务(和流行最好的算法比较)
    Q2. Does the proposed search space be more efficient than which in image domain?
    本文提出的空间搜索,是不是比图像中的空间搜索更有效。我揣摩是和传统的方法比,是不是更好。
    Q3. How do the settings of AutoST, i.e., the number of layers and the number of channels impact the prediction result?
    调参是如何影响结果,我觉得这个问题设计的很有新意,即,我如果拿到这个模型,我如何根据我的情况来设置他。
    作者用了2个图,一个表来表示。
    不同方法在(CorwdBJ, TaxiJN, TaxiGY)三种数据集上的实验效果:


    回答问题1

    最后上了一个case,比较北京和贵阳的AutoST的学习结果。这个结果显示的是神经元连接。
    作者做了一些解释:北京跳数较少,贵阳的较多,因为贵阳的交通不如北京的好,所以神经元处理的多。(原文是:We can observe that the architecture searched on CrowdBJ dataset has fewer skip connections. Specifically, there is no skip connection operation in first four layers and on connections to the input in last layers.The reason is that the traffic conditions in Guiyang is not as developed as that in Beijing and the short-range neighborhood dependency contributes more than global features.)
    最后这个环境,我觉得有点新意,作者可能想表达的是AutoST是“看菜吃饭”的,不是所有的城市都是一个解决方案。
    但是如果我是审稿人,我有一些疑问,为啥这个环境没有与其他算法的对比?


    北京和贵阳

    不同方法在TaxiBJ数据集上的实验效果:


    回答问题1 回答问题2 回答问题3

    创新点

    本篇文章的主要贡献可以总结为以下三点:

    (1)提出了一种新的时空预测模型AutoST,该模型引入了神经网络结构搜索技术来动态捕捉空间相关性,并融合多层次特征。此外,AutoST面向的是ST数据,而不是特定的应用程序场景,这些场景可以很容易地应用于一系列深度模型。

    (2)设计了一个高效的搜索空间,包括两个基本模块:1)在每一层使用混合卷积块来捕获不同范围的空间相关性;2)层间混合跳跃连接块,动态融合多层次特征。

    (3)在从出租车流和人流等四个真实时空数据集上进行了广泛的实验,实验结果表明,AutoST可以显著提高时空预测能力。

    结论

    本文研究了利用神经网络结构搜索方法进行时空预测任务的问题。提出了一种新的NAS网络,名为AutoST,它具有一个为时空预测任务定制的高效搜索空间,并可推广到多个不同场景。
    具体来说,AutoST包括一个由多尺度内核组成的可选卷积块,用于在可变尺度下捕获不同范围的特征;一个可训练的连接块,用于动态融合多尺度空间特征。
    本文所提出的AutoST算法能够自动搜索处理多范围、多尺度预测问题的体系结构。此外,AutoST运行高效,并且对场景并不敏感。在人流和出租车流预测等的四个真实数据集上的实验表明,AutoST模型的性能优于固定架构,比其他搜索方法更有效。

    相关文章

      网友评论

          本文标题:2020KDD-AutoST: Efficient Neural

          本文链接:https://www.haomeiwen.com/subject/tslkpktx.html