OpenEI-一个开放的边缘智能框架

姓名：胡娟

学号：20021110092

转自：https://mp.weixin.qq.com/s/732PcIk7e9ABsJibsCC-JQ

【嵌牛导读】在过去的几年里，边缘计算（edge computing）由于其能够减少延迟、节省带宽、提高可用性，并通过保护数据隐私来保证数据的安全，吸引了工业界和学术界的极大关注。与此同时，人工智能算法和模型的也在快速发展，这就加速了智能（intelligence）在云服务领域的成功部署。这两种趋势结合在一起，为我们提供了一个新的视野：边缘智能（edge intelligence,EI）。

【嵌牛鼻子】边缘智能（edge intelligence,EI）

【嵌牛正文】

在过去的几年里，边缘计算（edge computing）由于其能够减少延迟、节省带宽、提高可用性，并通过保护数据隐私来保证数据的安全，吸引了工业界和学术界的极大关注。与此同时，人工智能算法和模型的也在快速发展，这就加速了智能（intelligence）在云服务领域的成功部署。这两种趋势结合在一起，为我们提供了一个新的视野：边缘智能（edge intelligence,EI）。但是，将现有的AI技术直接应用在边缘计算上存在以下挑战：

1.计算能力的限制：相对于云数据中心，边缘计算通常是资源受限的，不适合执行以DNN为代表的AI算法，因为DNN需要占用大量的存储资源和计算能力。

2.数据共享和协作：云数据中心上的数据易于处理和管理，这有利于数据的集中。然而，边缘数据的时空多样性阻碍了数据的共享和协作。

3.边缘平台和AI算法的不匹配：云上的计算能力是相对一致的，但是边缘上拥有不同的计算能力。同时，不同的人工智能算法对计算能力有不同的要求。因此，将现有的算法与边缘平台进行匹配是一个很大的挑战。

因此，为了解决这些挑战，在这篇文章中，作者卓有远见地指出，在边缘智能的领域中，亟需一个能够快速部署在边缘，并运用边缘人工智能的框架。这篇文章首先系统地介绍了EI 的定义。然后，介绍了一个开放的边缘智能框架（OpenEI），这是一个轻量级的软件平台，使边缘具有智能处理和数据共享的能力。这篇文章分析了用于构建OpenEI的四种基本EI技术，并根据潜在的研究方向确定了几个有待解决的问题。最后，作者还给出了OpenEI 支持的四种典型的应用场景。  

边缘智能(Edge Intelligence)

A.Motivation

EI的发展有两个方面。一方面，物联网的蓬勃发展导致物联网数据急剧增加，需要在边缘进行处理。在这篇文章中，作者将物联网定义为全球数十亿安全连接到互联网的物理设备，这些设备单独或协同地手机和共享数据。另一方面，人工智能应用的出现对实时性提出了更高的要求，如自动驾驶、实时翻译、视频监控等。为了对海量的边缘数据进行智能处理，这篇文章还提出了一种基于EI 的智能边缘数据处理方法。

图1 Motivation of Edge Intelligence

B. Definition

目前有许多有关EI的研究。IEC 将EI 定义为网络边缘用机器学习算法获取、存储和处理数据的过程，认为一些信息技术和制造技术的行业正在向网络边缘迈进，因此，诸如实时网络、安全能力和个性化定制的连通性等方面都将得以解决。

在这篇文章中，作者将EI定义为使边缘能够执行人工智能算法的能力。边缘硬件的多样性导致其运行的AI模型或算法也不一样。也就是说，边缘具有不同的EI能力。在这里，能力被定义为四元组<< span="">Accuracy, Latency, Energy, Memory footprint>, 可以缩写为ALEM。

准确性(accuracy)是AI 算法的内在属性。在实践中，准确性的定义取决于具体的应用，例如在机器翻译任务中使用BLEU评分度量。为了在边缘上执行人工智能任务，一些算法通过压缩模型大小、量化权重和其他降低精度的方法进行优化。延迟表示在边缘运行训练过的模型时的推理时间。为了度量延迟，作者计算了多个推理任务的平均延迟。能量是指在执行推理任务时增加的硬件功耗。内存占用是运行AI模型时的内存使用情况。能量和内存占用表明算法对边缘的计算资源需求。 

EI涉及到很多知识和技术，如人工智能算法设计、软件和系统、计算架构、传感器网络等。图2显示了EI的概述。为了支持EI，开发了许多技术，称为EI技术，其中包括算法、软件和硬件。云和单个边缘之间存在一对一的对应关系。从算法的角度来看，云数据中心训练强大的模型，边缘进行推理。随着EI的发展，edge还将承担一些本地的训练任务。从软件的角度来看，云运行集群操作系统和深度学习框架，如TensorFlow和MXNet。在边缘，嵌入式操作系统和独立操作系统都得到了广泛的应用。轻量级的深度学习包用于加速执行，如TensorFlow Lite和CoreML。从硬件上看，云数据中心部署在高性能平台上，如GPU、CPU、FPGA、ASIC集群等，而边缘设备的硬件是异构的，如边缘服务器、手机、树莓派、笔记本电脑等。

B. Definition

图2 边缘智能

C.Collaboration

如图2所示，EI有两种协作类型:云-边缘协作和边缘-边缘协作。在cloud-edge场景中，模型通常在云上进行训练，然后下载到边缘执行推理任务。有时，边缘会根据生成的数据通过迁移学习(transfer learning) 对模型进行再训练。经过重新训练的模型将被上传到云端，并合并成一个通用的、全局的模型。此外，研究人员还关注云和边缘上的分布式深度学习模型。例如，DDNN是一个跨云和边缘的分布式深度神经网络架构。

边缘协作有两个方面。首先，多个边缘协作完成一个计算密集型任务。例如，在训练一个庞大的深度学习网络时，会有多个边缘分布。任务将根据计算能力进行分配。第二，多个边缘一起工作，根据不同的环境，以不同的部门来完成一个任务。例如，在智能家居环境中，智能手机可以预测用户何时离家，并触发智能恒温器，从而为用户设定合适的温度。

D.Dataflow of EI

如图3所示，边缘设备生成的数据来自不同的来源，如汽车、无人机、智能家居等，有三个数据流:

首先是将数据上传到云端，基于多源数据进行训练。当模型训练完成后，云会根据边缘数据进行推理，并将结果发送到边缘。这种数据流在传统机器智能中得到了广泛的应用。

第二是直接在边缘执行推理。边缘设备生成的数据将作为从云端下载的边缘模型的输入。边缘将根据输入和输出结果进行推理。这是当前的EI数据流。

第三是在边缘进行局部训练。利用迁移学习的优势，将数据用于边缘模型的再训练。经过再训练后，边缘会建立一个个性化的模型，该模型对于边缘设备上生成的数据具有更好的性能，这将是未来EI的数据流。

图3 边缘智能的数据流

OpenEI

这篇文章中，作者提出了OpenEI(Open Framework for Edge Intelligence)，是一个轻量级的软件平台，使得边缘具备智能处理和数据共享的能力。OpenEI的目标是任何硬件，从树莓派到强大的集群，在部署OpenEI后将变成智能的边缘。与此同时，与目前运行在深度学习包上的AI算法相比，EI的属性、准确性、延迟、能量和内存占用将有一个数量级的改进。

图4 OpenEI 概述

典型应用场景

随着EI技术的发展，许多新的应用正在迅速涌现，如公共安全的实时视频分析、自动驾驶、智能家居和智能医疗服务等。如图4所示，OpenEI提供了RESTful API来支持这些AI场景。在这里，将简单介绍OpenEI支持的典型的应用程序场景。

A.公共安全视频分析

公共安全视频分析(VAPS)由于具有较高的实时性要求和不可避免的通信开销，是边缘计算领域最成功的应用之一。OpenEI用于部署在相机或边缘服务器上，以支持VAPS并为用户提供API。OpenEI支持的视频分析在公共安全方面的应用分为算法和系统。从算法的角度出发，旨在设计一种支持EI 的轻量级模型。从系统的角度出发，使得智能手机和随身相机等边缘设备能够运行VAPS应用程序的机器学习模型。

B.自动驾驶汽车

今天，汽车已经不仅仅是一个机械设备，而是逐渐成为一个智能的、互联的、自动的系统。我们称这些先进的交通工具为互联自动驾驶汽车(CAVs)。CAVs是EI的一个重要应用场景，CAVs中许多应用都与EI算法紧密结合在一起，如定位、目标跟踪、感知和决策。OpenEI还为CAVs场景提供API，以便在车辆上执行AI算法，输入是由机载摄像机采集的视频数据。

C.智能家居

随着电子商务和人工智能技术的发展，智能家居已经变得普及和廉价。利用不同类型的物联网设备(如照明设备、温湿度传感器、监控系统等)，可以在EI的保证下跟踪家庭内部状态，确保家庭的安全、舒适、方便。在智能家居中引入EI的好处是双重的。首先，家庭隐私得到保护，大部分计算资源被限制在家庭内部网关，敏感的家庭数据被禁止流出。其次，由于智能边缘设备的能力使得智能家居的安装、维护和运行更加方便，劳动力需求更少，用户体验也将得到改善。作为一个重要的EI场景，OpenEI提供API来调用与智能家居相关的AI算法。

D.智能医疗

健康和生物医学正在进入一个数据驱动的时代。一方面，医疗器械的发展通过数据显示健康状况;另一方面，随着健康意识的普及，人们开始使用智能边缘设备来跟踪自己的身体状况。与上面的其他三个场景类似，OpenEI也提供了相关算法的API调用。

论文出处：Zhang, Xingzhou, Yifan Wang, Sidi Lu, Liangkai Liu, Lanyu xu, and Weisong Shi. "Openei: An Open Framework for Edge Intelligence." 2019 IEEE 39th International Conference on Distributed Computing Systems (ICDCS), 2019.