嵌入式视觉发展及与光流的结合

姓名：王天宇

学号：20181213976

学院：物理与光电工程学院

【嵌牛导读】

近年来,智能视频监控技术越来越受市场的青睐，但是目前的监控系统往往只是对视频信号进行简单的录制与网络传输，尚停留在监控人员对视频信号的人工监视和事后录像分析上,并没有充分利用计算机巨大的计算能力,存在工作量巨大、响应速度慢、存在漏检漏报等不足之处。而计算机视觉与嵌入式微控制器技术的引入有效解决了以上问题。

【嵌牛鼻子】

嵌入式视觉发展及与光流的结合

【嵌牛提问】

嵌入式是如何与视觉发展相结合的？

【嵌牛内容】

近年来,智能视频监控技术越来越受市场的青睐，其涵盖了计算机视觉，模式识别数字图像处理等众多领域的知识。与静态图像相比，运动目标的视频图像帧序列提供了更为丰富直观的数字图像信息。运动目标检测和跟踪是智能监控的关键技术，通过获取运动目标的运动参数，可以描绘出运动目标的移动轨迹，从而实现了对目标运动行为的检测工作，可以有效地应用在智能交通、刑侦侦测和防盗治安等众多领域中。

但是目前的监控系统往往只是对视频信号进行简单的录制与网络传输，尚停留在监控人员对视频信号的人工监视和事后录像分析上,并没有充分利用计算机巨大的计算能力,存在工作量巨大、响应速度慢、存在漏检漏报等不足之处。并且由于公共场合属于多摄像头，多角度的监控模式，每个监控场景的视频需要通过网络实时传输给监控中心集中处理，较容易发生视频传输拥塞与丢包现象，同时带来海量视频数据存储与检索服务器易超负荷运行，检测速度与精度较差等系列问题。

计算机视觉与嵌入式微控制器技术的引入有效解决了以上问题。利用计算机代替人脑来分析、理解监控视频图像的内容，自动查找、跟踪和识别日标，从而实现事件的自动分析与警报,同时,将嵌人式技术应用在图像处理领域，可以构建以嵌人式系统为核心的视觉检测方法，将图像采集﹑图像分析与处理等功能集成在该嵌入式系统中，增强了通信系统安全性，数据传输可靠性及抗于扰能力。

嵌入式视觉可划分为两个高级类别：感知环境和采取行动。视觉导向的机器人和无人机属于后面的采取行动类。

在民用领域，目前无人机是商业、医疗、农业、广播和执法应用中最热门的话题之一。对许多这样的应用，无人机可提供显著的优势。在广播和执法领域，无人机能够以低得多的成本提供之前需要直升机才能提供的能力。无人机还能执行预订服务，例如Amazon Prime 交货服务，或者如乌干达偏远地区的医疗产品交货服务。在农业应用中，无人机能使用高光谱成像来判断作物的健康状况。而这些应用，只不过是目前已经在使用或正在考虑使用无人机技术应用的冰山一角。

这些应用，综合起来体现着我们在嵌入式视觉总体环境中观察到的嵌入式视觉当前四大普遍趋势中的三大趋势：

1、边缘（edge）端通过机器学习获得的智能嵌入在无人机本身内部，需要从它的摄像头提取信息并根据该信息采取行动，达成自己的目标。

2、开放式高级语言和框架—在无人机中实现智能化需要高级框架和语言。这些中最常用的是开源多平台框架，比如嵌入式环境里的 OpenCV、OpenVX，以及在机器学习环境里的Tensor Flow和Caffe。

3、多层次的安全性—用于确保无人机不仅能够运行，且不能影响安全性和信息获取。这种方法要求在器件、系统和网络层面实现多层次的安全性。

第四个趋势是嵌入式视觉的普及化。虽然视觉导向的机器人和无人机还不像我们的手机一样普及——我们常在旅行中用手机来翻译标牌等用途，随着新用例被发掘出来，使用视觉导向的机器人和无人机的应用正处于快速发展中。

在架构层面无人机拥有一些关键的子系统，包括实时精准的马达控制系统、提供与无人机双向通信的软件无线电和精确的嵌入式视觉系统。视觉导向的机器人和无人机主要针对大部分电池供电的应用，因此设计高能效解决方案的能力极为重要。

高精度嵌入式视觉系统提供高帧率，其处理图像和根据图像采取行动的能力要远超过人眼。对许多应用来说，需要使用多个摄像头来形成立体多视觉，以完整掌握无人机周边环境。这也称为传感器融合。虽然许多应用使用多摄像头方法来观察环境，部分应用还会把设计用于观测电磁场频谱不同组成部分的摄像头结合起来使用，例如在超光谱或红外应用中的情况。在使用多个相同类型传感器的时候这一般称为同构，在使用不同传感器技术的时候称为异构。

在算法层面，这种高精度嵌入式视觉系统运行的算法有同步定位与地图构建（SLAM）和光流（Optical Flow），以为平台提供增强型感知和避障系统。这些算法还与更传统的模式和对象识别算法结合。

光流的概念是Gibson于1950年首先提出。所谓光流，是指图像中模式运动的速度。光流场是一种二维瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影，光流不仅包含了物体的运动信息，而且携带着有关景物三维结构的丰富信息。在各种不同的问题中，光流都扮演着重要的角色。在计算机视觉中，光流是较高层视觉信息恢复等极其重要的任务。从一表面的光流恢复三维结构和运动是计算机视觉研究所面临的最富有意义和挑战性的任务之一。

光流的重要地位和作用，使得众多的研究人员加入到研究光流的行列中来，近些年来，他们提出了许多计算光流的方法，并且还在不断涌现新的计算方法。这些方法在概念和性能上都有很大差异，目前，对现有的方法还缺乏一个系统的分类，对它们各自的性能也没有一个统一的认识。但基本可以将其分为基于微分（梯度）、基于匹配、基于相位、基于频率、基于神经动力学的五种方法。