特征点跟踪之LK光流法

作者: Mezereon | 来源:发表于2020-08-20 19:26 被阅读0次

特征点跟踪之LK光流法
LK光流跟踪
人工智能课第二次
稀疏光流跟踪
稠密光流跟踪
优化特征点法相机轨迹追踪的方案--（光流法尝试）
计算机视觉实战(十六）光流估计 (附完整代码)
pr光流法
菜鸟实习日记~day9(CF+LK)
Lucas-Kanade稀疏光流法

一般而言，LK光流用于特征点的跟踪，即前一帧中的关键像素到当前帧所对应的位置

LK光流会有一些假设：

灰度不变假设：即真实世界的一个确定的点，反应到像素级别，其灰度是不变的
微扰不变假设：即时间的微小扰动不会引起像素的剧烈变化
空间一致假设：相同表面相邻的点具有相似的运动，像素级别时他们也比较接近

基于前两个假设，便有如下约束方程
$I(x,y,z)=I(x+\delta x,y+\delta y,z+\delta z)$

其中 $I(x,y,z)$ 是指在 $z$ 时刻，坐标 $(x,y)$ 的灰度值

对约束方程做一阶泰勒展开可得

$I(x+\delta x,y+\delta y,z+\delta z)=I(x,y,z)+\frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z + R$

其中 $R$ 是高阶余项，视为0

易得
$\frac{\partial I}{\partial x}\delta x+\frac{\partial I}{\partial y}\delta y+\frac{\partial I}{\partial z}\delta z = 0$

两边除以 $\delta z$ ，有
$\frac{\partial I}{\partial x}\frac{\delta x}{\delta z}+\frac{\partial I}{\partial y}\frac{\delta y}{\delta z}+\frac{\partial I}{\partial z} = 0$

其中 $\frac{\delta x}{\delta z}$ 和 $\frac{\delta y}{\delta z}$ 为像素点沿 $x$ 和 $y$ 方向的速度（位移对时间的导数）

简写成 $I_xv_x+I_yv_y+I_z=0$

化作矩阵形式

$\left(\begin{matrix} I_x & I_y \end{matrix}\right) \left(\begin{matrix} v_x \\ v_y \end{matrix}\right) = -I_z$

利用第三假设，可以假设在一个 $m\times m$ 的窗口内，光流是一个恒定的值，即
$\begin{matrix}I_{x_1}v_x+I_{y_1}v_y=-I_{z_1} \\ ... \\ I_{x_{m^2}}v_x+I_{y_{m^2}}v_y=-I_{z_{m^2}} \end{matrix}$

利用最小二乘可以直接得到解

特征点跟踪之LK光流法
一般而言，LK光流用于特征点的跟踪，即前一帧中的关键像素到当前帧所对应的位置 LK光流会有一些假设：灰度不变假设...
LK光流跟踪
一、什么是光流？在前几篇文章中，我们介绍了2D-2D、3D-2D、3D-3D等相机位姿估计方法，它们都是在特征点...
人工智能课第二次
AI Car 第二次展示报告实现的功能功能介绍目标跟踪算法理论基础我们的算法是基于光流法的。光流法是一...
稀疏光流跟踪
稠密光流跟踪
优化特征点法相机轨迹追踪的方案--（光流法尝试）
今天尝试把光流法放到特征点匹配中，以提高单应性矩阵计算的准确度。今天使用以下两张图片：图片1：图片2：看上去...
计算机视觉实战(十六）光流估计 (附完整代码)
光流估计光流是空间运动物体在观测成像平面上的像素运动的“瞬时速度”，根据各个像素点的速度矢量特征，可以对图像...
pr光流法
速度正常想变慢光流方法很好用选中素材切割它再用速度持续时间速度大于百分十若要速度更协调时间插值选光流 ...
菜鸟实习日记~day9(CF+LK)
科研：一、光流算法 @灰度恒常约束光流是图像亮度的运动信息描述。光流法计算最初是由Horn和Schunck于1...
Lucas-Kanade稀疏光流法
光流法光流由于目标对象或者摄像机的移动造成的图像对象在连续两帧图像中的移动被称为光流。如下图所示，它是一个 2...