动机：为何要买摄像头模块？ 为何要买双目模块而不是？
摄像头高分辨率，低价格。
用2个摄像头，加视差算法，测量图片中物体与摄像头的距离，输出深度图。
用2个摄像头不容易做到图像的同步，所以要哟呵个双目模块，方便左右眼同步
行为：CHUSEI双目摄像头 ，购买日期：2022-02-12
CHUSEI双目摄像头 参数
30万像素
UVC协议免驱
双目同步，
视角60度？
45元
缺点没有主动光，在环境较暗的时候不工作。
行为：HBV双目摄像头，购买日期： 2022-02-23
HBV双目摄像头参数
130万像素
UVC协议免驱
双目同步，
视角80度。
200元
缺点没有主动光，在环境较暗的时候不工作。
动机：将2个板子跑起来，输出左右眼图片
一大堆 debug，挑几个重要的
原始例程中摄像头ID不能用，用程序暴力搜索找到ID--700
CHUSEI板子设置时，dev.set_configuration() ##这个语句必须有
有时因程序崩溃，摄像头资源被占用，需要释放资源。否则报错。
数据格式很重要。矩阵格式，数据格式cv2.uint8，单通道，3通道
动机：提取特征
特征点 提取
SIFT,
SURF,
ORB特征点提取和匹配 速度最快的。必须进行后续处理，删除错误匹配
特征线 提取
canny边缘提取
特征面 提取
改进的二值化，可以选择面积大小，
轮廓线提取，todo 将短序列去除，相当于降噪
水平单方向滑动算法。 视差可以转换为深度。
傅里叶变换，从空间域到频率域
动机：双目重合时的特征提取。
将左右眼图片重合。在数学上如何计算，首先要明确用何种描述，来表达局部重合度这个概念
答案是局部匹配度可以用多种方法表示
二值化图 可以用xor表示。完全重合会变黑。
灰度图 可以用双眼重合图水平方向的梯度表示。（主眼视图和双眼重合图）
双眼重合图的特征，可以用亮度概率直方图（亮度分布曲线），FFT频率图，orbFAST角点图，orbBRIEF特征图。
如果特征是数值，主眼视图可以作为基准，重合时，双眼重合图-主眼视图距离最小。
因为两个图都是对焦良好的聚焦图像，所以似乎不能用相机对焦的反差法计算。
动机：减少噪音
噪音无处不在，从环境光的波动噪音，物理器件的AD转换噪音，到计算管线中产生的各种噪音，最后都会累计，并对深度图产生不良影响。解决方式有：
硬件
用更好的摄像头硬件（HBV板子默认分辨率只有 5 FPS，CHUSEI板子 30 FPS）。
todo 降低HBV分辨率，再次测试。
软件
用去噪算法，损失分辨率
二值化算法，配合时间维度上的滤波算法。调整阈值参数c。
动机：获得深度图
深度图用双目，从基准对齐（无限远）到离摄像头20cm远
用树枝（花）检验算法有效性和分辨率
动机：机器人感知环境和物品
用机器学习实例分割，查找感兴趣区域“ROI”，建立360度的深度图
动机：驱动机械臂，抓取物品
触觉反馈算法（抓住竖立的铅笔），PID算法（用目标位置和机械手位置，迭代算法。不用空间解析算法）
网友评论