听的一个直播,讲师为Apollo的王亮,讲的棒棒哒,以下是自己记录下的摘要,和slide的截图
传感器标定
十个camera
标定很辛苦,门槛挺高的,做好不容易。
3.0的时候
搭了一套系统,一键标定,Apollo量产
室外的话有柜子,也是轨道,可以工人操作
image.png
3.5 的 话搞成了一个更方便的,工程的问题,不用搞车间,只给了接口
radar没怎么自己搞,没有raw data 就用了厂商的
车辆的pitch角要估计
做的后融合
lidar 感知,三维的bird -eye view 五到六维的特征, 估计中心的offset
点云为什么用learning based 替换rule based。 距离近的时候,小的被合并 还有大的被分散。 128线的雷达,又重新标了点数据,finetune了。
蓝色三轮的,外卖的车 红色的是行人,和rule 的比干净很多
视觉很难 规划的时候要用3维的信息,but 2维怎么去推3维,反推简单(有几何关系,二维的话,只要在一条线上就满足)
线下的标注,要增加信息,车头车位,标注代价的提升,怎么选择怎么标注。要恢复什么信息,不只是二维框。最后还是要几何北京的去坐数学推导,不是二维上end_to_end.
前向12mm 6mm融合,两百米以外的大概。锥桶也可以检测出来,12mm可以到200米,6mm可以到120m的样子,然后融合起来,在 bird-eye view下
针对环视,旁边两个鱼眼
数据:
一定要保证数据,要mining,怎么利用数据,找 coner case data,要经过一些算法,做挖掘,之前的话所有的都标,现在的话选择标。实时系统,受时间限制,但是在服务器上,没有限制,那么是不是可以训练一个慢十倍的model,然后自动标注(这个方面有时候好得多比人工)
红绿灯例子
加数据,坏的灯,遮挡的,挖掘出来的数据 提升了五个点
auto labeling, 快速扩充传感器能力和适应性。
game engine simulation,仿真的话是美国那边做的,感知在用
还是数据,比如十个摄像头的环视,标注起来一两个月过去了,验证慢。用这个的话快速验证。比如仿真被车压的不行的道路。
开放出来的时候是learing base的,但是后面有加rule base的。 里面的有rule,算是一个可解释的系统。v2x上帝视角,比如红绿灯,大车后面有小车
只用radar加摄像头,感觉安全还是。。。阿波龙就是园区内,还是用了16线。
预测比感知还难,感知的灵敏度,毕竟中国的行人,车。提高帧率,要灵敏度。不停的去试探这个世界,多handle。
算力的要求,视觉很heavily ,要做线程上的调度,两个显卡,cpu还好,有推荐的公共机。 激光雷达,特别大的雨, 加数据,还是很难。
视觉还是mobileye牛逼,大写的服气。现在的话,降低了对地图的依赖,车的抖动,定位误差,直接用地图的话有偏差,感知也要有这个能力,两个互相校验,然后最后信哪个。高精度地图还是会要,只是没有那么依赖。
网友评论