0%
感知概貌
- 感知是机器人学科的问题，机器人要做的即是像人类学习，但不是完全模仿，应做到扬长避短
- 感知的目的是寻找机器的特长并发挥出来，向人类学习并做得比人类更好
- 人类开车与机器开车在感知上的区别
- 人类驾驶员开车主要借助眼睛、耳朵，辅助以倒车影像和雷达来获取驾驶环境的信息
- 机器感知系统则根据各种各样的传感器来获取汽车周围的驾驶环境，包括Lidar，Camera，Radar，超声波雷达以及拾音器等
- 相对人类而言，机器感知是全覆盖，并且感知精度更高，能够达到厘米级别，但是机器感知在语义感知方面相差太大
- 在地图定位方面，人类驾驶员主要依靠导航地图、交通指示牌，机器感知系统则依赖高精地图
- 输出信息的比较，人类驾驶员的感知信息输出主要是大脑输出，无人车感知的信息输出主要是各个传感器的数据，固定目标更多的是依赖高精地图
- 多维度剖析感知模块
- 小感知主要是完成感知任务需要具备的功能模块，包括检测、分割、识别、跟踪、融合等技术
- 大感知是指感知要真正的为无人车系统服务，需要考虑上下游，例如标定，定位，障碍物行为预测等
- 感知模块的维度划分案例
- 第一是传感器维度，也称之为输入。主要有Lidar，Camera，Radar，Ultrasonic高精地图等
- 第二个维度是输出。主要包括障碍物，车道线和道路边界，红绿灯等
- 第三个是问题空间维度。例如感知模块中涉及的一些算法或者要处理的问题，包括2D算法，3D算法（高度、距离、朝向角）。按照时间可以分为静态帧检测和时序处理等
- 第四个维度是机器视觉维度，分为高语义和低语义问题，例如模型计算和几何计算
- 第五个维度是机器学习维度，分为深度学习驱动的感知和通过先验知识进行启发式设计的方法，称之为后处理
- 最后一个维度是系统维度，包括硬件和软件，以及软硬件一体化
传感器和标定（一）
- 激光雷达
- 激光雷达的测距原理是激光头发射光束，打到障碍物上反射回来，到接收器接收到之反射信号的时间间隔乘以光速再除以二得到障碍物的距离，叫做TOF（Time of flight，飞行时间测距法）
- 激光雷达传感器的好处在于自带光源不受外界干扰，白天晚上都可以，而且测距准确度高（厘米级的精度）
- 其缺点是多线激光雷达扫描还比较稀疏，尤其是当障碍物距离比较远的时候，因此，激光雷达目前并不适合做识别任务
- 相机
- 相机是最像人的一个传感器
- 它是被动式的，接受自然可见光的反射最后成像，受光照影响很大
- 它的优点是可以稠密感知，比如说现在的1080p图像，可以感知所有细节
- 相机传感器的缺点是单目相机测距不准，无法做到激光雷达厘米级的测距精度
- 毫米波雷达
- 毫米波雷达的原理和激光类似，只不过发射的是毫米波
- 其优点是测距、测速比较准，缺点是噪点很多
- 它对于非金属的反射信号比较弱
- 超声波的感知距离有限，对金属感知距离3米左右，对非金属只有1~2米
- 高精地图是先把静态元素储存好做成先验知识
- 优点是可以无差错的精确感知，减轻现场感知负担和依赖
- 缺点是加重了整个系统对高精度地图和高精度定位的依赖
- 传感器的安装
- 考虑障碍物遮挡情况
- 考虑方便传感器融合
- 传感器的安装还需要从整车的角度考虑，需要考虑安全，风阻，美观和清洗等因素
传感器和标定（二）
- 在选好、安装完传感器之后，需要对传感器进行标定
- 标定的核心概念是得到传感器之间的相对位置，将不同传感器的数据在同一个坐标系中表示
- 标定分为内参标定和外参标定：内参是传感器自身性质，外参是传感器之间的相对位置和朝向
- 3D标定间
- 在空旷房间的墙面贴满不同的二维码，然后在标定间中间放置一个基于激光雷达的毫米级高精度Rigel激光扫描仪，通过对墙上二维码的多次扫描，完成3D建模，获得了标定间任何一个点的3D位置
- 根据建模结果输出一个查找表，查找表由两栏组成，第一栏是Tag_ID，表示各个二维码的ID编号，第二栏是二维码四个角的3D位置信息
- 标定
- Lidar内参标定：
- 相对于摄像头，激光雷达的内参标定有一定的特殊性。
- 借助Rigel，在开阔平坦的场景下进行完整扫描，得到场景的点云。然后，将要标定的激光雷达对同一个场地进行同样的扫描。
- 之后对两次扫描的点云进行匹配，如果激光雷达的内参不准确，会出现远距离地面点浮在空中的现象。
- Lidar-to-GPS外参标定：
- 计算出Lidar与车上GPS的相对位置。GPS的位置由世界坐标系中的3D点表示，因此计算出外参之后可以计算得到Lidar在世界坐标系中的位置。
- 将车辆在空旷地区绕八字行驶多次，记录多个时间点GPS给出的车辆位置信息(相对于GPS为原点的世界坐标系)，将Lidar捕捉的多帧点云投影到世界坐标系中，并进行拼接，求解优化获得外参。
- Lidar-to-Lidar外参标定：
- 计算不同Lidar之间的相对位置。
- 将每一个Lidar 激光雷达扫描得到的点云与Rigel是稠密的点云之间进行ICP（Iterative Closest Point，迭代最近点）匹配，分别得到激光雷达相对于Rigel的位置。
- 最后将两个位置矩阵相互传递得到Lidar和 Lidar之间的相对位置。
- Lidar-to-Camera外参标定：
- 计算Lidar和相机之间的相对位置。
- 将Camera看到的所有Tag角点与Rigel扫出的对应点的3D坐标进行匹配。
- 将Lidar激光雷达扫描得到的点云与Rigel是稠密的点云之间进行ICP（Iterative Closest Point，迭代最近点）匹配，得到激光雷达相对于Rigel的位置。
- Camera-to-Camera外参标定：
- 计算不同相机之间的相对位置。
- 将车开到标定间，双Camera采集标定间的二维码，获得多个二维码对应四个角点的UV坐标，同时通过查找表得到对应点在3D世界坐标系(Rigel)中的坐标。
- 自然场景中的Lidar-to-Camera外参标定：
- 在自然环境中，驾驶车辆进行两种不同传感器之间的位置关系求解。
- 由于没有了Rigel-Tag，需要在标定的场景中寻找具有明显边缘的物体作为参照物，将该参照物的点云边缘和Camera拍摄图像的边缘对齐作为参数标定效果的考量指标，如果对齐，这表示标定结果良好。
- 自然场景中的Bifocal Camera外参标定：
- 双焦点摄像头之间外参的计算，也是就是不同焦点的相对位置。
- 过程类似于Camera-to-Camera外参标定，但是需要在自然场景中找到边缘锐利的物体作为参照物。
- Camera-to-Radar外参标定：
- 摄像机到毫米波雷达的外参计算。
- Camera-to-Radar外参标定的重点是得到Radar相对于Camera的Pitch角的上下倾斜问题。
参考资料