列表

详情


39. 说一说关于点云处理以及深度学习的点云语义分割

回答思路

1)点云处理

概念:点云(Point Cloud)技术是利用三维激光扫描设备等通过自动化的方式直接或者间接采集物体表面大量点的三维信息,然后输出为特定的存储格式,点云数据是指空间参考系下某一物体在空间中坐标位置以及集合特征、纹理特征等的散乱点集合。

点云数据获取方式:基于视差原理、使用深度相机、利用激光雷达

点云数据存储格式:点云是表示对象或空间的数据集。点的坐标表示原始采样表面上单个点的x,y,z几何坐标。点云是将许多单个空间测量值规整到一个可以表示整体的数据集,常见格式包括:ply、las和pcd等。

点云处理方式:原始点云的处理主要是点云滤波(直通滤波、体素滤波、统计滤波、半径滤波)、点云分割(基于区域生长的分割、最小图割的分割、多视图卷积神经网络分割、3DMAX-Net分割)、点云聚类、点云识别(基于对称函数解决点的无序性问题的PointNet网络、使用卷积对点云数据进行加权排序的PointCNN)以及点云配准,包括传统法和基于深度学习的方法。

(2)点云语义分割

在计算机视觉中,语义分割的任务是分割图像或者点云,区分出不同的分割物。当使用语义分割时,将图像或者点云划分为语义上有意义的部分,然后在语义上将每个部分标记为预定义的类之一。

从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(

IEEE Robotics and Automation Letters .2020):结合2D和3D学习层的LIDAR语义分割,首先通过滑动框搜索球形投影后的像素点学习2D表示,再从3D数据中抽取局部和全局信息。该表示被输入到一个2D全卷积神经网络(FCNN),可产生2D语义分割。获得的2D语义标签被重新投影回3D空间,最后进行后处理,所有3D点都将基于K近邻(KNN)获得新的语义标签,选择K个最近点的标准不是基于相对的欧式距离,而是基于相对深度值。

大规模点云分割RandLA-Net (CVPR 2020):受限于昂贵的采样方法和复杂的处理步骤(点云采样方法计算量大、内存占用高;点云局部特征学习器依赖于图构建,速度慢,感受野不足),导致现有的方案都只能处理小规模尺度的点云分割场景。RandLA-Net采用随机采样算法,并结合局部特征聚合模块,通过逐步增加每个点的感受野来更好的学习和保留大场景点云中复杂的几何结构,最后采用基于attention的点云特征池化方法,获得了更高的池化精度。

上一题