列表

详情


40. 介绍下pointnet

回答思路

(1)概念

Pointnet是在2017年由斯坦福的研究人员提出,该网络架构可以用于直接处理原始三维点云数据,可落地与分类、语义分割和目标识别等多种认知任务场景。不同于基于体素的方法或基于多视角图片的方法,pointnet网络不需要对点云数据预处理再使用,可以直接使用原始三维点云数据进行训练,最大程度的保留并利用了原始点云信息。网络结果如下图所示:

(2)主要流程

输入为一个全部点云数据的集合,将其表示为一个N*3的2D张量,其中N代表点云数量,3对应( x, y, z)三维坐标

输入的点云数据先和一个由对齐网络T-Net学习到的旋转矩阵相乘,将输入数据旋转到一个适合进行分类/分割的角度,保证了pointnet对物体空间转换的不变性

通过多个MLP卷积层提取各点特征,再用一个特征对齐网络T-Net对提取到的高维特征进行对齐

在特征的各个维度上执行最大池化Max Pooling操作来得到输入点云数据的全局特征

对于分类任务,将全局特征通过MLP来预测最后的分类分数

对于分割任务,将全局特征和之前学习到的各点的特征进行串联,将组合后的特征通过MLP得到各点的分类结果。

(3)算法贡献

Pointnet最主要的贡献是解决了如何在点云数据上直接应用深度学习方法的问题,通过使用对称函数Max Pooling解决了点云数据的无序性问题,同时,通过训练对齐函数来学习点云的旋转,然后对不同角度输入的点云进行空间变换,解决了点云姿态变换的类别不变性问题。基于以上的设计,使得pointnet能够直接处理原始点云数据,为点云数据的分类、分割和目标

上一题