想象一下你面前有一台自动驾驶汽车深夜在没有路灯的施工路段行驶摄像头已经完全失效它凭什么还能感知到前方200米处的一根细细的电线杆答案是激光雷达每秒发射几百万个激光点这些点撞到物体后反射回来最终形成一团密密麻麻的点云。点云就是这么个听着高深、其实很直觉的概念它是空间中大量三维点的集合每一个点都有明确的XYZ坐标有的还带颜色、反射强度等信息。相比普通的二维图像点云直接记录了物体表面的三维结构在机器人导航、自动驾驶感知、地形测绘、文物保护、工业检测、AR/VR等领域都是基础设施级别的数据形态。这篇笔记是我自己入门点云时梳理的第一篇——先回答两个最基础的问题点云数据到底是什么以及这些数据从哪来。如果你刚开始接触PCLPoint Cloud Library、CloudCompare或者只是被点云配准点云分割这些词砸晕过这篇比较适合你。1. 点云到底是什么从一堆点到一个世界1.1 点云的本质是让计算机看得见三维空间先说个最朴素的类比。你拿手机给一个杯子拍照片拍出来的是一张二维像素矩阵每个像素只有 RGB 三个通道你靠大脑的立体视觉经验才能脑补出这个杯子是圆的。但是计算机没有这个脑补能力它拿到的就是一张平面图。点云换了一种思路直接告诉计算机这个杯子的表面是由哪些空间点构成的。每个点在世界坐标系里都有一个对应的 (x, y, z) 位置。当这些点的密度足够大时它们共同“勾勒”出的物体的几何轮廓、位置和姿态就是计算机能够“理解”的三维世界。单个点本身几乎没有意义但几百万个点叠加起来物体的表面就出来了。这就好比素描一根线条看不出什么东西线条密集排列在一起人脸的轮廓就浮现出来了。点云的密度直接决定了它对物体细节的还原程度。1.2 一个点包含什么坐标只是起点一个最基础的点云点至少包含三维坐标信息x在设定坐标系下的横坐标y在设定坐标系下的纵坐标z在设定坐标系下的高度/深度方向坐标但实际工程中单个点往往还带有很多额外属性常见的有几种属性含义典型来源典型用途RGB 颜色点的颜色信息双目相机、RGB-D相机语义分割、视觉建模反射强度 intensity激光反射回来的信号强度激光雷达地物分类、路面标线识别法向量 nx, ny, nz该点所在表面的朝向通过邻域点估算配准、分割、表面重建时间戳该点被采集的时刻机械式激光雷达运动补偿、动态目标检测回波次数 return number第几次回波激光雷达植被穿透、遮挡边缘处理其中法向量不是传感器直接给的而是后期利用周围邻域点拟合出的切平面方向这一步在点云处理的预处理阶段非常常见。法向量估算的质量直接影响后续配准和分割的效果这个在后续笔记中会专项展开。1.3 有组织的点云和无组织的点云入门后你会发现点云一般分两种组织形态理解这个区别对后续写程序很关键有组织点云(organized point cloud)点之间有严格的行列结构相当于一张深度图depth map 相机内参每个像素对应一个3D点。好处是查找邻域非常快可以直接用图像处理算法。无组织点云(unorganized point cloud)点之间没有拓扑关系就是一个散乱的点集合。激光雷达扫描的裸数据基本都是这种计算邻域需要建KD-tree或Octree。很多新手拿到点云后第一个疑惑是为什么我的点云不能直接像图像那样做卷积答案就在这里——大多数传感器输出的点云都是无组织的空间分布不均匀近处点密、远处点疏没法直接套用规则的图像处理框架。2. 点云的坐标系约定这是一切处理的地基2.1 三种坐标系别搞混了在点云处理中坐标系是很容易出问题的地方。不同传感器、不同软件坐标系约定经常不一样。入门前至少要把下面这几个分清楚世界坐标系描述整个场景的全局坐标是点云最终要统一到的目标坐标系常见约定是X轴朝前、Y轴朝左、Z轴朝上右手系。相机坐标系以相机光心为原点X轴朝右、Y轴朝下、Z轴朝前这是计算机视觉教科书里最经典的约定。激光雷达坐标系不同厂商差异很大有的Z轴朝上有的Z轴朝前。拿到点云数据后第一步必须先搞清楚数据是在哪个坐标系下描述的。处理激光雷达点云时一个最容易踩的坑是坐标轴的朝向不统一。举个亲身经历某次我拿Velodyne的pcap数据直接用默认参数在PCL里可视化发现整个场景是躺着的车辆路面变成了竖直立面。后来查文档才发现该型号点云的Z轴默认朝上但另一位同事导出时做了坐标轴交换两套数据混在一起用配准结果就完全乱了。2.2 传感器之间的坐标变换实际应用中一个机器人或者车上往往不止一个传感器。激光雷达、摄像头、惯性测量单元(IMU)各有各的坐标原点。要融合它们的信息就得做外参标定把不同传感器坐标系下的点统一到一个坐标系中。这一步在点云入门阶段不一定要深入但你需要知道点云配准registration和坐标变换transformation是点云领域最核心的操作之一后者本质上是刚体变换包括旋转R和平移t即p R·p t。Q为什么一个简单的刚体变换这么重要A因为所有多传感器融合、多帧拼接、点云地图构建本质上都在反复做这件事。这块推导细节会在配准那篇笔记里详细写这里先建立个概念点云处理里你能看到的所有炫酷效果都建立在一堆矩阵乘法和求最优解之上。3. 点云的获取方式主流传感器是怎么画出三维世界的点云数据的来源远比大多数人想象的要丰富。常见获取方式有激光雷达、双目相机、结构光相机、ToF相机等。它们的原理和适用场景完全不同选错了会非常痛苦。下面逐一拆解。3.1 激光雷达(LiDAR)靠飞行时间测距激光雷达的原理可以用一句话概括发射一束激光打到目标后反射回来传感器记录激光往返的时间Δt配合光速c就能算出距离d c × Δt / 2。再结合激光发射器的角度水平角和俯仰角就能把每个测量点的三维坐标计算出来。机械旋转式激光雷达尤其Velodyne、禾赛、速腾这类是当前自动驾驶领域用得最多的形态。它上面有一排激光发射器以一定转速整体旋转每转一小圈就采集一圈扫描线最终形成具有明显线束特征的雷达点云。这类点云有几个特点你在处理时要特别留意点云密度随距离衰减严重近处的点密远处的点非常稀疏。10米以内的物体可能有几千个点100米外的可能只有十几个点。存在穿透效应激光束能部分穿透树叶、细枝产生多次回波这对植被区域的地形测绘是优势但对障碍物检测是干扰。机械旋转式点云带有时间偏移点云是一圈一圈累积出来的如果载体在运动点云本身自带畸变需要做运动畸变补偿。我第一次用Velodyne VLP-16处理高速公路场景时跑到算法库里直接跑了个聚类结果把一辆大货车识别成了两个目标——因为货车顶部激光照不到车身又被前一根电线杆的穿透回波干扰点云断成了几截。后来才发现这类点云必须结合运动模型先做运动畸变补偿不然目标分割从一开始就是错的。3.2 双目相机靠视差算深度双目相机用两个平行放置的普通摄像头模拟人眼双目视觉。同一个3D特征点在左右两张图像上的像素位置是不同的这个位置的差异叫视差(disparity)。根据三角测距原理深度和视差的关系是z (f × b) / d其中 f 是焦距b 是左右相机光心之间的基线距离d 是视差单位是像素。这是一个反比关系物体越远视差越小深度精度越差。双目方案的优点是不需要主动光源室内室外都能用功耗相对低成本便宜。缺点也很明显对纹理敏感纯色墙面、大面积光滑表面的视差计算容易失败产生大量深度空洞。远距离测距精度差10米以外基本没法用。计算量大实时视差计算非常吃算力。实际做项目时双目相机输出的点云质量高度依赖标定精度。我见过不少团队在室内效果不错一搬到室外阳光下就崩了因为强光导致左右图匹配失败点云里全是噪声洞。3.3 结构光靠投影图案还原表面结构光方案的代表是微软的Kinect v1、Intel RealSense系列。原理是投影仪向场景投射一个已知的编码图案常见的有红外散斑点、条纹相机拍摄被物体表面调制后的图案图案的形变程度反映了物体的三维形状再利用三角测距原理计算深度。这类方案有几个特点短距离精度高尤其适合1米到3米范围内的精细建模比如人脸扫描、手势识别。没有纹理也能还原因为它主动投光不依赖物体表面本身的纹理特征。受到环境光影响极大在强光直射比如户外晴天下几乎失效。有效距离短超过5米精度衰减得非常厉害。如果你打算做室内三维重建、物体识别这类任务结构光相机是个性价比很高的选择但你若想做室外场景感知趁早放弃户外阳光会直接淹没红外投影。3.4 ToF相机用光的直接飞行测量ToF相机Time-of-Flight Camera和激光雷达的原理类似但实现形态不同。它是用面阵传感器一个个像素单元同时测量整幅场景的深度每个像素独立记录光脉冲往返的相位差或时间差比如Kinect v2、苹果iPhone上的Face ID用的就是ToF方案。ToF的优点在于帧率高能实时拿到密集深度图很适合手势控制、体感互动。没有双目那种纹理匹配问题光滑表面也能处理。元器件体积小适合集成到消费级设备。缺点也不容忽视分辨率低单帧像素数通常远低于普通相机常见只有几十万像素。多路径干扰光线在物体间来回反射会影响测距精度墙角、金属边缘、镜面尤其严重。距离越远、误差越大很多ToF相机在4米外就基本没法用了。在工业场景里我见过不少人拿ToF相机做料框抓取结果反光的金属工件表面出现大量噪点抓取位姿计算直接失败。反光、透明材料的测距是目前所有主动光学方案的共同痛点。3.5 不同获取方式的横向对比我把这几种方案的特性整理成一个表方便做技术选型时快速对照特性激光雷达双目相机结构光ToF相机测距原理飞行时间视差三角编码光三角飞行时间测距范围高可达200m中≤20m低≤5m中低≤10m精度厘米级中近距离较好近距离毫米级中等环境光影响弱强强中等纹理依赖无强弱无成本高数千到数十万低低中等典型场景自动驾驶、测绘机器人、AR人脸建模、工业检测手势识别、体感看完这个表你应该能理解为什么做自动驾驶的都爱堆激光雷达而做消费级产品的团队更偏向ToF和结构光。3.6 开源数据集没有硬件也能入门如果你手上还没有任何传感器硬件也别卡在这一步。学术和工业界有大量高质量开源点云数据集正好可以作为入门练手素材KITTI数据集自动驾驶领域最经典的公开数据集包含64线激光雷达点云、双目图像、GPS/IMU数据并且标注了车辆、行人、自行车等3D检测框非常适合用来练配准、分割和3D目标检测。SemanticKITTIKITTI的语义标注扩展版每个点都被标注了语义类别如道路、车辆、植被、行人适合做点云语义分割。nuScenes包含32线激光雷达、6个摄像头、5个毫米波雷达覆盖城市复杂场景是当前多传感器融合感知方面的重要数据集。S3DIS / ScanNet室内场景点云数据集常用于室内语义分割和场景理解。提示如果你是纯新手我建议从KITTI开始。它除了数据量大、标注规范以外配套的论文和开源代码也最多遇到问题时随便一搜基本上都能找到参考实现。4. 拿到点云之后常见文件格式与转换4.1 PCD格式(PCL默认格式)PCDPoint Cloud Data是PCLPoint Cloud Library库的默认格式。它的文件结构分两部分文件头以纯文本形式记录点云版本、字段名、每个字段的类型和维数、点的总数、数据存储类型ASCII或二进制。数据体按文件头的字段顺序逐点排列。一个典型PCD头长这样# .PCD v0.7 - Point Cloud Data file format VERSION 0.7 FIELDS x y z rgb SIZE 4 4 4 4 TYPE F F F F COUNT 1 1 1 1 WIDTH 108924 HEIGHT 1 VIEWPOINT 0 0 0 1 0 0 0 POINTS 108924 DATA ascii解释几个关键字段FIELDS每个点的属性维度这里是 x, y, z, rgb。WIDTH和HEIGHTHEIGHT1表示这是无组织点云点数量等于WIDTH如果 HEIGHT1说明这是有组织点云可以按行列索引。DATA ascii数据体的存储方式可以是ascii或binary。文件大的时候推荐用binary读取速度快很多PCL加载大型PCD时用binary格式和ascii格式的耗时差别非常明显。4.2 PLY格式兼顾几何和颜色PLYPolygon File Format最初是斯坦福大学开发的除了保存点云还能保存三角网格Polygon Mesh是许多三维扫描仪重建后的常用输出。它天然支持点颜色、法向量等属性在CloudCompare和MeshLab里打开体验很好。4.3 LAS / LAZ格式测绘和GIS领域的标准LAS是ASPRS美国摄影测量与遥感学会制定的激光雷达标准格式广泛应用于测绘、林业、地形分析。它存储的字段非常丰富包括坐标、强度、回波次数、分类标签如地面点、植被点、建筑物点等。LAZ就是LAS的压缩版体积能减少60%-80%左右但不支持直接随机读取用的时候需要解压。如果你要做地形点云配准、数字高程模型(DEM)生成这类GIS相关任务基本绕不开LAS格式。4.4 TXT/XYZ格式最朴素的点云很多传感器厂商提供的SDK示例导出的点云就是简单的文本文件每行一个点以空格或逗号分隔xyz坐标有的还带rgb或intensity。这种格式人类可读性好调试时非常方便缺点是文件大、解析效率低不适合生产环境。4.5 格式互转的现成工具自己写格式解析器没必要直接用现成的CloudCompare图形界面下可以直接批量转换PCD、PLY、LAS、XYZ、E57等格式操作基本是打开-另存为最适合新手。PCL的pcl_converter命令行工具装好PCL后自带可以把PCD转PLY、PLY转PCD、异步二进制和文本格式互转。PDAL如果你需要写脚本批量处理PDALPoint Data Abstraction Library是激光雷达点云处理里一个非常顺手的命令行工具支持LAS、LAZ、PCD等几十种格式。注意格式转换看着简单实际上有个隐藏坑——字段名的映射。比如有的软件把颜色通道叫rgb有的叫rgba有的分别叫red/green/blue。转换后如果发现点云颜色错乱十有八九是字段名映射没对上。5. 如何看点云几个实用的可视化工具5.1 CloudCompare点云处理的瑞士军刀如果你只打算装一个点云可视化工具我首推CloudCompare。它是开源免费的官方支持Windows、macOS和Linux用来直观查看、采样、配准、分割、测量都非常方便。几个实际用得最多的操作打开点云文件后按住鼠标左键旋转视角滚轮缩放右键平移和三维建模软件交互逻辑类似。用Edit Segment可以框选点云局部区域并删除或保存成新点云。用Tools Registration Align (point pairs picking)可以手动选两片点云的对应点做粗略配准这个在做多站点云拼接时经常用来做初始对齐。用Tools Distances Cloud/Cloud distance可以计算两片点云之间的距离判断配准误差或者扫描差异。有一回做完一个配准实验算法输出的变换矩阵感觉没问题但我用CloudCompare手工加载了两片点云直观对比后发现距离方向误差4厘米——比预期差了一个量级。后来用Cloud/Cloud distance逐区域查误差分布才发现误差集中在点云边缘的稀疏区域。可视化不是为了好看是为了快速发现算法在局部区域出的问题这点在点云调试里极其重要。5.2 rvizROS生态里的标准可视化如果你做的是机器人相关的点云处理那大概率绕不开ROSRobot Operating System。ROS的可视化工具rviz内置了PointCloud2显示插件可以直接订阅/velodyne_points或/camera/depth/points等话题实时查看点云流。rviz里几个新手常踩的坑坐标系没设置对Fixed Frame没选对点云会显示成远离原点的飘浮状态。通常选map、odom或者传感器外参标定的某个frame。点云尺寸显示异常有时候点云离视点太近/太远看起来跟缩成一团一样需要调整旋转速度和视角。颜色模式rviz支持用Intensity、RGB等字段渲染点云颜色挑错了字段就会出现一片纯色让你误以为数据丢了。5.3 PCL的可视化工具PCL自带pcd_viewer命令行工具装好PCL后直接输入pcd_viewer xxx.pcd就会弹出一个可视化窗口支持鼠标交互。不过比起CloudCompare它的可视化能力相对基础适合快速检查一个点云文件是否完整、点数量是否正常。还有一个是PCL的PCLVisualizer类适合在C程序里集成自定义可视化比如在特征点周围画球体、显示法向量、叠加关键点标签等。这个改动要重新编译不太适合新手做日常调试但等你真正进入PCL开发阶段它几乎是调试必备。6. 从数据到应用一条完整的点云处理链路6.1 原始点云是毛坯必须经过预处理标题里写的点云数据及获取是第一步但拿到数据后它还远远不能用。真实场景中的原始点云通常包含大量噪声、离群点和背景干扰必须经过以下预处理环节降采样downsamplingPCL里的VoxelGrid滤波器把点云划分到固定尺寸的三维体素网格中每个网格保留一个代表点。这能大幅降低点云数量提升后续算法速度。体素尺寸是个需要调参的量——设得太大细节丢失设得太小计算量不减反增。离群点移除outlier removal常用 StatisticalOutlierRemoval计算每个点邻域的统计特征把偏离平均值太远的点认为是噪声并剔除效果类似图像里的中值滤波。地面分割ground segmentation在自动驾驶场景地面点占了一大半点云直接做目标检测或分割会把地面误识别成障碍物所以要先分割去除。常用方法有RANSAC平面拟合、Ray Ground Filter等。这些预处理说白了就是有价值的信息保留下来没价值的干扰删掉。6.2 配准、分割与语义分割三座绕不开的大山当你在各个技术社区搜索点云出现频率最高的几个词一定是点云配准、点云分割、点云语义分割。这三个方向是点云处理的三大核心任务也是一路进阶的必经之路。点云配准Registration解决如何把不同视角下扫描的多个点云拼接起来的问题。最经典的是ICPIterative Closest Point算法反复迭代寻找最近点对求解刚体变换直到误差收敛。原理不复杂但局部最优、初值敏感、噪声干扰等问题让它变得非常有深度这也是为什么地形点云配准三维点云空间变换这些词在热搜里反复出现。点云分割Segmentation把点云划分为多个有意义的子集。比如在机械臂抓取场景把散乱的工件点云从背景中分离出来在自动驾驶场景把道路、车辆、行人分开。常用方法包括基于区域生长、基于聚类如欧式聚类、基于RANSAC模型拟合。点云语义分割Semantic Segmentation在分割的基础上给每个点打上类别标签比如这是路面这是树木这是车辆。这是点云感知里目前最火的子方向大规模神经网络几乎把传统手工特征方法扫进了历史。这三个方向之间的关系可以这样理解配准解决点云从哪里来、如何对齐的问题分割解决点云里有什么物体的问题语义分割在分割基础上进一步回答物体分别是什么。对于刚入门的读者我建议的学习路线是先动手把点云加载、可视化和预处理跑通再上手CloudCompare做一次简单的手动配准找感觉然后进入PCL写代码从滤波、特征提取开始逐步走到ICP配准和欧式聚类分割。每一步都要建立在真正见过点云长什么样的基础上而不是直接去啃论文里的数学公式。6.3 一个值得立刻动手练的小实验为了让你对今天讲的内容有直观感受给你留一个小实验——下载一份KITTI数据集的LiDAR点云然后用CloudCompare打开首先旋转视角从不同方向观察点云中道路、车辆、树木的长相。手动框选其中一辆车的点云单独导出成一份PCD文件。用CloudCompare的 Align 功能把两帧场景中的同一辆车粗对齐体会一下配准到底在做什么。如果装了PCL把一份PCD文件分别转成ascii和binary两种格式对比一下读写速度的差异。这套流程大概花一小时但做完之后你对点云数据及获取这一篇的知识会比我写一万字还有效。从最基础的点是什么到传感器原理、文件格式、可视化工具再到整个点云处理链路的总览这一篇把点云入门的第一块拼图放好了。下一篇我会写点云预处理重点把降采样、去噪和法向量估算这三件事讲透那时候你就真正开始写代码了。