做工业视觉这几年我接触最多的需求就是“让机器人抓得准”。这里面绕不开的一个环节就是Halcon手眼标定尤其九点标定法几乎是每个视觉工程师入行都要过的一道坎。它解决的问题很直接相机看到工件在图像里的像素坐标机器人却得知道具体该往哪个机械坐标走两个坐标系之间的对应关系就靠九点标定来搭桥。这篇内容适合刚接触视觉定位的调试工程师也适合想把手眼标定流程彻底搞明白的朋友我会从原理讲到算子再给出可以直接抄作业的Halcon代码和C#集成示例。手眼标定在项目里通常不是最炫酷的部分但绝对是最要命的部分。很多项目前期视觉检测跑得挺好一接机器人就露馅要么抓偏要么姿态不对十有八九就是标定没做好。所以这一套东西值得花时间彻底吃透。1. 手眼标定到底在解决什么问题1.1 两个坐标系之间的“翻译官”机器人视觉引导本质上就是坐标系换算。相机输出的是像素坐标机器人认的是关节角度换算出来的基座坐标中间隔了好几层变换。拿最常见的固定相机下视安装来说相机装在生产线上方拍到的是一张二维图像图像里的一个点用行列坐标表示。机器人要去抓这个点必须知道它在机器人世界坐标系下的X、Y、Z值。Z值通常靠固定高度或者激光测距解决X和Y就得靠标定矩阵算出来。这个标定矩阵就是两个平面坐标系之间的映射关系。九点标定法干的活很简单在相机视野里取九个已知机器人坐标的点同时记录它们在图像里的像素坐标然后通过最小二乘拟合出一个2D变换矩阵。矩阵求出来以后任意一个像素坐标都能换算成机器人坐标。注意这里说的是“平面标定”默认工件表面和机器人运动平面平行。如果相机斜着装或者工件表面是斜面九点法的精度就会大打折扣那种情况需要做3D标定或者加倾角补偿。1.2 眼在手上和眼在手外的区别九点标定有两种应用场景必须先分清楚眼在手外Fixed Camera相机固定不动机械臂在相机视野里运动。标定时让机械臂末端带着针尖分别走到九个点记录机器人的坐标同时相机拍下针尖的图像坐标。这种情况下标定得出的矩阵可以直接用于引导。眼在手上Moving Camera相机装在机械臂末端跟着机械臂一起动。标定时需要让机械臂运动到不同位置每个位置拍一张标定板图像标定板可以放在固定位置。这种情况下的标定结果通常还包含机器人末端的位姿单纯九点法做得不太严谨更常用的是Halcon的calibrate_hand_eye算子族。很多新手容易把这两者搞混一上来就用九点法去处理眼在手上的项目结果换一个拍照位置精度就飘。如果你做的是移动相机定位建议优先考虑手眼标定算子而不是九点法九点法更适合相机固定、拍摄平面和运动平面平行的场景。2. 九点标定法的数学原理与算子选择2.1 仿射变换模型九点标定法本质上是求解一个仿射变换矩阵。仿射变换可以表示成[X] [a11 a12 tx] [X] [Y] [a21 a22 ty] * [Y] [1 ] [0 0 1 ] [1]其中X、Y是图像坐标X、Y是机器人坐标a11、a12、a21、a22是线性变换参数包含旋转、缩放、斜切tx、ty是平移量。理论上三个不共线的点就能求出一个仿射变换但三个点对噪声非常敏感任何一个点的提取误差都会直接放大到整个视野范围。九点法通过九个均布的点做最小二乘拟合能把随机误差平均掉这是它稳定的根本原因。Halcon里对应的求解算子有两个vector_to_hom_mat2d求一个通用齐次变换矩阵允许任意线性变换适合标定这种有缩放、旋转、斜切混合的情况。vector_to_rigid求刚性变换只包含旋转和平移适合相机和机器人坐标系角度差是固定、X和Y方向缩放一致的场景。我个人的习惯是先用vector_to_hom_mat2d因为它更通用。如果你能确定相机安装没有斜切变形比如X方向像素和Y方向像素物理尺寸一致并且相机光轴严格垂直被测面用vector_to_rigid效果也很好甚至更稳定。2.2 Halcon算子的输入输出vector_to_hom_mat2d的核心调用方式是* 图像坐标数组 vector_to_hom_mat2d (Px, Py, Qx, Qy, HomMat2D)这里Px、Py是源坐标图像坐标Qx、Qy是目标坐标机器人坐标。注意顺序很多人这里写反结果矩阵完全不对。求完矩阵以后用affine_trans_point_2d把像素坐标转换成机器人坐标affine_trans_point_2d (HomMat2D, Px, Py, Qx, Qy)这里算出来的Qx、Qy就是机器人应该在的X、Y坐标。Halcon的矩阵是标准的2D齐次矩阵所以这个变换可以直接在C#里用HomMat2D对象做也可以自己手写矩阵乘法。提示Halcon的坐标原点在图像左上角X轴向右Y轴向下。机器人坐标系的Y轴方向通常向上。标定矩阵会自动把这个方向差异学进去所以不需要手动翻转图像坐标。但如果你的机器人有回零差异、撞机后原点变了矩阵就得重新标定。2.3 为什么要九点而不是四点、六点理论上四点就可以计算一个更复杂的透视变换projective transformation六点也能做二次多项式拟合。但九点之所以是工业现场最常用的做法原因很务实点越多最小二乘的平均效应越明显个别点的误差影响越小。九点刚好覆盖一个3x3网格均匀分布在视野内能比较好地还原整个视野的变换关系。现场调试时间有限九点已经是“精度”和“工作量”之间的平衡点。做12点、16点当然更好但操作耗时成倍增加除非是对精度要求非常高的场景一般没必要。我见过有人在视野中心取一个点周围稀稀拉拉取七八个点中心精度还可以边缘误差大到一两毫米。关键要让九个点在视野里尽量均匀铺开别集中在一块。取点的范围也要覆盖实际工件可能出现的位置不然外推部分误差会很大。3. 上手实操从采集图像到生成标定矩阵3.1 标定前的现场准备动手之前现场环境要先整理一遍否则后面全是坑。第一确定机器人末端工具。标定用的针尖或者吸嘴必须和实际干活用的工具是同一个位置。如果标定时用一个尖针干活时换成了吸嘴哪怕只差几毫米定位精度也完全对不上。最理想的办法是标定针尖和吸嘴中心在同一轴线上。第二确保相机曝光、光源、焦距都已经调好。标定过程中的图像质量直接决定圆心提取精度。光源太暗导致边缘糊掉或者反光导致圆心偏移后续矩阵再准也没用。第三把标定板或者工件特征点固定在机器人末端或者放在视野里让机器人末端去走点取决于你的取点方式。九点标定有两种常见取点方式机器人带着针尖走九个位置相机拍针尖这种适合相机固定机器人在视野内移动。标定板固定在台面上机器人走到九个位置记录坐标这种适合标定板数量充足、台面空间足够的场景。我个人更推荐第一种实际操作更灵活不需要单独追标定板位置。3.2 九点坐标采集的完整流程以固定相机、机器人末端带针尖为例完整流程如下让机器人手动示教第一个点这个点要在视野左上角附近同时保证针尖清晰成像记录下来机器人坐标(RX1, RY1)并采集图像。同样方式依次示教剩下八个点让九个点均匀分布在相机视野内形成3x3网格。在每张图像里找到针尖位置用find_circle或者简单的阈值重心法提取亚像素中心坐标(PX1, PY1)一一对应保存。调用vector_to_hom_mat2d求解矩阵。验证精度让机器人走到一个已知点通过矩阵算出预测坐标和实际坐标对比误差在允许范围内就说明标定成功。这里有个容易被忽略的细节机器人示教的时候针尖必须垂直于运动平面也就是针尖方向始终一致。如果针尖倾斜图像里的位置和机械坐标的对应关系会在不同高度上变化导致标定矩阵带了额外误差。采集图像时每一张都必须清晰。如果九张图里有一张模糊圆心提取亚像素中心就会出现偏差最终矩阵会被拖累。建议每张图采集后立即做一次圆心提取确认发现精度差马上重采不要等到最后一起处理。3.3 圆心提取的关键步骤Halcon里提取针尖或者圆点中心的典型代码块* 读取标定图像序列 read_image (Image, calib_0 I) * 转灰度 rgb1_to_gray (Image, GrayImage) * 或直接阈值分割 threshold (GrayImage, Region, 0, 100) * 选择出的区域做形状筛选只留下针尖或圆点区域 connection (Region, ConnectedRegions) select_shape_max (ConnectedRegions, SelectedRegions, area) * 亚像素轮廓 gen_contour_region_xld (SelectedRegions, Contours, border) * 拟合圆形得到中心坐标和半径 fit_circle_contour_xld (Contours, algebraic, -1, 0, 0, 3, 2, Row, Column, Radius, StartPhi, EndPhi, PointOrder)如果是圆点标定板用find_circle或者find_caltab更稳。如果是针尖直接用阈值分割加轮廓拟合通常就够了。关键是阈值要稳定如果图像灰度波动大可以考虑用auto_threshold或者先做一个灰度拉伸scale_image_max。圆心坐标提取出来以后保存格式如下* 图像坐标数组 PX : [100.5, 150.3, 200.1, ...] PY : [80.2, 90.1, 100.4, ...] * 机器人坐标数组 RX : [-200.0, -150.0, -100.0, ...] RY : [50.0, 50.0, 50.0, ...]注意索引用I来循环把九个点对应好错位一个点整个矩阵就废了。4. Halcon完整标定代码与C#集成方案4.1 Halcon脚本示例下面是一段可以直接跑的Halcon脚本离线处理流程假设你已经把九张图和对应的机器人坐标存放在文件夹里* 九点标定脚本 * 图像序列: calib_1.png - calib_9.png * 机器人坐标: 手工输入顺序与图像一一对应 ImageFiles : [] ImageFiles[0] : calib_1.png ImageFiles[1] : calib_2.png ImageFiles[2] : calib_3.png ImageFiles[3] : calib_4.png ImageFiles[4] : calib_5.png ImageFiles[5] : calib_6.png ImageFiles[6] : calib_7.png ImageFiles[7] : calib_8.png ImageFiles[8] : calib_9.png * 机器人坐标按示教顺序填写 Rx : [-200, -150, -100, -200, -150, -100, -200, -150, -100] Ry : [50, 50, 50, 0, 0, 0, -50, -50, -50] * 图像坐标容器 Px : [] Py : [] for I : 0 to 8 by 1 read_image (Image, ImageFiles[I]) rgb1_to_gray (Image, GrayImage) * 提取针尖/圆点区域 threshold (GrayImage, Regions, 0, 120) connection (Regions, ConnectedRegions) select_shape_max (ConnectedRegions, LargestRegion, area) * 获取区域中心 area_center (LargestRegion, Area, Row, Column) Px : [Px, Column] Py : [Py, Row] endfor * 求解齐次变换矩阵 vector_to_hom_mat2d (Px, Py, Rx, Ry, HomMat2D) * 验证任取一个图像坐标换算 TestX : Px[0] TestY : Py[0] affine_trans_point_2d (HomMat2D, TestX, TestY, Qx, Qy) * 打印结果 disp_message (WindowHandle, Predicted Robot X: Qx , Y: Qy, window, 12, 12, black, white)这段脚本把关键的九个点直接写在数组里适合小批量标定。如果是自动化标定可以让Halcon直接和机器人通信读取坐标这里先不展开。注意上面的脚本用了area_center提取区域中心这种方法适合针尖区域形状近似圆形的情况。如果现场反光明显或者背景复杂建议换成边缘拟合的方式提取亚像素圆心精度能高不少。实测下来亚像素边缘拟合比区域重心法在0.5mm左右的系统误差场景下能提高约0.1-0.3mm精度。4.2 在C#/HalconDotNet中调用标定结果实际项目里标定脚本可以离线跑一次把矩阵保存下来。运行时在C#里直接加载矩阵输入像素坐标输出机器人坐标。关键代码如下using HalconDotNet; public class HandEyeCalibration { private HTuple _homMat2D; public void LoadMatrix(string path) { HOperatorSet.ReadTuple(path, out _homMat2D); } public void Calibrate(ListPoint2D imagePts, ListPoint2D robotPts, string savePath) { HTuple px new HTuple(imagePts.Select(p p.X).ToArray()); HTuple py new HTuple(imagePts.Select(p p.Y).ToArray()); HTuple rx new HTuple(robotPts.Select(p p.X).ToArray()); HTuple ry new HTuple(robotPts.Select(p p.Y).ToArray()); HOperatorSet.VectorToHomMat2d(px, py, rx, ry, out _homMat2D); HOperatorSet.WriteTuple(_homMat2D, savePath); } public Point2D Transform(double imageX, double imageY) { HTuple qx, qy; HOperatorSet.AffineTransPoint2d(_homMat2D, imageX, imageY, out qx, out qy); return new Point2D(qx.D, qy.D); } }这里的VectorToHomMat2d内部做的事情和脚本里完全一样只是换成了C#调用。Transform方法就是运行时的主入口拿到视觉检测的像素坐标后一行代码就能变成机器人坐标。C#工程引用HalconDotNet之后记得把运行时目录里的halcondotnet.dll和halcon.dll放到输出目录不然会报找不到程序集。4.3 矩阵持久化与重复标定策略矩阵保存为tuple文件后我用的时候习惯在程序启动时校验一次矩阵维度避免文件损坏或者加载错版本if (_homMat2D.Length ! 9) { throw new Exception(Invalid calibration matrix.); }如果现场设备有过碰撞、机器人原点被重新示教过或者相机被碰过老矩阵必须重标。也可以在软件里留一个标定模式入口让现场工程师按一次“开始标定”程序自动引导机器人走九个点并采集图像全程不用改代码。这个自动化流程后续可以单独写一篇但九点标定的核心就是上面这些。5. 常见问题与排查技巧实录5.1 精度不达标九点标定做完验证精度一般要求多少看应用场景普通的抓取、贴合±0.5mm通常够用精密装配可能要做到±0.1mm以内。如果验证下来精度超标从下面几个方向排查圆心提取是否有亚像素处理区域重心法往往精度有限。机器人示教九点时是否每个点都对准了同一个位置比如吸嘴中心是否每次都和针尖标记严格重合。相机是否发生畸变广角镜头尤其明显建议先做相机内参标定和畸变校正。标定平面是否和机器人运动平面平行斜了的话矩阵在视野边缘就会逐渐失准。机器人本身的重复定位精度是否足够便宜的机械臂重复精度本身就有0.3-0.5mm误差标定做得再好也没用。5.2 标定矩阵奇异或输出数值异常如果vector_to_hom_mat2d报错或者算出来的变换参数非常离谱先检查输入的坐标数组里是否有重复点、零值或者NaN。九个点里如果有两个点坐标非常接近矩阵求解会变成病态最小二乘也救不回来。另一个常见错误是Px/Py和Rx/Ry顺序写反导致矩阵是旋转90度加镜面的结果。5.3 现场更换光源或者相机后需要重标吗如果只是光源亮度稍微调整一般不需要重标。但如果光源位置动了、相机重新对焦、或者换了镜头和相机都必须重新标定。焦距变化直接改变像素到物理尺寸的缩放关系这个矩阵学不回来。有一类细节常常被忽略机器人运动平面的高度变化。如果标定针尖在100mm高度标定实际工件表面高度在120mm在相机光轴和平面不垂直的情况下会有透视误差。要解决这种情况要么保证光轴严格垂直要么用高度传感器补偿要么升级成3D标定。提示九点标定法有个天然盲区——只能修正平面的2D映射无法处理物体在视野内的旋转姿态。如果工件在传送带上的角度会变化或者机器人抓取时机械手需要跟随工件角度旋转建议在九点标定的基础上再额外标定一个旋转中心补偿也就是常说的“旋转中心标定”。那套逻辑和九点法配合起来才能支撑完整的抓取引导。5.4 标定完成但机器人抓偏方向和位置都有问题这种问题十有八九是矩阵方向不对。Halcon的图像坐标系Y轴向下机器人坐标系通常Y轴向上矩阵一般情况下会自动包含一个反射变换。但如果采集坐标时人工在计算器里转了方向反而把矩阵搞复杂了。我的建议是标定坐标原样记录矩阵让Halcon自己算不要人为做任何坐标变换。5.5 圆心提取不稳定九张图里总有几张偏差大优先检查光源。金属表面的反光、环境光波动都会让阈值分割出来的区域变形。必要时可以给相机加偏振片或者调整光源角度让针尖区域和背景对比更明显。提取圆心后可以用Halcon的elliptic_axis检查区域长短轴比例如果接近1说明是比较标准的圆形如果长轴明显大于短轴说明区域在某个方向被拉长了这往往是阈值选得不对。我在现场的习惯是每采一个点就在图像上画一个十字标记显示圆心位置人眼确认没问题再记录下一个点。这多花不了几秒钟但能避免九点全部采完发现某个点偏差大、又要全部重来的尴尬。实际操作中的体会九点标定这套东西原理简单但要把精度做到稳定可靠功夫全在细节里。我见过太多人标定代码写得没问题最后精度不行一查是示教点没走准或者圆心提取不够准。所以如果你也在做手眼标定别急着把代码跑通就完事先把现场的操作规范定好机器人示教针尖的位置怎么对准光源和相机参数怎么固定每个点采集后怎么验证。一套严密的现场流程比任何代码都值钱。最后再分享一个小技巧标定完成后不只是验证开头或中间那一个点最好在视野的九个位置各随机验证一遍画一个误差分布图。如果误差沿某个方向慢慢变大基本可以断定是标定平面不平行或者镜头畸变没校正如果误差比较均匀地在一个范围内波动那大概率是机器人重复精度或者标定板本身的问题。误差分布的样子能很直接地告诉你下一步该往哪个方向排查。