简介面向ICPR 2022卫星视频中运动目标检测与跟踪任务提供一套基于Matlab的完整实现兼容2014/2019a/2021a版本适合计算机、电子信息工程、数学等专业本科生用于课程设计、期末大作业或毕业设计。代码采用参数化编程参数可方便更改算法思路清晰且注释明细内含运行结果并附赠可直接运行的案例数据方便读者理解检测与跟踪流程后自行改进。压缩包由202个文件组成以Matlab的m源文件为主同时包含37个h头文件与20个hpp头文件、11个cpp与4个c的C/C扩展源码以及面向Windows、macOS与Linux的mexw64、mexa64、mexmaci64编译接口整体体积仅8.35MB结构清晰。包内另有3个mat数据文件、若干dll与so动态库、OpenCV静态库以及2张效果示意图从源码阅读到运行验证均能获得完整支撑。目前已有217人学习尤其适合需要快速搭建实验环境、或参考成熟Matlab实现开展课题研究的同学。1. 卫星视频里目标只有几个像素检测跟踪怎么下手卫星视频中的目标检测跟踪难点不在“识别”而在区分“真动”和“假动”。卫星平台的轨道运动和姿态变化会让背景整体位移地表纹理、云层漂移、传感器噪声都会伪造出“运动”信号而真正要抓的车、船、飞机往往只占三五个像素信噪比极低。直接套用监控视频的检测模型通常会在小目标上失灵。ICPR 2022 前后这类任务的常见做法是把流程拆成两条线先用帧级前景检测产出候选目标再用跟踪器做跨帧关联和确认。下文按这条路线用 MATLAB 把检测与跟踪完整串起来重点落在参数怎么设、坑在哪里、结果怎么评估。2. 卫星视频运动目标检测与跟踪的算法选型帧差、GMM还是卡尔曼2.1 卫星视频与监控视频的差异决定算法顺序卫星视频与监控视频最本质的差异是全局运动。监控摄像机固定安装背景可以近似看成静止卫星平台持续移动同一地物在相邻帧里可能出现在图像完全不同的位置。如果上来就做帧间差分背景边缘、地形起伏都会被识别成“运动目标”后续跟踪器会被海量虚警淹没。因此处理顺序固定为全局运动补偿、前景检测、候选筛选、跟踪关联四个阶段缺一不可。另一个影响选型的因素是帧率。卫星视频常见帧率只有 1~10 FPS目标每帧位移可能不到 2 个像素光流法在相邻帧之间几乎得不到可用位移向量基于外观的特征点跟踪也基本失效因为目标太小连稳定的角点都提不出来。这些限制把可选方案收窄到“以运动信息为主、以外观为辅”的传统流水线这也是该类任务里最主流的工程路线。2.2 帧级检测器怎么选帧差分、GMM 与 ViBe 的取舍检测阶段要回答“哪些像素变了”。常见选择有帧间差分、高斯混合模型GMM和 ViBe 三种。帧间差分速度最快但对目标内部灰度均匀、运动缓慢的情况会把目标拆成前后两片残影在小目标上尤其明显GMM 能描述每个像素的多种背景状态适合地表覆盖频繁变化的场景而且是 MATLAB Computer Vision Toolbox 的内置能力ViBe 抗动态背景能力强但参数多、可解释性差在 MATLAB 里通常需要自己实现。下表是它们在卫星视频场景下的取舍方法背景建模能力小目标表现每帧成本MATLAB 工具帧间差分弱差目标易断裂最低imabsdiffGMM中中依赖灰度响应较低vision.ForegroundDetectorViBe强中参数敏感中需手写光流强差位移量不足高opticalFlowLK卫星视频像素值分布通常呈多峰水、植被、云在不同时段的亮度差异很大GMM 用多个高斯分布描述背景比单模型更贴合。我的实践是先用 NumGaussians3 起步遇到云影变化明显的片段再调到 5不要一上来就上 ViBe它的随机样本更新机制在低帧率下容易把慢速目标吸收成背景。光流不建议当主检测器更适合在跟踪阶段用来校验运动先验。2.3 跟踪层为什么常用卡尔曼滤波加匈牙利匹配检测输出的是候选框跟踪层的任务是把框串成身份不变的轨迹。从算法演进看多目标跟踪从最近邻关联起步后来发展到卡尔曼滤波预测加匈牙利算法做全局匹配这也是 SORT 系列包括后续 Botsort 等变体的共同骨架。卫星视频的目标几乎没有可用外观特征靠 ReID 或特征点匹配都不现实运动模型成为最可靠的信息源“预测匹配”的思路自然成为首选。卡尔曼滤波的核心是“用模型预测、用观测校正”。真正要调的不是矩阵推导而是过程噪声 Q 与观测噪声 R 的相对大小。Q 大表示更相信观测R 大表示更相信运动模型。低帧率卫星视频里检测框中心坐标受亚像素抖动影响我一般让 R 比 Q 大一个数量级轨迹会平滑得多但如果目标存在转弯机动R 过大会让跟踪明显滞后需要回调。3. 用 MATLAB 读卫星视频检测运动目标VideoReader 与 GMM 最小实现3.1 先用 VideoReader 把卫星视频读成帧序列% 读入视频统一转灰度并降采样缩小逐像素建模范围 v VideoReader(satellite_video.mp4); scale 0.5; firstFrame im2gray(readFrame(v)); firstFrame imresize(firstFrame, scale); % 缓存前 20 帧作为背景训练数据类型保持一致 trainFrames zeros([size(firstFrame), 20], uint8); n 0; while hasFrame(v) n 20 frame im2gray(readFrame(v)); frame imresize(frame, scale); n n 1; trainFrames(:,:,n) frame; endVideoReader 返回的帧可能是 RGBim2gray 负责转单通道如果卫星载荷给的是 uint16 或 float 数据需要先用 mat2gray 归一化到 [0,1] 再喂给后续检测器否则背景模型容易受高动态范围噪声干扰。scale 是第一个要权衡的参数目标实际只有 4 像素时降到 0.5 会变成 2 像素检测难度陡增。我一般把 scale 控制在 0.5~1.0并参考真实目标尺寸统计来决定。缓存训练帧的目的是让 GMM 背景模型基于同一批数据完成初始化避免训练过程中背景反复跳变。3.2 vision.ForegroundDetector 参数对前景掩码的影响% GMM 前景检测器前 20 帧建模之后输出二值前景掩码 fgd vision.ForegroundDetector(... NumGaussians, 3, ... NumTrainingFrames, 20, ... LearningRate, 0.001, ... MinimumBackgroundRatio, 0.7); % 把前 20 帧依次喂入完成背景初始化 for i 1:size(trainFrames,3) step(fgd, trainFrames(:,:,i)); end % 从第 21 帧开始step 返回逻辑类型的前景掩码 fgMask step(fgd, frameAtT21); % 形态学后处理先开后闭滤单像素噪点并补全目标轮廓 fgMask imopen(fgMask, strel(disk, 1)); fgMask imclose(fgMask, strel(disk, 3));% 把前 20 帧依次喂入完成背景建模 for i 1:size(trainFrames,3) step(fgd, trainFrames(:,:,i)); endNumGaussians 控制每个像素最多用几个高斯分布描述背景。地表覆盖复杂时取 5纯水面或沙漠这类单峰场景取 1~2 即可。LearningRate 是背景更新速率0.001 表示目标短暂停留不会被吸收如果目标经常停在画面内几秒需要降到 0.0001但代价是光照突变时背景收敛变慢。MinimumBackgroundRatio0.7 表示背景高斯分布权重大于 0.7 才被判定为背景低于该值的像素算前景。形态学处理里imopen 的 disk 半径 1 用来去掉单像素椒盐噪声imclose 的 disk 半径 3 会把相隔两三个像素的小碎片连成完整目标目标轨迹频繁断裂就加大到 5云层边缘误报多则减小。3.3 连通域标记并把候选框整理成矩阵stats regionprops(fgMask, BoundingBox, Area, Centroid); minArea 6; % 过滤单像素热噪声 maxArea 300; % 过滤大面积云层边缘具体按目标统计调整 boxes []; centers []; for k 1:numel(stats) if stats(k).Area minArea stats(k).Area maxArea boxes(end1,:) stats(k).BoundingBox; centers(end1,:) stats(k).Centroid; end endregionprops 是 Image Processing Toolbox 里做连通域分析最常用的入口。面积过滤是卫星视频里最有效的虚警抑制手段云层边缘形成的连通域通常几千像素单像素热噪声面积等于 1minArea6 可以把热噪声成批滤掉。boxes 和 centers 建议保持普通矩阵而不是结构体数组方便直接传到跟踪模块减少主循环里的类型转换开销。如果画面里存在明显的细长地物还可以对 BoundingBox 的长宽比加限制进一步压缩候选数量。提示vision.ForegroundDetector 在老版本里必须用 step() 调用较新版本直接写成 fgd(frame) 也可以两种写法在这一节都兼容。4. 用 MATLAB 实现多目标跟踪卡尔曼滤波与匈牙利数据关联4.1 状态向量和两个协方差矩阵怎么定写代码前先明确卡尔曼滤波在这里的角色检测器给出当前帧的目标位置跟踪器预测“这个目标下一帧应该在的位置和速度”。状态向量取 [x, y, vx, vy]^T观测只包含当前位置常速度模型的状态转移矩阵和观测矩阵如下A [1 0 1 0; 0 1 0 1; 0 0 1 0; 0 0 0 1]; % 匀速运动dt 1 帧 H [1 0 0 0; 0 1 0 0]; % 只观测 x、y Q eye(4) * 0.01; % 过程噪声目标机动较小 R eye(2) * 1.0; % 观测噪声检测框中心抖动Q 与 R 的比值决定滤波器更信模型还是更信检测。卫星视频帧率低、目标帧间位移小检测框中心抖动通常在 1 像素上下如果 R 太小预测点会紧贴检测点跳动R 设太大目标转弯时跟踪会明显滞后。我一般从 Reye(2)*1.0 起步观察轨迹平滑度后把 R 微调到 2~5目标近似直线运动时Q 可以再调小一个数量级。4.2 vision.KalmanFilter 做单目标跟踪的最小用法kf vision.KalmanFilter(ConstantVelocity, ... StateTransitionModel, A, ... ObservationModel, H, ... ProcessNoise, Q, ... MeasurementNoise, R); pred predict(kf); % 用运动模型外推位置 if ~isempty(detCenter) st correct(kf, detCenter); % 有检测时用观测校正 else st pred; % 没有检测就沿用预测 end这个对象把卡尔曼五步封装成 predict 和 correct 两个动作。单目标场景直接用多目标场景每建一条轨迹就要 new 一个独立实例。需要注意 predict 与 correct 的执行顺序每帧先 predict 一次拿到检测后再 correct不能反过来。连续几帧没有检测时只调用 predict 让状态继续外推但外推越久不确定性越大建议以 5 帧为上限超过 5 帧无匹配就删除轨迹。4.3 多目标assignDetectionsToTracks 与轨迹生命周期多目标跟踪的核心是数据关联。卫星视频目标小用 IoU 做代价对一两像素的偏移太敏感我通常改用欧氏距离最大门限取目标帧间最大位移的 1.5 倍。function [assignments, unassignedTrack, unassignedDet] matchDetTracks(centers, tracks, maxCost) costMat zeros(size(centers,1), numel(tracks)); for t 1:numel(tracks) pred predict(tracks(t).kf); costMat(:,t) sqrt(sum((centers - pred).^2, 2)); end [assignments, unassignedTrack, unassignedDet] ... assignDetectionsToTracks(costMat, maxCost); endassignDetectionsToTracks 是匈牙利算法的封装第一个参数是代价矩阵第二个是判定为“无匹配”的代价上限。返回的第一个参数是 N×2 的匹配索引对第一列是检测索引第二列是轨迹索引。拿到匹配后进入更新环节匹配上的轨迹用检测中心做 correct未匹配的检测新建轨迹未匹配的轨迹 miss 计数加 1超过阈值就删除。为了抑制早期虚警新轨迹应设“暂定态”连续命中 3 帧后才转入确认态并参与最终输出。5. 卫星视频小目标检测的参数调节和三类容易踩空的坑5.1 一张参数速查表把六个关键量一次讲清参数推荐起点调参切入点NumGaussians3背景波动大调大单峰背景调小LearningRate0.001目标易融入背景调小背景变化快调大imclose 结构元disk 3轨迹断裂调大误检增多调小minArea6按目标真实尺寸统计选取Qeye(4)*0.01机动频繁调大匀速场景维持maxCost30目标帧间位移上限的 1.5 倍这些参数不是独立变量。LearningRate 调大以后目标可能慢慢融入背景检测断帧变多必须连着调整卡尔曼的 miss 容忍帧数。卫星视频的检测与跟踪是耦合系统改完检测参数一定要回放跟踪结果观察身份切换次数不能只看前景掩码的质量。5.2 坑一不做全局运动补偿整片背景都在“运动”卫星平台的移动让背景整体平移GMM 虽然在统计上能把缓变建模进背景但短暂的大范围平移会造成大量误检。最直接的解法是用相位相关法配准。它通过两帧互功率谱的相位峰定位平移量对光照变化不敏感亚像素精度足够。[opt, met] imregconfig(monomodal); tform imregcorr(currentFrame, referenceFrame, translation, opt, met); currentFrame imwarp(currentFrame, tform, ... OutputView, imref2d(size(referenceFrame)));referenceFrame 要选背景较干净的一帧不一定是第一帧如果前 20 帧里有明显云影选云影最少那一帧。仅用平移模型的前提是相机接近正下视、平台姿态变化小若姿态有旋转需要用 imregtform 估计仿射变换但每帧耗时会明显增加。5.3 坑二目标被云遮住几帧回来时身份变了遮挡是卫星视频里最常见的漏检来源。跟踪器必须在检测缺失时继续预测。miss 阶段的匹配门限不能死守 maxCost而是按“目标最大速度 × miss 帧数”放大给回来后的目标留出找回空间。if matched tracks(t).misses 0; else tracks(t).misses tracks(t).misses 1; if tracks(t).misses 5 delete(tracks(t)); end endmiss 阈值取 5 是按 5 FPS、目标速度 10 像素/秒估算的5 帧位移约 10 像素还在匹配门限内。超过 5 帧要么目标停下融入了背景要么已走出可关联范围继续保留轨迹只会带来错误继承。5.4 坑三MATLAB 逐像素 GMM 跑不动高分辨率帧上逐像素更新高斯参数很慢。优化顺序是先裁剪动态 ROI再考虑并行或 Coder而不是直接换语言。ROI 的中心要用卡尔曼预测位置不能用上一帧检测位置否则目标跑出窗口后 ROI 会跟着旧位置空转。w 80; h 80; % ROI 半宽半高按目标速度调整 roi [round(pred(1)-w), round(pred(2)-h), 2*w, 2*h]; roi(1) max(roi(1), 1); roi(2) max(roi(2), 1); roi(3) min(roi(3), size(fg,2) - roi(1) 1); roi(4) min(roi(4), size(fg,1) - roi(2) 1); fgROI fg(roi(2):roi(2)roi(4)-1, roi(1):roi(1)roi(3)-1);只对 ROI 跑前景检测后目标周边的背景模型更新会停摆因此检测和跟踪必须在一个循环里交替执行卡尔曼预测值直接决定下一帧 ROI 位置整个过程才闭环。6. 给 MATLAB 跟踪结果做评估再把检测循环转成 MEX6.1 用 MOTA 和 IDF1 给跟踪打分跟踪好不好不能只看几个视频片段。MOTA 综合漏检、虚警和身份切换IDF1 评估身份保持能力。计算只用累计三个计数mota 1 - (fp fn idsw) / (totalGT eps); idf1 2 * idtp / (2 * idtp idfp idfn);匹配判据用中心距离小于 6 像素与 maxCost 保持一致或略小。跑完一段视频后把每帧的 fp/fn/idsw 画成曲线能直观看到哪几帧发生了云遮挡断轨哪几帧是检测器把地物边缘误判成了目标。评估代码建议写成一个独立脚本输入是轨迹文件和 GT 文件不要和主循环耦合。6.2 用 codegen 把检测函数转成 MEXMATLAB Coder 不支持直接转换含 VideoReader 的主循环但支持把“单帧前景检测 连通域过滤”抽成纯函数再用 codegen 转成 MEXcodegen detectOneFrame -args {uint8(zeros(540,960))} -o detectOneFrame_mexdetectOneFrame 的输入是一帧 uint8 灰度图输出是 centers 和 boxes 矩阵。函数体内部避免使用动态改名的结构体数组regionprops 的输出要先转成普通矩阵再返回。MEX 版本在 CPU 上通常比解释执行快 2~5 倍GMM 这种逐像素运算的加速更明显。如果完整代码里还有 imwarp 和 imregcorr检查 Image Processing Toolbox 的 Coder 支持列表部分函数需要先用 coder.extrinsic 声明才能通过编译。6.3 一个实用小技巧把 FPS 和轨迹号烧进输出视频调试时把跟踪 ID 和 FPS 直接写进画面比看命令行日志更直观outFrame insertText(outFrame, [10 10], sprintf(%.1f fps, fps)); outFrame insertShape(outFrame, Rectangle, boxes); vOut VideoWriter(result.mp4, MPEG-4); open(vOut); writeVideo(vOut, outFrame); close(vOut);这样每一帧的检测框、轨迹号和帧率都能和 GT 标注对照。判定检测问题看单帧前景掩码碎不碎判定关联问题看 GT 目标连续检出而 ID 仍在跳变。本文还有配套的精品资源点击获取