简介面向计算机视觉毕业设计或课程作业的智能门禁系统项目核心采用人脸识别与步态识别双重生物特征认证适合需要实践深度学习、图像处理与系统集成的学生开发者。压缩包约70.29MB共263个文件主要包含TypeScript与Vue前端代码、Java后端服务、MP4演示视频、PNG/JPG图片素材、SQL脚本及Markdown说明文档可覆盖从模型调用到前后端联调的主要环节。目前已有183人学习浏览。工程结构完整既能看到基于OpenCV、dlib的人脸检测与对齐流程也能了解步态序列预处理与降维表示人脸与步态分支通过融合策略形成最终判断同时包含Web端展示和交互设计。项目从数据预处理、特征提取到模型融合均有可读实现目录分层清楚适合按模块阅读和二次开发为复现双重认证、调整融合策略及扩展其他生物特征提供了较高参考价值。1. 双重生物特征门禁为什么比单一人脸更值得做人脸识别门禁已经普及但它有一个很难回避的弱点2D照片、视频回放和3D面具都能在部分场景下绕过单目摄像头。步态识别恰好补上这个短板它不看你长什么样而是看你走路时腿、髋、手臂的摆动节奏这些动态特征很难被一张照片复制。把两者结合等于要求攻击者同时伪造“静态长相”和“动态步态”两套特征冒用成本成倍上升。这个项目正是用Python OpenCV dlib scikit-learn这类开源库把原本需要昂贵硬件的方案压到普通PC和USB摄像头上适合做毕设、课程设计也适合在实验室或小型办公区做技术验证。下面按“人脸识别 → 步态识别 → 融合→集成”的顺序拆开讲。2. 人脸识别模块从OpenCV检测到特征向量比对2.1 人脸检测的选型Haar、MTCNN还是RetinaFaceOpenCV自带的Haar级联分类器haarcascade_frontalface_default.xml是入门最常用的检测器它在正面人脸、光线均匀的场景下速度极快但遇到侧脸、低头、逆光就容易漏检。如果你只是做课程演示用Haar完全够因为门禁场景通常要求用户正对摄像头。但如果你想提高鲁棒性推荐换成MTCNN它通过mtcnn这个Python包就能用检测同时输出人脸边框和5个关键点双眼、鼻尖、嘴角关键点可以直接用于人脸对齐。实际项目中我一般这样选检测器模型大小CPU推理速度侧脸鲁棒性适用场景Haar约1MB极快差正面受控场景MTCNN约7MB中等较好门禁、考勤RetinaFace约30MB慢好高精度要求门禁系统里不需要追求最强检测MTCNN在普通i5上能做到实时且自带关键点能省去单独的dlib关键点检测步骤。2.2 特征提取与相似度计算检测到人脸框后下一步是“对齐→提特征”。dlib的HOG人脸识别模型只输出128维向量传统但够用在C年代很流行。不过现在更建议用基于深度学习的FaceNet或ArcFace模型。FaceNet把人脸映射到欧氏空间同类人脸的向量距离小不同类距离大ArcFace在训练时加了角度间隔类间可分性更好。特征提取这一步常见做法是用face_recognition库封装dlib或者直接加载ONNX版本的FaceNet模型。我倾向于用ONNX版本因为不依赖TensorFlow/PyTorch运行环境部署时少踩很多坑。假设你下载了facenet.onnx推理代码大致如下import cv2 import numpy as np import onnxruntime as ort # 加载FaceNet ONNX模型输入shape为(1,160,160,3) session ort.InferenceSession(facenet.onnx) input_name session.get_inputs()[0].name def extract_face_vector(face_img): # face_img是MTCNN裁剪并对齐后的RGB图需要resize到160x160 resized cv2.resize(face_img, (160, 160)) rgb cv2.cvtColor(resized, cv2.COLOR_BGR2RGB) # FaceNet的预处理像素归一化到[-1,1] normalized (rgb - 127.5) / 128.0 input_tensor np.expand_dims(normalized, axis0).astype(np.float32) # 输出是1x512的向量 vector session.run(None, {input_name: input_tensor})[0][0] # 归一化使余弦相似度计算更稳定 return vector / np.linalg.norm(vector)这里的关键点是(rgb - 127.5) / 128.0是FaceNet的标准预处理换成别的归一化方式会让精度明显下降。np.linalg.norm归一化是为了在后续用余弦相似度时只比较方向不比较模长。注册用户时把向量存到SQLite或文件里识别时逐个计算余弦距离。2.3 人脸识别可用代码片段识别阶段的核心是“比对”。我推荐用余弦相似度而不是欧氏距离因为不同摄像头、不同人脸区域大小会导致特征向量的模长不稳定归一化后余弦相似度的阈值更容易统一。def match_face(query_vector, db_vectors, threshold0.75): db_vectors: dict {user_id: np.ndarray 512维向量} 返回(匹配的user_id, 最高相似度) best_id None best_score -1.0 for uid, vec in db_vectors.items(): # 向量已归一化点积即余弦相似度 score float(np.dot(query_vector, vec)) if score best_score: best_score score best_id uid if best_score threshold: return best_id, best_score return None, best_scorethreshold的取值非常依赖数据集所有系统通用值通常0.6~0.8之间。毕设里建议先用你采集的10个人数据做网格搜索画出准确率-阈值曲线再选使等错误率最小的值。上面代码用np.dot而不是sklearn.metrics.pairwise.cosine_similarity是因为预先归一化后点积就是余弦相似度省去重复计算。3. 步态识别把行走序列变成身份指纹3.1 背景减除与关键帧提取步态识别处理的是视频序列不是单张图。摄像头固定在门禁前用户从远处走向门口这段视频里包含一个完整的步态周期。首先要做的是把人从背景里分出来OpenCV提供了多种背景减除方法常用的是cv2.createBackgroundSubtractorMOG2它适合静止摄像头且背景缓慢变化的场景。步态周期指的是同一侧脚两次落地之间的过程。实操中不需要精细分割周期可以取连续N帧中人体轮廓面积最大的一个波峰区间。更简单的做法是每隔3帧提取一个轮廓凑够20~30个关键帧交给后续网络。这里给出背景减除和轮廓提取的代码import cv2 def extract_gait_frames(video_path, min_area2000): cap cv2.VideoCapture(video_path) mog cv2.createBackgroundSubtractorMOG2(history500, varThreshold40) frames [] while True: ret, frame cap.read() if not ret: break fgmask mog.apply(frame) # 前景掩码 # 形态学去噪去掉斑点和空洞 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) fgmask cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel) contours, _ cv2.findContours(fgmask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for cnt in contours: area cv2.contourArea(cnt) if area min_area: x, y, w, h cv2.boundingRect(cnt) # 只保留人体比例的区域宽高比在0.2~0.8之间 if 0.2 w / h 0.8: roi frame[y:yh, x:xw] frames.append(roi) break if len(frames) 30: break cap.release() return frameshistory500表示用最近500帧做背景建模varThreshold控制前景判定的敏感度值越小背景变化越容易误判为前景。实际门禁场景有流动的光影我会把阀值调到50~60避免树叶晃动、光线渐变造成大量噪点。3.2 特征降维与分类得到轮廓序列后常见做法是把每一帧的轮廓图resize成固定尺寸比如64x64然后拉直成4096维向量。30帧就是30x4096的矩阵维度太高且包含大量冗余。用PCA降到50~100维或者用LDA做有监督降维使同类步态聚集。如果你的毕设更看重效果可以直接训练一个简单的步态分类器比如SVM或随机森林。输入特征不需要很高深把轮廓图二值化后计算重心的上下波动、步幅宽度、轮廓宽高比变化作为额外特征补充进PCA结果。3.3 步态识别的简单实现下面展示一个基于PCA SVM的快速验证流程适合在没有GPU的环境下跑通import numpy as np from sklearn.decomposition import PCA from sklearn.svm import SVC # X_train形状: (样本数, 帧数, 64*64) # 这里将序列压平把每人的步态序列整体合并成一个特征 def build_gait_feature(frame_list, pcaNone, dim50): resized [cv2.resize(f, (64, 64)).flatten() for f in frame_list] # 取所有帧的平均轮廓作为步态能量图的关键部分 gei np.mean(resized, axis0) # 这就是简易步态能量图(GEI) if pca is not None: gei pca.transform([gei])[0] return gei # 训练阶段 pca PCA(n_components50).fit(X_gei_train) X_pca pca.transform(X_gei_train) svm SVC(kernelrbf, C1.0, gammascale) svm.fit(X_pca, y_train) # 识别时 query_gei build_gait_feature(test_frames, pcapca) pred svm.predict([query_gei])GEI步态能量图是步态识别中最基础且可靠的特征它把整个序列的平均轮廓压到一张图保留了步态的空间形态和运动频率。PCA降到50维后SVM的训练速度显著提升并且可以避免高维空间中的过拟合。如果你的数据量只有几十个样本SVC的gamma最好用scale它会根据特征数量自动缩放比固定gamma0.1更稳定。4. 双重认证融合策略与门禁系统集成4.1 贝叶斯融合和加权平均人脸和步态是两个独立分类器输出分别是“人脸相似度”和“步态置信度”。简单做法是把两个分数加权相加再跟总阈值比较。但更好的办法是贝叶斯融合由于人脸和步态的误识分布差异大线性加权难调到最佳。实际中可以用经验公式# 假设face_score范围0~1gait_score由SVM decision_function输出 # 将gait_score通过sigmoid映射到0~1 import math def sigmoid(x): return 1 / (1 math.exp(-x)) def fusion_score(face_score, gait_raw, alpha0.6): gait_score sigmoid(gait_raw) # alpha过大导致人脸主导过小导致步态主导 return alpha * face_score (1 - alpha) * gait_scorealpha的选取应该基于验证集。我一般按“人脸单独准确率越高alpha越大”的思路设初值然后用少量遍历试出最优。注意融合并不能提升两类识别都弱时的效果它提升的是“一类强另一类中等”时的综合准确率——这也是双重认证的核心价值。4.2 基于Flask的接口设计门禁系统需要一个对外接口让摄像头或者前端网页能提交数据并拿回认证结果。Flask是最快捷的方式。接口设计成两个阶段先提交一张人脸图再提交一段走路视频两步都通过才开锁。from flask import Flask, request, jsonify import base64 import numpy as np app Flask(__name__) app.route(/verify, methods[POST]) def verify(): 请求体: {face_vector: ..., gait_video: base64...} data request.get_json() face_vec np.array(data[face_vector]) # 人脸比对 face_id, face_score match_face(face_vec, face_db) if face_id is None: return jsonify({pass: False, reason: face_unmatched}) # 步态识别这里传入base64视频解码后交给extract_gait_frames video_bytes base64.b64decode(data[gait_video]) with open(/tmp/gait.mp4, wb) as f: f.write(video_bytes) frames extract_gait_frames(/tmp/gait.mp4) if len(frames) 10: return jsonify({pass: False, reason: gait_video_too_short}) gait_id, gait_score gait_predict(frames, svm, pca) if gait_id ! face_id: return jsonify({pass: False, reason: identity_conflict}) final_score fusion_score(face_score, gait_score) if final_score 0.6: return jsonify({pass: False, reason: score_low}) # 记录开门日志 save_log(face_id, final_score) return jsonify({pass: True, score: final_score})这段接口把认证逻辑拆分得很清楚先人脸后卫门最后融合。注意identity_conflict的判断只有当人脸和步态识别为同一ID时才算通过。如果一个人脸通过但步态识别成了另一个人说明其中一种特征错误此时宁可拒绝也不开锁安全设计上这样做最稳妥。4.3 前端状态机与认证流程前端在项目里是一组Vue3的TailwindCSS页面通过WebSocket与Flask通信。核心是三步状态机IDLE → WAIT_FACE → WAIT_GAIT → RESULT。用户先站到指定位置摄像头抓取人脸前端把特征向量传给后端后端返回“人脸通过”弹窗提示“请正常走3米”摄像头录制一个短视频传给后端做步态识别。整个流程中每一步超时或失败都会回到初始状态。前端要点是用video标签配合getUserMedia实时取流人脸检测可以在前端本地跑也可以把视频帧传到后端。为了减少带宽我建议把前端采集的人脸框截图转为Base64而不是传整个视频流。5. 参数调优、踩坑记录与验证方法5.1 阈值怎么定才不误报人脸识别里最常用的验证指标是FAR错误接受率和FRR错误拒绝率。阈值越高FAR越低但FRR越高门禁太严格会导致用户经常刷不进。正确做法是采集你自己的10个注册人和10个陌生人数据画出ROC曲线然后取“FAR 1%”对应的阈值。下面是一段评估脚本的核心from sklearn.metrics import roc_curve # scores_positive是真实身份比对的相似度集合 # scores_negative是假冒身份比对的相似度集合 all_scores np.concatenate([scores_positive, scores_negative]) labels np.array([1]*len(scores_positive) [0]*len(scores_negative)) fpr, tpr, thresholds roc_curve(labels, all_scores) # 找到FPR最接近0.01的阈值 target_idx np.argmin(np.abs(fpr - 0.01)) best_threshold thresholds[target_idx] print(推荐阈值:, best_threshold, FPR:, fpr[target_idx], TPR:, tpr[target_idx])如果你发现ROC曲线效果很差先别急着调模型检查注册照片和识别照片是否来自同一个摄像头。不同摄像头的色彩、亮度、视角差异会导致特征偏移这是门禁项目里最常见的坑。5.2 光照、遮挡、视角问题的处理人脸识别对光照极敏感。使用MTCNN检测时如果人脸区域过曝或过暗特征提取会失真。常见的解决方法是加一个亮度校验在检测后计算cv2.calcHist的平均亮度如果低于40或高于220直接返回“光线不足”而不是继续识别。步态视角问题更大步态识别要求摄像头在侧面或前侧45度左右才能捕捉到清晰的腿部摆动如果摄像头安装在正上方俯拍轮廓信息会大量丢失准确率急剧下滑。部署时摄像头应安装在距地面1.2~1.5米与用户行走方向呈45度到90度夹角。如果发现轮廓面积比例经常异常可以在背景减除后检查w/h的分布把明显错误的矩形过滤掉。5.3 验证识别效果的命令和指标验证步态识别效果时不要只报准确率要关注混淆矩阵和单类识别率。用下面的命令输出分类报告python -c from sklearn.metrics import classification_report import pickle with open(results.pkl,rb) as f: y_true, y_pred pickle.load(f) print(classification_report(y_true, y_pred)) 如果某个人的识别率特别低主要看他的样本视频里是不是步幅过小走得太慢或者在侧面走了“S形”路线。标准做法是统一用户在1.5米宽的走廊直行取5米路程内的视频保证至少包含4个完整步态周期。最后可以用wandb或matplotlib记录不同阈值下的FAR/FRR曲线把图和代码一起放进论文评委一眼就能看出你理解了生物特征识别中的评估方法。这套双重认证系统的核心不是堆模型而是把“人脸失败靠步态补步态模糊靠人脸锁定”的工程逻辑落地这也正是工业级门禁与玩具Demo最大的区别。本文还有配套的精品资源点击获取