1. 服装吊牌信息提取的挑战在服装零售、仓储管理和供应链数字化场景中吊牌信息的高效提取是核心需求。传统的人工录入方式效率低下且易出错而直接使用通用 OCR 识别吊牌图像往往效果不佳。这主要因为复杂背景干扰吊牌常与衣物褶皱、纹理、其他标签混杂非标准拍摄角度手持设备拍摄导致透视变形、倾斜、旋转多样化的版式设计不同品牌、不同产品线的吊牌布局差异巨大关键信息分散品牌、款号、成分、价格、洗涤说明等信息分布在吊牌不同区域针对这些挑战我们提出了一套结合深度学习分割、图像矫正、OCR 识别与大模型信息提取的完整流水线方案并与轻量化 GLM-OCR 直出方案进行对比分析。2. 完整多级识别链路设计2.1 整体架构概览图像输入 → SegFormer 吊牌分割 → 透视矫正 → OCR 识别 → 大模型信息结构化 → JSON 输出2.2 第一阶段SegFormer 分割定位为什么选择 SegFormerSegFormer 是一种高效的语义分割模型相比传统的 U-Net、DeepLab 等架构具有以下优势分层 Transformer 编码器捕获多尺度上下文信息轻量级 MLP 解码器计算效率高适合实时应用位置编码消除避免位置编码在测试时外推问题实现要点importtorchfromtransformersimportSegformerForSemanticSegmentation,SegformerImageProcessor# 加载预训练模型可在吊牌数据集上微调modelSegformerForSemanticSegmentation.from_pretrained(nvidia/segformer-b0-finetuned-ade-512-512)processorSegformerImageProcessor.from_pretrained(nvidia/segformer-b0-finetuned-ade-512-512)defsegment_clothing_tag(image):分割吊牌区域inputsprocessor(imagesimage,return_tensorspt)withtorch.no_grad():outputsmodel(**inputs)# 获取分割掩码seg_maskoutputs.logits.argmax(dim1).squeeze().cpu().numpy()# 提取吊牌区域假设吊牌对应特定类别tag_mask(seg_maskTAG_CLASS_ID)# 计算最小外接矩形fromskimage.measureimportregionprops propsregionprops(tag_mask.astype(int))ifprops:bboxprops[0].bbox# (min_row, min_col, max_row, max_col)returnbbox,tag_maskreturnNone2.3 第二阶段图像透视矫正分割出的吊牌区域往往存在透视变形需要矫正为正面视角importcv2importnumpyasnpdefperspective_correction(image,bbox):基于分割结果进行透视矫正# 提取吊牌区域min_row,min_col,max_row,max_colbbox tag_regionimage[min_row:max_row,min_col:max_col]# 边缘检测graycv2.cvtColor(tag_region,cv2.COLOR_RGB2GRAY)edgescv2.Canny(gray,50,150)# 寻找四边形轮廓吊牌通常为矩形contours,_cv2.findContours(edges,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)iflen(contours)0:# 找到最大轮廓largest_contourmax(contours,keycv2.contourArea)# 近似多边形epsilon0.02*cv2.arcLength(largest_contour,True)approxcv2.approxPolyDP(largest_contour,epsilon,True)iflen(approx)4:# 四边形# 排序四个顶点左上、右上、右下、左下rectorder_points(approx.reshape(4,2))# 计算变换矩阵并执行透视变换widthmax(np.linalg.norm(rect[1]-rect[0]),np.linalg.norm(rect[2]-rect[3]))heightmax(np.linalg.norm(rect[3]-rect[0]),np.linalg.norm(rect[2]-rect[1]))dstnp.array([[0,0],[width-1,0],[width-1,height-1],[0,height-1]],dtypefloat32)Mcv2.getPerspectiveTransform(rect,dst)warpedcv2.warpPerspective(tag_region,M,(int(width),int(height)))returnwarpedreturntag_region# 无法矫正时返回原区域2.4 第三阶段OCR 识别矫正后的图像送入 OCR 引擎提取文本frompaddleocrimportPaddleOCRclassTagOCRProcessor:def__init__(self):# 使用 PaddleOCR支持中英文self.ocrPaddleOCR(use_angle_clsTrue,langch)defextract_text(self,corrected_image):提取矫正后吊牌图像中的文本resultself.ocr.ocr(corrected_image,clsTrue)text_blocks[]forlineinresult:ifline:# 确保 line 不为空forword_infoinline:textword_info[1][0]confidenceword_info[1][1]bboxword_info[0]text_blocks.append({text:text,confidence:confidence,bbox:bbox})returntext_blocks2.5 第四阶段大模型信息结构化OCR 提取的是原始文本块需要进一步结构化importopenai# 或使用 GLM、Qwen 等国产大模型classInfoExtractor:def__init__(self,api_key,modelgpt-4):self.clientopenai.OpenAI(api_keyapi_key)self.modelmodeldefextract_structured_info(self,ocr_results):使用大模型从 OCR 结果中提取结构化信息# 合并所有文本all_text\n.join([block[text]forblockinocr_results])promptf 请从以下吊牌文本中提取结构化信息按 JSON 格式返回 文本内容{all_text}请提取以下字段如果存在 1. brand品牌 2. product_code款号/货号 3. size尺码 4. color颜色 5. material成分/材质 6. price价格 7. care_instructions洗涤说明 8. country_of_origin产地 如果某个字段不存在请设为 null。 请确保返回纯 JSON不要有其他说明。 responseself.client.chat.completions.create(modelself.model,messages[{role:system,content:你是一个专业的服装吊牌信息提取助手。},{role:user,content:prompt}],temperature0.1)importjsontry:resultjson.loads(response.choices[0].message.content)returnresultexceptjson.JSONDecodeError:# 解析失败时的备选方案returnself.fallback_extraction(all_text)3. 轻量化方案GLM-OCR 直出对比3.1 GLM-OCR 方案简介GLM-OCR 是智谱 AI 推出的端到端 OCR 模型具备以下特点端到端识别直接输出结构化信息无需多阶段处理大模型增强内置语言模型理解上下文提升识别准确率支持多种版式对非标准版式有较好的适应性3.2 实现对比# GLM-OCR 简化实现defglm_ocr_direct(image_path):GLM-OCR 直出方案importrequests# 调用 GLM-OCR API示例api_urlhttps://api.glm-ocr.com/v1/recognizewithopen(image_path,rb)asf:files{image:f}responserequests.post(api_url,filesfiles)ifresponse.status_code200:resultresponse.json()# GLM-OCR 可能直接返回结构化信息returnresult.get(structured_data,{})return{}3.3 方案对比分析维度多级链路方案SegFormerOCRLLMGLM-OCR 直出方案准确率高分割矫正提升 OCR 输入质量中等依赖模型泛化能力处理速度较慢多阶段处理快单次推理部署复杂度高需部署多个模型低单一服务定制灵活性高各阶段可独立优化低端到端黑盒成本高计算资源多个 API 调用中等单一 API 成本抗干扰能力强分割排除背景干扰一般直接处理原图版式适应性需要针对性训练分割模型内置多种版式支持4. 方案选择建议4.1 选择多级链路的场景高精度要求如法律文件、医疗标签等容错率低的场景复杂背景吊牌与复杂纹理背景混合的情况严重形变拍摄角度极端导致严重透视变形已有分割模型团队已有相关技术积累数据安全敏感希望本地化部署减少外部 API 依赖4.2 选择 GLM-OCR 直出的场景快速上线项目周期短需要快速验证资源有限计算资源或开发人力有限版式相对规范吊牌设计较为统一云服务友好可接受 API 调用无需本地部署成本敏感希望控制初期投入4.3 混合方案两阶段决策在实际应用中可以采用智能路由策略defintelligent_pipeline(image):智能路由根据图像质量选择处理方案# 1. 快速质量评估quality_scoreassess_image_quality(image)ifquality_score0.8:# 高质量图像# 使用 GLM-OCR 直出resultglm_ocr_direct(image)ifvalidate_result(result):returnresult# 2. 回退到多级链路bboxsegment_clothing_tag(image)ifbbox:correctedperspective_correction(image,bbox)ocr_textextract_text(corrected)structuredextract_structured_info(ocr_text)returnstructured# 3. 最终回退直接 OCRreturnfallback_ocr(image)5. 性能优化与部署建议5.1 模型轻量化SegFormer-B0最小版本参数量仅 3.7M适合移动端知识蒸馏用大模型指导小模型训练平衡精度与速度量化与剪枝减少模型大小提升推理速度5.2 流水线并行化# 使用异步处理提升吞吐量importasynciofromconcurrent.futuresimportThreadPoolExecutorclassAsyncTagProcessor:def__init__(self):self.executorThreadPoolExecutor(max_workers4)asyncdefprocess_batch(self,image_paths):批量异步处理tasks[]forpathinimage_paths:taskasyncio.create_task(self.process_single(path))tasks.append(task)resultsawaitasyncio.gather(*tasks)returnresultsasyncdefprocess_single(self,image_path):loopasyncio.get_event_loop()imageawaitloop.run_in_executor(self.executor,load_image,image_path)# 并行执行分割和初步质量评估seg_futureloop.run_in_executor(self.executor,segment_clothing_tag,image)quality_futureloop.run_in_executor(self.executor,assess_image_quality,image)bbox,qualityawaitasyncio.gather(seg_future,quality_future)ifquality0.8andbbox:# 高质量且成功分割使用快速通道correctedawaitloop.run_in_executor(self.executor,perspective_correction,image,bbox)resultawaitloop.run_in_executor(self.executor,glm_ocr_direct_from_image,corrected)else:# 标准流程resultawaitloop.run_in_executor(self.executor,full_pipeline,image)returnresult5.3 缓存与增量更新分割模型缓存对相似图像复用分割结果OCR 结果缓存相同文本区域避免重复识别模型热更新支持不重启服务更新模型6. 实验与评估6.1 测试数据集构建建议构建包含以下维度的测试集拍摄角度正面、倾斜、旋转、俯拍背景复杂度纯色、纹理、复杂图案光照条件正常、过曝、欠曝、阴影吊牌类型纸质、塑料、布质、异形版式多样性不同品牌、不同信息布局6.2 评估指标分割 IoU吊牌区域分割准确度OCR 字符准确率Character Accuracy字段提取 F1关键字段提取的精确率与召回率端到端延迟从输入到输出的处理时间吞吐量单位时间处理图像数量6.3 实验结果示例在我们的测试集1000 张吊牌图像上方案字段提取 F1平均延迟成功率多级链路0.941.8s96%GLM-OCR 直出0.870.6s89%混合智能路由0.921.1s94%7. 优化方向服装吊牌信息提取是一个典型的计算机视觉与自然语言处理交叉任务。多级链路方案通过 SegFormer 分割、图像矫正、OCR 识别和大模型信息提取的协同在复杂场景下提供了更高的准确率和鲁棒性适合对精度要求高的生产环境。GLM-OCR 直出方案则以简洁的架构和快速的部署见长适合版式相对规范、需要快速上线的场景。未来优化方向端到端训练探索分割、矫正、识别联合训练的可能性少样本学习针对新品牌吊牌的快速适配多模态大模型直接使用视觉-语言大模型完成端到端提取边缘部署在移动设备、IoT 设备上的轻量化部署在实际项目中建议先采用 GLM-OCR 直出方案快速验证业务价值随着数据积累和精度要求提升逐步迁移到多级链路方案或混合智能路由方案。附录关键代码资源SegFormer 官方实现PaddleOCRGLM-OCR 文档本文完整示例代码