多模态大模型应用

环境

1.1 硬件环境

海光 K100-AI 64G（DTK25.04，国产DCU环境）：国产化信创适配验证

1.2 软件环境

（1）框架：Transformers、LLaMA-Factory、Pytorch

（2）图像预处理：OpenCV、Pillow

二、多模态大模型选型

2.1多模态模型清单

2.2Qwen2.5-VL-3B-Instruct（4bit 量化部署）

优势：精度较高、显存占用适中、推理速度均衡、CUDA/国产海光双适配；

适用场景：高并发批量质检。

2.3 GLM-4.6V-Flash-9B

优势：漏检、误判指标较优，细微篡改识别能力强；

局限：算力资源消耗高，并发承载量低；

适用场景：精度要求较高场景。

2.4 Qwen2-VL-2B-Instruct

优势：低显存、极速推理；

局限：精度较低。

适用场景：精度要求不高场景。