【免费下载链接】MonkeyOCRv2MonkeyOCRv2 Vision Encoder — A Document-Native Visual Backbone项目地址https://gitcode.com/gh_mirrors/mo/MonkeyOCRv2点击查看免费下载如果你正在为文档 AI 项目挑选视觉编码器这篇 MonkeyOCRv2 模型选型指南会帮你在几分钟内搞清楚 S、B、AS、Parsing 与 Und 五类变体各自的参数量、适用任务和 MDPBench 等基准评测表现避免选错模型、白花算力。MonkeyOCRv2 是一个文档原生的视觉-文本基础模型Vision Encoder既能单独作为视觉骨干接入你的 OCR 系统也提供开箱即用的文档解析与文档理解模型支持 17 种语言覆盖印刷文档与拍照文档两大场景。一、先认识 MonkeyOCRv2文档原生的视觉骨干MonkeyOCRv2 的核心卖点是一句话一个面向文档场景预训练的视觉编码器。它在 1.13 亿页、覆盖 17 种语言的 MonkeyDoc v2 文档数据集上完成预训练官方评测显示相比通用视觉编码器在文档解析MDPBench上仅用约 1/11 参量的 vision encoder 就取得 83.3 的整体分位列评测过的开源模型第一在文本识别、公式识别、文本检测、文档篡改检测、重叠文本分割等7 项任务上均有稳定提升见上图右侧 2.8% ~ 13.2% 的增益条。因此选模型的第一步不是纠结 S 还是 B而是先明确你要做的事整页解析、文档问答、文本检测/分割还是只取特征。二、五大变体全景S、B、AS、Parsing、Und 分别是什么仓库 README.md 的 Model Zoo 把发布内容分成三组核心规格如下1. Vision Encoder纯视觉编码器可嵌入你自己的系统模型Backbone参数量预训练分辨率适用任务MonkeyOCRv2-SViT-S28M1280×28×28识别 / 解析 / 理解MonkeyOCRv2-BViT-B113M1280×28×28识别 / 解析 / 理解MonkeyOCRv2-ASViTAEv2-S21M1760×32×32检测 / 分割2. Parsing端到端文档解析模型 编码器 0.6B LLM模型总参数ViTLLMMDPBench All数字文档拍照文档MonkeyOCRv2-S-Parsing0.6B0.03B0.6B82.587.980.7MonkeyOCRv2-B-Parsing0.7B0.1B0.6B83.388.181.73. Und文档理解模型 编码器 LLM支持视觉问答模型总参数OverallDocVQAChartQAOCRBenchMonkeyOCRv2-S-Und1.7B55.979.362.052.2MonkeyOCRv2-B-Und1.8B57.279.362.058.1 命名规律一句话总结S/B 是编码器体量Small/BaselineAS 是检测分割专用的多阶段编码器Parsing/Und 是基于 S 或 B 编码器搭出来的完整任务模型。三、S vs B视觉编码器怎么选两者架构相同ViT 系列同一套 vision/extract_feature.py 即可提取特征差别只在规模与上限MonkeyOCRv2-S28M轻量首选。在识别任务中把它装进 PARSeq 解码器后 Overall 达到84.3超过 SVTRv283.1和 MAERec81.6详见 recognition/ 的完整评测公式识别中 UniMERNet-TMonkeyOCRv2-S在 OmniDocBench 1.6 上 CDM 达90.9同样领先同规模方案。MonkeyOCRv2-B113M精度天花板。B-Parsing 在 MDPBench 17 语言上83.3 分登顶开源榜拍照文档81.7 vs 80.7和非拉丁语种的收益最明显。怎么选显存/时延敏感、跑在低配 GPU 或高并发服务上 →S追求解析/理解精度上限、文档质量优先 →B。四、AS 变体检测、分割与取证任务的隐藏王牌AS 是唯一走 ViTAEv2 路线的编码器21M分辨率 1760×32×32输出4 个阶段的多尺度特征1/4、1/8、1/1/16、1/32 网格天生适合检测头与分割头使用特征提取脚本为 vision/extract_feature_vitae.py。文本检测Total-Text / CTW1500 / ICDAR2015 / ArT从上面的基准图可见AS 在全部 6 个组合上都刷新 SOTAICDAR2015DBNet 达88.5、CTW1500DPText-DETR 达88.9、ArTDPText-DETR 比 oCLIP 高10.2 个点配置与训练代码位于 detection/ 目录。文档篡改检测DocTamper在 DocTamper 基准上FFDNMonkeyOCRv2-AS整体 IoU78.2、F 值87.5全面超过 DTD77.0/79.7与原版 ViTAEv2 预训练的 FFDN*70.7/82.7网络结构如 forensics/assets/framework.png 所示工程实现在 forensics/。重叠文本分割MOTMOTSMonkeyOCRv2-AS在 MOT 数据集上 mIoU_Text76.9、IoU_Occ88.6、IoU_Ov59.4四项指标全部第一。效果示例结论只要你的任务是画框或画掩码检测、分割、篡改取证直接选 AS无需在 S/B 之间纠结。五、Parsing文档解析主力S 版还是 B 版MonkeyOCRv2-Parsing 把整页文档PDF/图片解析成带版面、阅读顺序的 Markdown支持 17 种语言。下图是它对多语种拍照文档的解析效果两版关键差异MDPBench 17 语言基准维度S-ParsingB-Parsing总参数0.6B0.7B整体 All82.583.3拍照文档 Photo80.781.7拉丁语系均值83.284.2非拉丁语系均值81.782.1亮点语种AR 91.2KO 80.8、RU 83.6工程化能力上B 版独占两项福利DFlash 推测解码配合 vLLM 0.25.1 可将推理速度最高提升 2 倍python download_model.py -n MonkeyOCRv2-B-Parsing-DFlash服务化通过 parsing/serve.py 启动命令行解析用 parsing/parse.pyWeb 演示见 parsing/demo/gradio_demo.pyFastAPI 部署见 parsing/fastapi/main.py。没有 GPU 怎么办S 版和 B 版都支持CPU 推理步骤详见 docs/cpu_support.md注意 CPU 模式只加载解析主模型不要下载 DFlash 草稿模型。六、Und文档理解S 版与 B 版差距多大Und 系列用同一个 LLM 搭配不同规模的视觉编码器专门回答文档里有什么这类视觉问答。在 DocVQA、InfoVQA、DF、KLC、WTQ、ChartQA、DT-VQA、OCRBench 8 个基准上B-Und 全面小幅领先Overall 57.2 vs 55.9OCRBench 58.1 vs 52.25.9InfoVQA 46.3 vs 44.5两者共同优势惊人Overall 比 CLIP-B16.0、SigLIP2-B24.9、OpenVision-B44.0等主流视觉编码器高出 12~39 分——文档原生的预训练数据在这里体现得淋漓尽致。推理入口是 understanding/infer.py支持--device cpu/cuda、温度采样与 flash attention微调流程见 understanding/train/README.md。怎么选预算紧张选 S-Und 即可拿到 55.9 的整体分已远超同规模 VFM对 OCRBench、ChartQA 等复杂版面问答敏感选 B-Und。七、30 秒速查表该选哪个模型你的场景推荐模型理由整页解析追求最高精度B-ParsingMDPBench 83.3开源第一整页解析低配机器/高并发/纯 CPUS-Parsing0.6B支持 CPU 推理GPU vLLM 服务 极速推理B-Parsing DFlash推理最快 2 倍文档问答/图表理解B-Und预算足或 S-UndOverall 57.2 vs 55.9文本检测/重叠分割/篡改取证AS检测、分割、DocTamper 全线 SOTA只取视觉特征嵌入自研系统S28M或B113M按显存二选一脚本通用场景文本/公式识别编码器SPARSeq(S) 84.3 登顶UniMERNet-T(S) 90.9八、快速上手一条命令下载 三行命令跑通统一入口是 download_model.py支持 HuggingFace 与 ModelScope 双源# 视觉编码器S / B / AS python download_model.py -n MonkeyOCRv2-B # or MonkeyOCRv2-S / MonkeyOCRv2-AS # 文档解析可选 DFlash 加速 python download_model.py -n MonkeyOCRv2-B-Parsing python download_model.py -n MonkeyOCRv2-B-Parsing-DFlash # 文档理解 python download_model.py -n MonkeyOCRv2-B-Und # or MonkeyOCRv2-S-Und # 国内网络推荐 ModelScope 源 python download_model.py -t modelscope -n MonkeyOCRv2-B下载后的最小验证路径cd vision python extract_feature.py -m ../model_weight/MonkeyOCRv2-B -i ../images_test/ar.JPEG # S / B python extract_feature_vitae.py -m ../model_weight/MonkeyOCRv2-AS -i ../images_test/ar.JPEG # AS cd understanding python infer.py -m ../model_weight/MonkeyOCRv2-B-Und -i ../images_test/vqa.png -q What is the serving size?⚠️ 一个小提醒由于 MonkeyOCRv2 尚未进入 Transformers 原生注册体系加载时需要trust_remote_codeTrue它会执行哪些自定义文件、如何校验哈希完整说明在 docs/trust_remote_code.md。写在最后选型可以浓缩成三句话解析要极致用 B-Parsing要省资源用 S-Parsing问答理解 B-Und 略胜 S-Und凡是检测与分割闭眼选 AS。配合本文的基准数字对照你自己的数据规模与硬件预算基本不会踩坑。模型在 Apache License 2.0 下发布研究与商用均可免费使用各任务微调入口parsing/train/、understanding/train/、recognition/、formula/也都随仓库开放。赞分享【免费下载链接】MonkeyOCRv2MonkeyOCRv2 Vision Encoder — A Document-Native Visual Backbone项目地址https://gitcode.com/gh_mirrors/mo/MonkeyOCRv2点击查看免费下载相关推荐模型评测与对比选择最适合的大模型模型评测与对比选择最适合的大模型 本文全面探讨了大模型评测指标体系的构建方法涵盖了从基础语言能力到专业领域评估的全方位维度。详细介绍了包括语言理解、推理能力大模型人工智能教程本地部署微调CLIP-as-service终极基准测试全面对比各模型性能数据CLIP as service终极基准测试全面对比各模型性能数据 CLIP as service是一个强大的开源工具提供图像和句子的可扩展嵌入、推理和排序功模型推理服务计算机视觉NLP后端Final2x模型选型指南60超分模型参数对比与场景适配Final2x模型选型指南60超分模型参数对比与场景适配 你是否还在为动漫插画放大后边缘模糊而烦恼是否因手机拍摄的低清照片无法冲印而遗憾Final2x作桌面应用图像处理人工智能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
