简介一套基于Matlab的甲骨文图符提取实验资源面向数字图像处理研究者、相关专业学生以及关注古汉字与文化遗产数字化的技术爱好者。资源围绕甲骨文图像预处理、图符分离与文字提取三大任务展开覆盖边缘检测、质心定位与倾斜校正、背景及杂质去除、膨胀腐蚀等形态学操作、二值化处理、外轮廓多边形拟合和文字分割等关键环节便于快速复现完整实验链路。压缩包共3个文件含1个可直接运行的m脚本和2张png实验图料整体大小约1.96MB结构轻量、针对性强。目前已有136人学习下载适合用于考古研究、文物数字化保存、机器翻译及教学科研中的高精度古代文本信息提取与数据集构建。借助该资源可掌握一套从原始图像到二值图符再到文字分割的Matlab实现思路为后续文字识别及其他相关应用提供基础。 好这个题目有意思。把数字图像处理那套东西端到甲骨文研究里说实话是个典型的交叉学科项目但正因为交叉很多坑是纯计算机或者纯考古背景的人单独意识不到的。我自己的实践体验是技术本身并不算前沿用的都是很成熟的图像处理手段真正的难点在于怎么处理甲骨拓片这种极度不规则、噪声模式跟自然图像完全不同源的输入。这篇内容是基于我完整跑通一遍图料整理 - 预处理 - 图符提取 - 结果验证全流程后把代码思路、关键参数取舍和踩过的坑一起梳理出来。全文会围绕可复现的实操细节展开不堆理论直接讲每一步怎么选、为什么这么选。1. 为什么甲骨文图符提取不能直接套用通用OCR方案先说个反直觉的判断把YOLO或通用OCR模型直接丢到甲骨文拓片上效果一般不会太好。原因不在模型能力而在图料本身的性质。自然图像里的文字有稳定的背景、统一的尺度和清晰的边缘而甲骨拓片呢背景是纸张或石头的纹理噪声字迹是刻痕压印边缘模糊同一个字在不同拓片上的粗细、断裂程度、对比度差异极大。更重要的是甲骨文的拓片往往是一整块骨板的全景扫描图几十上百个图符挤在一起字符之间没有空格有些图符本身就是由多个分离的笔画部件构成的这让提取这件事从源头就比现代印刷体文字难得多。所以这个项目的定位从一开始就不该是端到端的甲骨文识别而是图符提取。提取干的是分割和定位的活目的是把散落在整张拓片上的每个甲骨文图符单独切出来整理成可以被后续识别算法或者人工标注直接使用的图料库。这个定位上的差别决定了整个技术路线的选择不需要训练一个庞大的深度模型而是用经典图像处理——降噪、边缘检测、形态学处理、连通域分析——就能完成大部分工作。从成本角度看经典图像处理方案的优势也非常明显。深度学习方案需要标注数据甲骨文图符的标注本身就依赖古文字专家标注成本极高而且不同时期、不同材质的甲骨风格差异巨大在一个批次的拓片上训练出来的模型换一批拓片大概率要重新微调。相比之下经典图像处理方案在算子层面是通用的只是参数需要针对图料微调这种算法通用、参数适配的模式明显更适合中小规模的研究场景。我最终定下的完整流程是图像采集与数字化 - 预处理灰度化、降噪、背景校正 - 二值化 - 形态学连通与修复 - 图符定位与裁剪 - 人工复核与图料归档。接下来逐个环节拆开讲。2. 图料预处理噪声类型分析是参数设计的前提很多教程一上来就让你调二值化阈值这是错误的顺序。在动任何算子之前必须先搞清楚这批图料的噪声到底是哪来的。我手头的甲骨文图料主要来源有三类原版拓片的高清扫描图、从纸质出版物翻拍的图像、以及部分数字化图库的在线资源。三种来源的噪声模式完全不同。扫描图的问题主要是背景纹理和光照不均。拓片压在骨板上纸张本身的纤维纹理被扫描仪放大后会在整个图像上形成周期性的灰度波动。翻拍图的问题更麻烦不仅有纸张纹理还有拍摄角度带来的透视畸变和光照梯度——同一张图里左上角亮、右下角暗是常事。数字化图库的资源则通常已经做过压缩JPEG伪影就是压缩留下的块状边缘会对后续边缘检测造成干扰。针对这些不同的噪声模式预处理策略也要区分。首先是灰度化这一步没有太多讨论空间直接用标准加权公式就行。真正需要花心思的是降噪和背景校正。降噪我用了两步组合。第一步是中值滤波核大小取3x3。中值滤波对脉冲噪声椒盐噪声非常有效而且相比高斯滤波更能在去噪的同时保留边缘的锐利程度——这对后面提取图符形状至关重要。如果核开太大虽然背景更干净了但笔画边缘会被抹圆断裂细节直接消失。第二步是高斯滤波核大小5x5sigma取1.0目的是进一步平滑背景纹理。实测下来3x3中值 5x5高斯的组合对扫描图的纹理抑制效果最好。背景校正这一步是很多纯做计算机视觉的人容易忽略的。因为图料经常有光照不均的问题直接用全局阈值做二值化亮区的笔画和暗区的背景会被错误合并。我用的方法是形态学背景估计对灰度图做一个大核比如30x30的开运算得到一个只保留背景结构的平滑估计图然后用原图减去这个背景估计图再整体加上一个常数偏移。这个过程本质上是在做高反差保留把光照梯度这种大尺度变化干掉的同时保留笔画这种小尺度的细节。代码实现非常简短import cv2 import numpy as np def correct_background(gray_img, kernel_size30, offset128): kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (kernel_size, kernel_size)) background cv2.morphologyEx(gray_img, cv2.MORPH_OPEN, kernel) corrected cv2.subtract(gray_img, background) corrected cv2.add(corrected, np.ones_like(corrected) * offset) return corrected这里有个重要的细节开运算核的大小直接决定了背景估计的灵敏度。核太小会把笔画也划进背景估计里核太大对光照梯度的追踪就滞后。我在10到80之间做过一组对比实验结论是30到40的区间对甲骨拓片最合适。这个数值和拓片上的实际笔画粗细有关系笔画本身通常只有2到8个像素宽而光照梯度的尺度是全局性的用30到40的结构元素刚好可以避开笔画尺寸、保留大尺度背景。3. 二值化全局阈值、自适应阈值还是形态学组合二值化是整个提取流程的胜负手。这一步做不好后续所有工作都是空中楼阁。我把三种常见方案都实测了一遍踩了不少坑直接说结论。第一种是全局阈值法也就是固定一个灰度值比如127做分割。这个方法对光照均匀的扫描图勉强可用但一旦遇到翻拍图那种光照梯度明显的图料全局阈值就会把暗区的背景和亮区的笔画一并切掉结果惨不忍睹。我在批处理第一批图料时就踩了这个坑只能回头补背景校正。第二种是Otsu自适应阈值它会在灰度直方图上自动寻找一个分割值让类内方差最小。Otsu对双峰分布的直方图效果很好但甲骨拓片的直方图经常是三峰甚至多峰——纸张纹理、笔画灰度和噪声各占据一个峰值区间这时候Otsu会倾向于把中间的背景纹理和笔画合并提取出的图符会有大量背景残留。第三种是局部自适应阈值OpenCV里的adaptiveThreshold。这个方案在原理上最适合光照不均的图料因为它对每个像素都根据邻域灰度动态计算阈值相当于在每个局部区域单独做判断。但在甲骨文图料上实践下来效果也不理想。原因是图符笔画和背景纹理的灰度差本身就不大自适应阈值会把同一块背景纹理噪声也切成一块块不规则的区域形成大量假阳性前景后续连通域分析时会被这些噪声淹没。最终我的解法是组合拳先做背景校正再接Otsu二值化。背景校正已经把光照梯度问题解决了这时候再用Otsu处理局部灰度差异正确率会大幅提升。实测下来单张拓片经背景校正 Otsu处理后的误分割率比直接上自适应阈值低很多。那形态学操作在这里扮演什么角色呢。二值化之后的图像仍然会有大量断裂和毛刺需要用形态学开闭运算来处理。开运算先腐蚀后膨胀用于消除小的白色噪点闭运算先膨胀后腐蚀用于填补笔画内部的空洞和连接断裂处。参数上我通常用3x3的矩形核做一次开运算、两次闭运算。闭运算对甲骨文特别重要因为刻痕本身是连续的凹槽在扫描时会因为受力不均出现局部浅槽导致二值化后笔画中间断成两截。闭运算能把这种断裂接回来保持图符的连通性。4. 图符提取连通域分析为主、轮廓拟合为辅的定位策略二值化和形态学做完之后图符提取的主体工作就可以开始了。我用的是连通域分析 最小外接矩形输出方法简单直接遍历二值图像上的所有前景像素把相邻的像素归并为同一连通域然后用矩形把每个连通域框出来。OpenCV里对应的是connectedComponentsWithStats接口它返回每个连通域的包围盒、面积、中心点等信息一步到位。实操里最关键的是过滤规则。一张完整的甲骨拓片上除了真正的甲骨文图符还会有尺牍线、残断裂痕、墨渍、以及二值化残留的纸纹噪点。这几个干扰物在面积、宽高比、占空比三个维度上有明显的分布差异。我实际采用的过滤参数是这样一组面积下限120像素、上限200000像素。面积太小的基本都是噪声点太大的通常是整块骨板边缘的阴影区域宽高比限制在0.1到10之间。真正横竖写的甲骨文图符基本都在这个范围里超出这个比例的多为杂线或污迹占空比前景像素数除以包围盒面积大于0.02且小于0.9。占空比接近0的基本就是细长线条占空比接近1的是大块墨渍。这里过滤顺序很关键。先按面积过滤、再按宽高比过滤、最后按占空比过滤每步过滤后都重新生成掩膜统计避免某一步过滤条件误伤被后续步骤本可恢复的连通域。实际操作中我会把过滤后的轮廓叠加在原图上生成标注图人眼过一遍动态调整阈值。不同图源的拓片参数区间需要局部微调但整体框架稳得住。有朋友可能会问为什么不用轮廓检测findContours来替代连通域我两种都试过。连通域分析在处理粘连目标时更可控。所谓粘连目标就是两个独立的图符在图像上靠得太近甚至笔画相交轮廓检测会把它们当成同一个目标连通域分析虽然没有从语义上解决这个问题但它提供的是像素级的外接矩形框方便做形态学分离。如果两个图符只是边缘稍微接触我可以用一次非常保守的腐蚀操作把它们分开再用膨胀恢复尺寸。如果笔画大面积交叉那分割就不适合在图像层做而应该在语义层靠专家标注来拆分不能强求算法解决一切。这一步输出的是一堆矩形坐标但真正想要的产出是切出来的图符子图。我用矩形坐标从原灰度图上截取而不是从二值图上截——二值图已经丢失了笔画内部的灰度层次而灰度图保留了笔画压痕的深浅信息对后续人工判读和识别模型训练都更有价值。同时我会以连通域中心的坐标按统一模版生成裁剪后的单字图统一命名归档。5. 数据集归档与代码实践校验环节不能省图像处理做完只算完成了一半。图符提取项目的最终交付物不是一堆切割出来的矩形而是一个结构清晰、便于检索的图料库。归档的规范直接影响后续研究或训练的使用效率。我的目录结构很简单按原图来源建顶部目录下面分origin/原始扫描图、preprocessed/预处理中间结果、extracted/提取切割出来的单字图、annotated/叠加了检测框标注的预览图。每个提取出来的图符命名规则是原图标识_连通域编号_面积_坐标这样即使后续发现某个图符提取有误也能从文件名反查到它在原图中的精确位置回溯成本极低。这里分享一个比较重要的经验教训批量处理一定要全流程跑完后统一回到原始图上做交叉复核不要边处理边动态调整参数。我第一版流程是发现一批切割得不好就立刻回头调参数结果前一批调整的参数又破坏了后一批原本OK的结果最后整个图料库风格都不统一花了大量时间返工。正确的方式是随机抽出几批图料充分观察噪声分布定下参数区间后整批跑完再针对个别问题图料单独修。批量处理讲究的是参数空间的可复现性而不是单张图的极致效果。另一个容易忽视的点是保存格式。提取的单字图我建议统一保存为无损格式PNG不要用JPEG。JPEG压缩会在笔画边缘产生振铃效应和块状伪影这批伪影不大但会直接影响后续做字符识别的训练精度。中文字符识别对边缘细节相当敏感边缘伪影多了模型学出来的特征就容易被带偏。我最后还会生成一个CSV文件记录每个图符在原图中的坐标、面积、提取参数版本、以及人工复核状态。这个文件不占什么空间但在后续做统计比如某块骨板上包含多少个图符、平均面积是多少时非常有用也大大方便了和图料一起交付给研究人员时的沟通。6. 实测效果与调参经验三批图料的对比数据说点实在的用这套流程实际跑三批不同来源的图料结果如下图料来源图像分辨率预处理耗时/张提取图符数人工复核有效率主要问题高清扫描图4000x3000约1.2秒18686%少量断裂未闭合纸质出版物翻拍2500x1800约0.8秒9371%光照不均致漏检图库压缩资源1200x900约0.3秒4763%压缩伪影干扰说明一下这几组数据看出来的问题。扫描图源因为分辨率高、噪声单纯算法表现最稳定复核有效率最高。翻拍图源主要被光照干扰背景校正参数调好后能恢复到80%以上但光源色温偏黄时灰度直方图整体偏移需要额外做一次白平衡预处理我在流程里没有默认包含这个步骤处理这类图源时建议手动加一步灰度直方图均衡化。图库压缩资源最麻烦JPEG伪影在二值化后被放大靠形态学开闭运算无法完全去除压低面积下限又会引入大量噪声。这三组数据说明了一个很现实的问题图像处理流程的鲁棒性是相对的对每个图源做一遍小规模参数寻参几乎是不可避免的。我自己的习惯是每换一批图料先抽3到5张做全流程测试和人工复核确认验收指标没掉到及格线以下再放量跑全批。这个习惯帮我省下的返工时间远超寻参花费的时间。关于效率这个流程全部跑在普通PC上预处理单张扫描图大约1秒多加上连通域分析和裁剪单张总耗时在2到3秒之间。整个流程没有用到GPU因为经典图像处理算子对并行要求不高CPU多核跑足以应付。7. 断笔粘连是最大的拦路虎一个典型的样本复盘跑完三批图料后我统计了一下提取失败的主要类型其中最顽固的是断笔问题。所谓断笔就是甲骨文图符在刻痕磨损或扫描光线不足的情况下笔画中间断开成两截。按人眼来看这明显是一个字——笔画的位置和走向都清清楚楚但对连通域分析来说这就是两个不相干的连通域直接分开成两个图符切出来了。具体样本是这样的某张拓片上有一个明显是卜字结构的图符竖笔和横笔因为刻痕深浅差异二值化后竖笔的下半段断了大约6个像素。连通域分析结果把竖笔上半段和横笔切成了一个小图竖笔下半段因为没有跟其他部分连通面积又刚好大于面积下限被单独切成了另一个小图。人工复核的时候如果不回到原图上对照光看切出来的两个碎片根本看不出原来是一个完整的字。针对断笔的修复我用过三种方案。第一种是做一次较强闭运算强连效果是把两个碎片连上了但代价是笔画内部的小孔洞也被填充造成区域膨胀提取的外接矩形偏大并可能覆盖到相邻的其他图符。第二种是检测两个连通域距离阈值比如中心点距离小于笔画宽度3倍且各自的最小外接矩形在垂直或水平方向有重叠时自动合并为同一个目标。这个策略在断口较小时表现很好但如果断口大于笔画宽度中心距离就超过阈值合并失败。第三种是改用局部梯度信息做笔画线追踪——把二值图上的每个像素点都视为图节点用图连通算法寻找断裂笔画之间的最短路径这个方法最准确但实现复杂度也最高。最终我的处理方案是分步骤走先用保守闭运算处理所有图符再用距离阈值合并策略处理剩余的断裂候选剩下实在合不拢的就交给人工复核去标记合并。自动化的目标不是把正确率做到100%而是把人工复核的工作量压缩到最少。这套组合方案下来人工复核的工作量大概能减少一半以上。粘连是另一个方向的难题。两个相邻图符的笔画交叉在一起连通域分析会把他们切成一张大图人工复核时需要手动切分。目前我的交互式复核工具里做了一个辅助功能用鼠标在要分割的位置画一条线程序自动沿线的方向找到附近灰度最低的路径做笔画分离。这个功能工作量不大但复核效率提升明显后续可以考虑用最小割算法做进一步自动化。这个案例给到的启示很直接在做图符提取项目时图像处理算法的验收标准不能只看提取总数量而要看提取的准确率和召回率我通常是按人工复核有效率来衡量的。如果一套流程跑下来复核有效率长期在90%以下那多半不是算法不够先进而是预处理或者后处理策略在某一个环节上没匹配到这批图料的特殊性质。8. 给后来者的建议图料整理与技术选型的先后顺序最后以个人体会收尾。图像提取的瓶颈通常不在算法上而在数据本身。我见过很多尝试做甲骨文数字化项目的朋友一开始就扑在模型和算法上图料还是散乱的一堆拷贝文件连统一的目录结构和命名规范都没有。这种情况下无论算法多么完善都很难追踪问题。我在实际项目中得到的教训是先花时间规划好图料库的组织结构——目录怎么分、文件名怎么起、元数据怎么记录、格式怎么统一——这几件事定了算法试错才有意义同事之间的协作也顺滑很多。技术选型方面我的建议是不要一开始就上深度模型。对于甲骨文图符提取这个任务经典图像处理方法已经把八成以上的工作量消化掉了而且它不需要打标签、不需要训练、不需要GPU调试周期短逻辑完全透明每一个步骤的结果都能直观可视化。剩下真正需要深度学习介入的是把这些切出来的图符分类识别成具体哪些字这个环节那是另一套工作流了需要古文字专家参与标注。这套流程的代码量极少核心函数加起来不超过300行全部基于OpenCV和NumPy实现。它的核心价值不是技术多高深而是把散落在不同图像里的研究材料用通用工具转化成了一个可供后续研究使用的可检索、可复用、可量化的图料库。甲骨文研究的数字化转型需要的正是这样一个个踏实的工序积累从一张拓片到一个干净的图符再从一个图符到一个可被检索的数据记录。本文还有配套的精品资源点击获取