简介这份数学分析讲义精华版以PDF文档形式提供面向正在从初等数学过渡到高等数学的本科生与自学者尤其是初学数学分析、对抽象定义与严格证明感到不适应的读者。讲义以“112”为切入点比较初等数学与高等数学在定义方式与学习模式上的差异进而展开有理数与无理数的本质区别、无穷小与极限在实数构造中的作用以及连续性、可导性、可积性为何都建立在极限理论之上。文中另给出衔接建议理解无穷的内涵避免把高等数学工具化并保留直观化、形象化的思考方式。压缩包内为1个PDF文件约294KB轻量便携适合课前预习与课后复盘。目前已有1493人学习下载可作为课堂之外的补充读物帮助读者建立对数学分析整体框架与思维方式的初步认识。1. 一份《数学分析讲义精华版.pdf》为什么会成为文本解析管线的试金石把一份《数学分析讲义精华版.pdf》扔进常见的 PDF 转文本工具出来的结果大概率不能看行间公式被拆成三四个碎片积分上下限跑到段落末尾ε 和 δ 变成两个孤零零的希腊字母定理编号和证明过程糊在同一段里。这不是工具不行而是数学分析讲义的排版密度比普通文档高出一截——正文嵌着行内公式行间压着多行对齐推导定理、定义、证明之间还有交叉引用。这一篇讲的是一条完整管线先量版面判断这份讲义是电子版还是扫描版再把公式还原成 LaTeX然后按定理环境切块、建索引最后做能重复跑的质量校验。适合正在做教材数字化、学科知识库、检索增强问答的工程师也适合想把这份讲义整理成自己可检索笔记的人。重点不在概念而在每一步用什么命令、参数怎么调、出错了先看哪个字段。2. 拆解《数学分析讲义精华版.pdf》的版面结构先量版面再谈切分同一份讲义前三十页可能是 LaTeX 排出来的电子版中间夹了几页扫描的习题解答后面又贴了图片格式的补充材料。不做统计直接开切后面每一步都在补窟窿。版面测量的目标很朴素搞清楚每一页的文本层能不能用、公式是以字符形式存在还是以图片形式存在。2.1 用 PyMuPDF 量出讲义的真实版面特征import fitz # PyMuPDF doc fitz.open(数学分析讲义精华版.pdf) rows [] for pno in range(len(doc)): page doc[pno] text page.get_text(text) fonts set() for block in page.get_text(dict)[blocks]: if block.get(type) ! 0: # 0 表示文本块1 表示图片块 continue for line in block[lines]: for span in line[spans]: fonts.add(span[font]) rows.append({ page: pno 1, chars: len(text.strip()), images: len(page.get_images(fullTrue)), fonts: sorted(fonts)[:4], }) for r in rows[:20]: print(r[page], r[chars], r[images], r[fonts])第一个判断是 chars 与 images 的比例。字符数长期低于 50 而图片数不为零说明这一页是扫描件或整页图得走识别路线字符数几百上千、字体名里出现 CMMI、CMR、MSAM、NimbusRomNo9L 这类 TeX 家族字体基本可以断定是 LaTeX 排版的电子版公式本身就在文本层里只是编码成私有字形。表格里是三类版面元素对应的常见特征与处理方向实际动手时按这张表分流能省掉大量返工。版面元素识别特征处理方向电子版正文chars 高字体为 CMR/CMMI 系列直接抽文本层电子版行间公式独立 block字形多为私有区码位抽文本层 Unicode 归一化扫描页 / 贴图images 多chars 极低200 至 300 DPI 渲染后送公式识别页眉页脚与页码每页位置固定、内容重复按坐标区域过滤不参与切块2.2 用正则把讲义切成章节与定理环境章节切分的锚点不是字符数是标题行和环境关键字。数学分析讲义常见的写法有「第一章」「第 1 章」「§1.2」「1.2 连续函数的性质」几种定理类环境则集中在定理、定义、引理、推论、命题、例、证明、注这几个词上。import re # 章节标题容忍「第 一 章」这类带空格写法也兼容 § 与数字编号 CHAPTER re.compile(r^\s*(第\s*[一二三四五六七八九十百\d]\s*章|§\s*\d(\.\d)*|\d\.\d\s\S)) # 定理类环境编号可缺省精华版讲义经常省掉编号 ENV re.compile(r^\s*(定理|定义|引理|推论|命题|例|证明|注)\s*([\d.])?) def split_blocks(page): out [] for block in page.get_text(blocks): # 返回 (x0,y0,x1,y1,text,block_no,type) x0, y0, x1, y1, text, bno, btype block if btype ! 0 or not text.strip(): continue out.append({y0: y0, text: text.strip()}) return sorted(out, keylambda x: x[y0]) # 按纵向坐标还原阅读顺序用 block 级顺序而不是整页字符串是为了保住原始阅读顺序。get_text(text) 在双栏或者公式与正文并排的页面上拼接顺序经常错乱而 block 自带坐标排序后基本可靠。CHAPTER 里的^\s*用来吃掉讲义常见的行首缩进ENV 里把编号设为可选是因为精华版讲义中「证明」经常不带编号。2.3 跨页公式与跨页证明的合并判据数学分析讲义里最容易被切碎的是跨页内容一个多行推导从上一页底部延续到下一页顶部一个证明从奇数页讲到偶数页。切块时如果只看单页这些内容会变成两段互不相关的文本检索时谁也召不回来。判据可以写得很简单上一页最后一个 block 的结尾没有终止标点。、右括号并且下一页第一个 block 不以 CHAPTER 或 ENV 匹配开头就判定为续接合并成一个块。行间公式的续接还要多看一步如果下一页首个 block 的行高比正文行高大出百分之三十以上多半是对齐环境的后续行直接拼接即可。页码和页眉要在合并之前清掉。常见做法是用前五页统计每一行文本的 y 坐标分布把出现在页顶百分之八和页底百分之十区间、且各页内容高度相似的行标记为装饰性文本从块里剔除。这一步做完再切块与块之间的边界才干净。3. 把公式还原成 LaTeX文本层、图像识别与混合路线公式还原的准确率直接决定后面索引好不好用。不少团队在这里偷懒把公式统一替换成占位符结果用户搜「一致连续」能搜到搜「ε-δ 定义」什么都搜不到。分流处理的成本并不高收益却很直接。3.1 先分流哪些公式能从文本层直接拿文本层能不能用看的是字形有没有到 Unicode 的映射表。缺表的字体抽出来全是替换字符这时候换方案比调参数有用。def broken_ratio(page): t page.get_text(text) if not t: return 1.0 return t.count(\ufffd) / max(len(t), 1) doc fitz.open(数学分析讲义精华版.pdf) for pno, page in enumerate(doc): r broken_ratio(page) if r 0.02: # 经验阈值超过 2% 的替换字符就该换路线 print(走识别路线, pno 1, round(r, 3))阈值定在百分之二是因为少量替换字符多半来自个别装饰性符号不影响主体超过之后通常是整页字体都缺映射硬抽只会得到一堆乱码。对这类页直接按 200 至 300 DPI 渲染成 PNG 再送识别比在文本层里做各种补丁可靠得多。3.2 文本层公式的清洗Unicode 映射与符号归一化文本层抽出来的公式往往夹着数学字母数字符号区U1D400 起的码位直接入库会让检索没法匹配。常见做法是先做一遍归一化把符号映射回标准 LaTeX 命令再统一空白。抽取到的字符含义归一化目标U1D700 一类数学斜体小写字母变量 x、y、z对应 ASCII 字母U2211 / U220F求和、连乘\sum / \prodU222B 及其变体积分号\intU2200 / U2203全称、存在量词\forall / \existsU2192 / U21D2趋于、推出\to / \RightarrowUFFFD缺映射的替换字符标记为待识别不参与索引import unicodedata NORMALIZE { \u2211: r\sum, \u220f: r\prod, \u222b: r\int, \u2200: r\forall, \u2203: r\exists, \u2192: r\to, \u21d2: r\Rightarrow, } def normalize_formula(s: str) - str: s unicodedata.normalize(NFKC, s) # 先做兼容分解统一角标与全角字符 for k, v in NORMALIZE.items(): s s.replace(k, v) return .join(s.split()) # 折叠连续空白避免同一公式出现多种写法归一化放在切块之前做好处是同一篇讲义里的同一个公式只会留下一种文本形态关键词索引和向量索引面对的都是同一份数据不用在查询侧写两套匹配逻辑。3.3 图像公式走 pix2tex命令行、批量脚本与必要参数图片形式的公式用 pix2tex 这类工具识别先用单张试跑确认模型能不能认出行间公式再铺到全量。# 单张试跑先确认模型对积分号与多重下标的识别效果 pix2tex --katex page_042_formula_03.png # 整页版面分析交给 MinerU输出 markdown 与图片切块公式块单独成文件 magic-pdf -p 数学分析讲义精华版.pdf -o out -m auto # 把渲染好的页面图按页批量送识别结果落到每页一个 json for f in pages/*.png; do pix2tex --katex $f tex/$(basename $f .png).tex done参数上有三处值得注意。--katex让输出走 KaTeX 兼容语法前端渲染时少一层转换渲染 DPI 建议落在 200 到 300 之间低于 150 时上下标和积分限会糊成一团高于 400 除了拖慢速度几乎没有收益-m auto让 MinerU 自己判断每页走文本抽取还是走 OCR混合型讲义用这个模式最省事代价是首次运行要下载模型权重。3.4 识别结果的四个典型症状与对策症状常见原因对策积分上下限与积分号分离版面分析把上下限裁成了独立小块按 y 坐标向外扩 15 像素重新裁剪分式被认成除法串分数线太细模型没识别出分式结构提高 DPI 到 300或改用整页识别而非裁块识别大括号不配对多行公式只裁到一半检查跨页合并逻辑先合并再识别希腊字母认成拉丁字母斜体字形与拉丁斜体相近在归一化表里按上下文做定向替换只对变量位置生效处理这四类问题有个共同顺序先解决裁剪与合并再调识别参数最后才考虑换模型。绝大多数识别错误发生在输入阶段不在模型阶段。4. 把讲义做成可检索知识库切块、索引与混合召回到这一步手里已经有干净的文本块和归一化后的公式。接下来决定检索好不好用块切得对不对直接决定召回质量索引建得对不对直接决定查询延迟。4.1 切块按定理环境切不按字符数切五百字一刀切的策略在数学讲义上必然失败因为它会把定义和证明劈开把例和它的解答劈开。正确做法是以 ENV 匹配到的那一行为起点到下一个 ENV 或 CHAPTER 匹配行为终点。def make_chunks(blocks, max_len1200): chunks, buf, env [], [], None for b in blocks: m ENV.match(b[text]) if m and buf: chunks.append({env: env, text: \n.join(buf)}) buf, env [], None if m: env m.group(1) buf.append(b[text]) if sum(len(x) for x in buf) max_len: # 兜底超长块硬切防止单块过大 chunks.append({env: env, text: \n.join(buf)}) buf, env [], env if buf: chunks.append({env: env, text: \n.join(buf)}) return chunksmax_len 设成 1200 是兜底值正常情况下由环境边界切出来的块在 200 到 800 字之间正好适合作为检索单元。env 字段要单独存下来它既是过滤条件只想搜定理、不想搜证明也是给用户看的引用信息。4.2 用 SQLite FTS5 建全文索引公式归一化后入库公式归一化做完之后全文索引就能覆盖符号查询了。建表时把页号、环境类型、块序号都存进去方便回溯原文。-- 建两个表一个存块正文一个建全文索引 CREATE TABLE chunk ( id INTEGER PRIMARY KEY, page INTEGER, -- 起始页 env TEXT, -- 定理 / 定义 / 证明 / 正文 seq INTEGER, -- 页内块序号 content TEXT ); CREATE VIRTUAL TABLE chunk_fts USING fts5( content, contentchunk, -- 外部内容表模式避免正文存两份 content_rowidid, tokenizeunicode61 remove_diacritics 2 ); INSERT INTO chunk_fts(chunk_fts) VALUES(rebuild); -- 查询示例同时命中文本词与归一化后的 LaTeX 命令 SELECT c.page, c.env, substr(c.content, 1, 80) FROM chunk_fts f JOIN chunk c ON c.id f.rowid WHERE chunk_fts MATCH 一致连续 OR \\varepsilon ORDER BY rank LIMIT 10;tokenize 选 unicode61 是为了让中文按字符切分时仍能被 MATCH 命中remove_diacritics 2顺手处理掉拉丁字母上的变音符号。用外部内容表模式可以避免正文存两份代价是 chunk 表更新后必须重建索引所以写入流程要走事务。4.3 关键词与向量召回用 RRF 融合关键词索引解决符号精确匹配向量召回解决语义近似。两者用倒数排名融合RRF拼起来比直接加权求和更省调参。召回通道擅长权重来源FTS5 关键词符号、定理编号、专有名词排名倒数k 取 60向量召回同义表述、自然语言提问排名倒数k 取 60环境过滤限定定理或证明范围作为前置过滤条件不参与打分def rrf(keyword_ids, vector_ids, k60, top_n10): scores {} for rank, doc_id in enumerate(keyword_ids): scores[doc_id] scores.get(doc_id, 0) 1.0 / (k rank 1) for rank, doc_id in enumerate(vector_ids): scores[doc_id] scores.get(doc_id, 0) 1.0 / (k rank 1) return sorted(scores.items(), keylambda x: -x[1])[:top_n]k 取 60 是 RRF 论文里的常用值作用是压平头部差距让两个通道各自的前几名都有机会进入最终结果。实际调参时优先改的是两条通道各取多少条候选而不是改 k——候选数从 20 提到 50召回率的变化通常比调 k 明显得多。5. 校验与维护让抽取结果可复现管线跑通一次不难难的是讲义换了版本之后还能跑出同样的结果。这里有三层校验值得固定下来。5.1 用 LaTeX 语法解析做批量抽检不需要逐条人工核对先用语法层把明显残缺的公式筛出来人力只花在可疑样本上。import pathlib from sympy.parsing.latex import parse_latex bad [] for f in pathlib.Path(out/tex).glob(*.tex): tex f.read_text(encodingutf-8).strip() try: parse_latex(tex) # 只做语法解析不判断数学正确性 except Exception as e: bad.append((f.name, tex[:60], type(e).__name__)) print(len(bad), bad[:5]) # 缺右括号、大括号不配对这类问题会集中出现在这里parse_latex 拦不住的错误类型也很明确上下限接反、求和指标写错、矩阵行列错位。这几类要靠抽样渲染比对把抽出的 LaTeX 重新渲染成图片和原始裁剪图并排看重点抽 env 为定理和定义的块因为它们的公式密度最高。5.2 把脚本与源文件哈希绑定增量更新靠的是页级哈希不是整文件哈希。整文件一改就全量重跑几百页的讲义代价太高。# 记录源文件哈希作为本次构建的版本标识 sha256sum 数学分析讲义精华版.pdf | tee .build/pdf.sha256 # 页级哈希写进 json重新构建时只重跑 diff 出来的页 python build_pages.py --hash-out .build/pages.sha256 --skip-unchanged页级哈希存进索引表的 meta 字段之后版本切换时只重跑差异页块的 id 保持连续历史问答记录里指向的引用不会突然指到一段被替换掉的文本上。校验层级手段主要拦截语法层parse_latex 批量解析括号不配对、转义缺失渲染层KaTeX 渲染图与原图比对上下限错位、分式结构错乱索引层抽样查询回归集切块边界移动导致的召回下降回测集不用大二十来条查询就够了覆盖符号查询、定理编号查询、自然语言提问三类每次重建索引后跑一遍看前十条里原本命中过的块还在不在。这个习惯能把大部分切块逻辑的退化挡在发布之前。本文还有配套的精品资源点击获取