从词素到语用学Maths, CS AI Compendium计算语言学基础导读【免费下载链接】maths-cs-ai-compendiumBecome a cracked AI/ML researcher/engineer with this unconventional textbook covering maths, computing, and ML with intuition.项目地址: https://gitcode.com/GitHub_Trending/mat/maths-cs-ai-compendiumMaths, CS AI Compendium是一本开源的直觉优先教科书系统覆盖数学、计算机科学与人工智能。它的第 07 章「Computational Linguistics计算语言学」是全书的亮点之一从词素、句法、语义一路讲到 Transformer 与大语言模型帮你打好NLP 基础理解AI 是如何读懂人类语言的。无论你是零基础的新手还是想补齐语言学直觉的工程师本章都提供了清晰的阅读路径。为什么 NLP 工程师要懂语言学一句话现代神经网络会从数据中重新发现语言学家梳理了几十年的结构。词法、句法、语义这些概念不是装饰而是理解分词策略、依赖解析、词向量等 NLP 技术背后的为什么。本章的核心主张是先理解语言本身如何运作再看模型如何学习它。 入口文件01. linguistic foundations.md词法 Morphology单词内部的结构单词不是原子的它由更小的有意义单位——**词素morpheme**组成。unhappiness 前缀 un-不 词根 happy 后缀 -ness使…成为名词。本章区分两类词法过程屈折Inflection不改词性如 run → runs / running派生Derivation改词性如 happy形容词→ happiness名词 这一步直接决定了 NLP 的**分词tokenisation**策略词级分词器会把 run/runs/running/ran 当成四个无关符号而 BPE 子词分词则是对词法分析的概率近似——这是衔接下一节的桥梁。句法 Syntax用两棵树读懂一个句子the cat sat on the mat 为什么是对的Mat the on sat cat the 为什么是乱码本章用两种框架回答框架视角核心结构短语结构语法短语层层嵌套成分树constituency tree 上下文无关文法 CFG依存语法词与词之间的直接关系依存树dependency tree每个词只挂在一个头词下现代 NLP 以依存树为主流因为它更贴近语义角色谁对谁做了什么也更易被统计解析器生成。理解及物性valency——一个动词需要几个论元——还能帮你判断哪些解析树才合法。语义与分布假说上下文相似即意义相似语义部分回答句子的意思从哪来词义关系同义、反义、上下位dog 是 animal 的下位词、一词多义组合性原则句子意义由成分意义 组合规则决定所以 猫追狗 ≠ 狗追猫分布假说Distributional HypothesisYou shall know a word by the company it keeps.上下文相似 → 意义相似这条假说是 Word2Vec、GloVe 等词嵌入的理论根基也是理解现代大语言模型的起点。语用学 Pragmatics语言理解最难的一层Can you pass the salt? 字面是能力询问实际是请求。本章用言语行为理论拆解三层含义locutionary字面内容→ 2.illocutionary意图请求→ 3.perlocutionary效果你递了盐再配上 Grice 的会话含义implicature与共指coreferenceAlice went to the store. She bought milk.中的 She 指谁这类推理至今仍是语言模型的前沿难题——这也是大模型时代仍然值得补语言学直觉的原因。章节学习路径从基础到 LLM 的完整路线第 07 章共 5 个文件按顺序阅读即可从经典 NLP 一路走到现代大模型架构 01. linguistic foundations.md —— 词法、句法、语义、语用、语音学五大基础 02. text processing and classic NLP.md —— 分词BPE/WordPiece、TF-IDF、词性标注、命名实体识别 03. embeddings and sequence models.md —— Word2Vec、GloVe、RNN/LSTM、seq2seq⚡ 04. transformers and language models.md —— 自注意力、BERT、GPT、位置编码 05. advanced text generation.md —— MoE、SSM/Mamba、GQA/MLA 与现代 LLM 架构每个文件都配有可动手练习的代码任务可用 CoLab 或 notebook 运行符合全书直觉先行、代码验证的写作风格。 额外福利仓库自带一个 MCP 服务器可让 Claude Code、Cursor 等 AI 助手把整本 compendium 当作知识库来问答方便边学边查。小结如何最快吃透本章先读 01建立语言分层结构的心智模型词素 → 句法 → 语义 → 语用再读 02–03看懂经典 NLP 管线如何把语言学概念落地为算法最后读 04–05理解 Transformer 与 LLM 如何把上述结构隐式地重新学出来掌握这条从词素到语用学的完整脉络你就拥有了读懂 NLP 文献的底层语言地图。【免费下载链接】maths-cs-ai-compendiumBecome a cracked AI/ML researcher/engineer with this unconventional textbook covering maths, computing, and ML with intuition.项目地址: https://gitcode.com/GitHub_Trending/mat/maths-cs-ai-compendium创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考