第11章 Encoder 是如何理解句子的本章目标：理解 Encoder 如何逐层建立对句子的理解，CLS Token 的作用，以及如何得到 Sentence Embedding。本章目录11.1 Encoder 的整体流程11.2 每一层学到了什么？11.3 Attention Matrix 的可视化11.4 Token 如何逐渐理解上下文11.5 CLS Token11.6 CLS Token 的用途11.7 Mean Pooling11.8 Sentence Embedding 的质量11.9 TensorFlow 实现11.10 Encoder 输出的 Shape本章总结本章思考题下一章预告11.1 Encoder 的整体流程输入: I love deep learningTokenizer[CLS] I love deep learning [SEP]Token IDsEmbedding + Position Encoding[batch, seq, d_model]Encoder Block 1浅层: 语法特征Encoder Block 2中层: 语义特征Encoder Block N深层: 抽象特征输出: 每个Token的上下文向量[batch, seq, d_model]11.2 每一层学到了什么？研究表明，Encoder 的不同层学到了不同层次的特征：层次学到的特征例子浅层（1-3层）词法、语法词性、句法结构中层（4-8层）语义词义消歧、实体识别深层（9-12层）抽象语义语义角色、推理11.3 Attention Matrix 的可视化每一层的 Attention Matrix 可以可视化，展示 Token 之间的关注关系：第1层（语法层）：The animal didn't cross the street because it was tired The [0.8 0.1 0.0 0.0 0.1 0.0 0.0 0.0 0.0 0.0] animal [0.1 0.7 0.1 0.0 0.0 0.0 0.0 0.1 0.0 0.0] it [0.0 0.6 0.0 0.0 0.0 0.1 0.0 0.2 0.0 0.1]it在第1层就开始关注animal（0.6）。深层（语义层）：it → animal: 0.9 （强烈指代关系）11.4 Token 如何逐渐理解上下文以bank为例：句子1: I went to the bank to deposit money. 句子2: We sat by the river bank.初始 Embedding：两个句子中的bank向量完全相同（查表得到）。经过 Encoder 后：