讲解稿 · 第 07 章 第 01 节 · 语言学基础¶
口播时长: 约 17 分钟｜建议语速: 中速, 公式处停两拍｜字数: 约 3800 字
承 Ch06 §04 函数式 + Ch06 §05 分布式 → Ch07 §01 语言学基础 → Ch07 §02 文本处理与经典 NLP
导语 (约 80 秒)¶
先抛一个真实场景。
ChatGPT 之所以能生成流畅的中文, 表面看是 Transformer 在解码, 但你把模型打开, 里头并没有"主语、谓语、宾语"这种结构——它只看见 token 序列。为什么它还能写出语法正确、句意连贯的句子? 一个工程师告诉你: 因为训练语料里隐含着人类语言学家早就编目过的结构, 模型把这些结构统计地学进去了。
这就是本节"语言学基础"要回答的根问题:在动手造 NLP 系统之前, 我们先得弄清楚语言本身是怎么运作的。 现代神经模型虽然号称"end-to-end", 但语言学提供了 NLP 不断借用的概念性词汇。下游每一个工程选择——分词粒度、词性标注、依存分析、子词切分——背后都有语言学对应物。
今天我们用 17 分钟把语言学最核心的五个层次走一遍: ① 形态学 (词由什么构成); ② 句法 (词怎么组成句子); ③ 语义 (句子有什么意义); ④ 语用 (语境如何改变意义); ⑤ 音系 (声音怎么编码意义)。每一层都会配上 NLP 落地的对应点。
复习昨日 & 今日路线 (约 40 秒)¶
Ch06 §04 函数式讲了 PyTorch 的 autograd + torch.compile, Ch06 §05 分布式讲"一张卡装不下就多卡切"——这些都是深度学习工程层面的事。Ch07 整章转入计算语言学领域: 从今天 §01 开始, 我们先夯实 NLP 上游 (语言学), 再进 §02 文本处理 (分词 / TF-IDF / n-gram), §03 词嵌入 (Word2Vec / GloVe / RNN), §04 Transformer / BERT / GPT, §05 高级生成 (RLHF / MoE)。
今天 §01 是整章最不上代码的一节, 但也是后续所有工程决策的参照系。花 17 分钟把概念底图打好, 后续 GPT-4 怎么切分 token、为什么 BERT 要看双向上下文、ChatGPT 怎么避免答非所问, 你都能回溯到今天的语言学层。
核心概念一 · 形态学: 词由什么构成 (约 2.5 分钟)¶
直觉。 单词 "unhappiness" 不是 11 个字母的乱码, 它内部有结构。拆开看: un- (前缀: 不) + happy (词根) + -ness (后缀: 把形容词变名词)。每一段都贡献一份意义。
定义。 - 语素 (morpheme): 携带意义的最小单位。词不是原子的, 它由语素叠出来。 - 词根 (root / stem): 承载核心意义的语素, "happy"、"run"、"compute" 都是词根。 - 词缀 (affix): 修饰词根的语素, 分前缀 (un-、re-、pre-) 和后缀 (-ing、-ed、-tion)。 - 屈折 (inflection): 改变语法属性, 不改词性 — "run" → "runs" / "running" / "ran", 还是同一动词。 - 派生 (derivation): 造出新词, 常常改变词性 — "happy" (形容词) → "happiness" (名词) → "unhappy" (形容词)。
例子。 看一个最小的英语屈折: "run" 词根, "runs" 多了第三人称单数后缀, "running" 多了进行时, "ran" 走了过去式不规则变体。词性不变, 都是动词。
反例。 把英语的"分析型"语感和土耳其语混用。土耳其语一个词可以串八九个语素: "evlerinizden" = "ev (房子) + ler (复数) + iniz (你们的) + den (从…里)" — 翻译过来"从你们的房子里"。词级分词器 (按空格切) 在土耳其语里几乎立刻失效, 这就是为什么子词分词 (BPE / WordPiece) 后来成了 Transformer 标配。
一句话总结。 形态学直接决定分词粒度 — 词级 vs 子词级 vs 字符级, 选哪种, 取决于你面对的语言是分析型、黏着型还是模板式。
核心概念二 · 句法: 词怎么组成句子 (约 3 分钟)¶
直觉。 "The cat sat on the mat" 合语法, "Mat the on sat cat the" 就是乱码。差在哪? 词序。每种语言都有规范词序和结构的规则, 违反就成了胡言乱语。
定义。 描述句法结构主要有两种框架: - 短语结构语法 (phrase structure grammar): 句子由短语一层层嵌套构成。S → NP + VP, NP → Det + N, VP → V + NP。结果是一棵成分树 (constituency tree)。 - 依存语法 (dependency grammar): 词与词之间的直接关系, 每个词恰好依附于一个中心词 (head), 形成一棵依存树 (dependency tree)。
例子。 一棵英文成分树 (使用上下文无关文法 (CFG) 形式化):
把 "the cat sat on the mat" 套进这套规则, 得到一棵 5 层嵌套的树: S 在顶层, NP/VP 在第二层, Det/N/V/P 在叶子层。
反例。 句法歧义。"I saw the man with the telescope" 有两种分析: - 我用望远镜看到了那个人 (望远镜修饰 saw) - 我看到了一个带着望远镜的人 (望远镜修饰 man)
这是同一个词序列, 套出两棵不同的成分树。依存语法比成分语法更易消歧, 因为它直接给出"修饰谁"的一对一关系 — 这也是现代 NLP 主流用依存树 (Stanford CoreNLP、spaCy 的输出) 而非成分树的原因。
一句话总结。 句法告诉你"句子怎么组织的", 依存语法告诉你"每个词修饰谁" — NLP 上后者更主流, 因为它直接对应语义角色 (谁对谁做了什么)。
补充点 · 配价 (valency)。动词"吃"需要"吃的人"+"被吃的东西"两个论元, 叫及物; "睡"只一个论元, 叫不及物。"给"是双及物, 三个论元。配价约束哪些分析树合法, 这是句法检验的硬约束。
核心概念三 · 语义: 句子有什么意义 (约 3 分钟)¶
直觉。 句法告诉你"句子是怎么搭的", 语义告诉你"它什么意思"。同一句法树, 调换主宾, 句义反着走 — "The cat chased the dog" 和 "The dog chased the cat" 句子结构一样, 意义完全相反。
定义。 - 词汇语义 (lexical semantics): 单个词的意义。词与词之间的系统性关系: - 同义 (synonymy): "big" ≈ "large" (但完美同义几乎不存在) - 反义 (antonymy): "hot" ↔ "cold" - 上下义 (hypernymy / hyponymy): "dog" 是 "animal" 的下义词 (狗是一种动物) - 多义 (polysemy): 一个词多个相关义项 — "bank" 既可指金融机构也可指河岸 - 词义消歧 (Word Sense Disambiguation, WSD): 在给定上下文里判断多义词用的是哪个义项。 - 组合性原则 (principle of compositionality): 复杂表达式的意义 = 部件意义 + 组合规则 (Frege)。 - 分布假说 (distributional hypothesis): "看一个词, 就看它跟什么词一起出现" (Firth, 1957)。
例子。 WSD 的经典例子: - "I deposited money at the bank" → 金融义 - "We sat by the river bank" → 地理义
这俩义以前的 NLP 系统靠手工规则艰难消歧, 现代上下文嵌入 (ELMo / BERT) 给同一个词在不同上下文生成不同向量, WSD 基本被解决了。
反例。 习语 (idiom) 打破组合性。"kick the bucket" 意为"翘辫子", 你拆开 kick + bucket + 啥也推不出"死"。任何纯组合式方法在习语上都会卡住。
一句话总结。 语义学里最现代、最工程化的部分是分布假说 — 你后面学 Word2Vec / GloVe 时会发现, 这条假说就是它们整个理论的根基: 上下文相似的词, 意义也相似, 而"上下文相似"完全可以纯统计地算出来。
核心概念四 · 语用: 语境如何改变意义 (约 2.5 分钟)¶
直觉。 同一句话, 场景不同, 意思可以完全反过来。"Can you pass the salt?" — 直觉读是请求而非 yes/no 问句。你不能只回 "Yes, I can" 然后坐在那儿不动。
定义。 - 言语行为理论 (speech act theory) (Austin, Searle): 一次说话分三层: - 言内行为 (locutionary): 字面内容 - 言外行为 (illocutionary): 说话意图 (请求 / 警告 / 承诺) - 言后行为 (perlocutionary): 对听者实际效果 - 会话含义 (implicature) (Grice): 没说出口但被推断出来的意思。"John 厨艺好吗?" → "他是英国人" → 听者推断"不好"。 - 合作原则 (cooperative principle): 说话人会尽量做到有信息量、真实、切题、清晰, 听者也默认这些准则成立。 - 共指 (coreference): 跨句追踪同一实体 — "Alice went to the store. She bought milk" 里 "She" 指 Alice。
例子。 关键场景: 客服对话系统 ("请问您要退款还是换货?") 必须理解言外行为是"封闭式选择", 而不是真的在问一个 yes/no 问题。LLM 大量出错就出在语用层 — 用户问"你能告诉我…吗?" 看似 yes/no, 实际是请求详细答案。
反例。 试图用纯字面意义去回应讽刺。"哦, 干得漂亮" (带讽刺语气) 直读是赞美, 但语境是承诺破产, 实际是反讽。讽刺检测一直是 NLP 难题, 也是 LLM 评测的高错项。
一句话总结。 语用是 NLP 最难啃的前沿 — 现代 LLM 通过训练语料隐式处理了大部分句法语义, 但讽刺 / 会话含义 / 依赖语境的意义仍然是它的高频出错区。
核心概念五 · 音系: 声音怎么编码意义 (约 2 分钟)¶
直觉。 虽然本章聚焦文本, 但完备的语言学必须过一下音系。"Bat" 和 "pat" 只有一个音位不同, 意思全变。音位变了, 词义就变。
定义。 - 音位 (phoneme): 能区分意义的最小声音单位。英语约 44 个音位。 - 最小对立对 (minimal pair): 仅一个音位不同的词, "bat" vs "pat"。 - 音位变体 (allophone): 同一音位的物理变体, 不区分意义。"pin" 的 p (送气) vs "spin" 的 p (不送气), 都是 /p/。 - 国际音标 (IPA): 跨语言音位的标准化记法, "cat" 记作 /kæt/。 - 韵律 (prosody): 节奏、重音、语调。"I didn't say he stole the money" 重读不同词, 七种意思。
例子。 "重读魔咒": "I didn't say he stole the money" / "I didn't say he stole the money" / "I didn't say he stole the money" — 重读词不同, 句中"谁说了什么 / 谁偷了钱"会完全改写。文本转语音 (TTS) 必须建模韵律, 否则播出来全是同一个味儿。
反例。 拼写纠错系统完全基于字母、无视音系, 会把"their"和"there"当两个不同词, 不会想到把它们拉到同一个 /ðɛr/ 音位。带音系感知的纠错器才有跨拼写能力。
一句话总结。 音系桥接文本与语音, 出现在 TTS、ASR、拼写纠错、音译等场景。本章聚焦文本, 但音系是第 09 章语音章的入口。
一个走完全程的例子 · 切分英文句子 "I saw the man with the telescope" (约 2.5 分钟)¶
场景: 一句英文, 走完五层语言学分析, 看每一层给 NLP 多少信息。
形态层: "telescope" = tele- (远) + scope (看), 派生名词。词级可保留, 但内部结构在 NER 不需要。
句法层: 用依存句法分析, 得到一棵 8 节点的依存树: - saw (root, V) → I (nsubj, 主语) - saw → man (dobj, 宾语) - man → the (det, 限定) - saw → with (prep, 介词修饰) - with → telescope (pobj, 介词宾语)
注意: "with the telescope" 既可以挂在 saw (我用望远镜 saw) 也可以挂在 man (saw 一个带望远镜的 man)。真实分析器给出概率最高的那种, 但仍是歧义。
语义层: 组合性原则告诉我们 — "I" + "saw" + "the man" + "with the telescope" 的联合意义 = 各词意义 + 句法结构。"the" 限定 "man", "with telescope" 修饰"saw" 或 "man"。
语用层: 如果这句话出现在望远镜广告里, "with the telescope" 大概率修饰 saw (工具) — 上下文帮你消歧。
音系层: "telescope" 重音在前 /ˈtɛlɪskoʊp/, IPRA 标 /ˈtɛl.ə.skəʊp/。TTS 播这句必须按句重音播 "saw" / "telescope", 不能均匀播。
一个跨层工程化观察: Transformer 神经机器翻译 (NMT) 不显式做这五层, 但编码器学到的表示隐式地重新发现了这些结构 — 注意力头学会了"主谓对齐"、"修饰关系"、"上下文消歧"。这也是为什么"语言学不教给模型, 模型也能学会语法"和"语言学仍然重要"这两个陈述同时成立。
Ch03 §04 → Ch06 §03 → Ch07 §01 完整链路: 链式法则 (Ch03 数学) → 神经网络反向传播 (Ch06 §03) → 把神经网络的"隐式表示"对照人类语言学的"显式结构" (本节)。
易错点回头看 (约 80 秒)¶
- 很多人以为形态学只跟英语有关 — 其实土耳其语、芬兰语、阿拉伯语的形态复杂度远超英语, 直接影响分词器设计: 词级分词在土耳其语上几乎立刻失效, 必须用 BPE / 子词切分。
- 很多人以为句法歧义是语言学的"小毛病" — 实际上 "I saw the man with the telescope" 这类歧义在英文里每天都在发生, 真实解析器给出的不是唯一树, 而是概率分布, 你下游任务用的就是这棵最可能的树。
- 很多人以为 ChatGPT 理解了"言外行为" — 它确实部分学到了 (训练数据里大量请求句), 但讽刺、反讽、隐含前提依然是 LLM 高错区 — 语用是评估 LLM 的真正硬骨头。
与下节的钩子 (约 30 秒)¶
本节语言学给了我们一个"五个层次"的概念地图,没有写一行代码。下一节 §02 文本处理与经典 NLP, 我们把第一层形态学和一点点句法落到工程: 分词 (tokenization)、规范化 (normalization)、TF-IDF、n-gram、词性标注 (POS)、命名实体识别 (NER)。这些是 2013 年 word2vec 之前 NLP 工业的主力工具, 也是今天 LLM 预处理管线的精神祖先。
我们下一节见。
写作规范核对¶
- 数字硬错零容忍 (§1.10): 无裸数字; 音位 44 个标注"约" + 来源句源明示
- 写盘规范 (§1.11): 首行 H1
# 讲解稿 · 第 07 章 第 01 节 · 语言学基础, 末行钩子段 - 跨章符号契约 v2 (§1.12): 无 λ/α/β/δ/ε/η 多义误用
- 跨章桥接: Ch03 §04 链式法则 → Ch06 §03 反向传播 → Ch07 §01 语言学五层
- 单位: 音位个数标注"约 44", 重读符号 /ˈ/ 标注 IPA
- 暂停思考 2 处 (句法歧义 + 语用讽刺)
- 病句截断: 无
.../TODO/缺主语 - 禁用词 grep 0 命中 (钥匙/门票/通行证/双语/锚定/焊接/镜像/底座/之美/浪漫/拍案/值得注意的是/总的来说/让我们一起)
字数: 约 3800 字, 在 3000-4500 范围