大语言模型：GPT如何学会说话

2022年11月30日，OpenAI发布了ChatGPT。五天后，用户数突破100万；两个月后，月活超过1亿。这是人类历史上增长速度最快的消费级应用。但在这惊人速度的背后，是一场跨越60年的技术长征——从1966年那个只会重复"这让你有什么感受？"的ELIZA，到今天能写论文、编代码、做翻译的GPT-4，语言模型走过的道路，远比大多数人想象的更加曲折和深刻。

一、语言的密码：AI如何"理解"文字

1.1 从ELIZA到统计革命

1966年，麻省理工学院的计算机科学家约瑟夫·魏泽鲍姆（Joseph Weizenbaum）发布了一个名为ELIZA的程序。这个程序模拟一位罗杰斯心理治疗师，通过模式匹配和简单的规则替换与用户对话。当你说"我很沮丧"，ELIZA会回答"为什么你很沮丧？"——它并不理解"沮丧"的含义，只是在执行一套精心设计的文本替换规则。

魏泽鲍姆后来回忆，当他看到自己的秘书对着终端机向ELIZA倾诉私人烦恼时，他感到深深的不安。这种不安促使他写下了《计算机能力与人类理性》（Computer Power and Human Reason），成为AI伦理学的早期经典。但ELIZA的技术本质非常简单：它没有一个"模型"，只有一堆if-else规则。

真正的转变发生在1990年代。统计语言模型（Statistical Language Model）的兴起，让计算机第一次学会了用概率来"猜测"下一个词。N元语法（n-gram）模型成为主流：如果你看到"中华人民"，下一个词是"共和国"的概率极高。IBM的研究员在机器翻译中大量使用这些统计方法，让AI翻译从笑话变成了勉强可用的工具。

2010年前后，深度学习的浪潮席卷而来。循环神经网络（RNN）和长短期记忆网络（LSTM）让模型能够处理更长的上下文。但真正的突破，要等到2017年——那一年，一篇名为《Attention Is All You Need》的论文横空出世，提出了Transformer架构，彻底改变了语言模型的设计范式。我们在第三章已经详细讲过Transformer，现在让我们看看基于这个架构，GPT系列如何一步步走到了今天。

1.2 Token：AI眼中的文字不是字

在深入GPT之前，我们必须先理解一个关键概念：Token。当你对着ChatGPT输入"Hello world"时，模型看到的不是这两个单词，而是一个数字序列——比如[15496, 995]。

这个过程叫做分词（Tokenization）。人类用字符和单词来组织语言，但神经网络需要固定长度的数字输入。最早的方案是"一个字一个ID"，但这样词汇表会爆炸——中文就有数万个汉字。更聪明的做法是子词分词（Subword Tokenization）：把常见的词保留，把不常见的词拆成片段。

GPT系列使用的是BPE（Byte-Pair Encoding，字节对编码）算法。它最初由Philip Gage在1994年提出用于数据压缩，2016年被Rico Sennrich等人引入神经机器翻译。BPE的核心思想非常直觉：从字符开始，反复将出现频率最高的相邻字符对合并成一个新的"token"，直到词汇表达到预定大小。

举个例子：假设语料中有大量"learning"、"earned"、"earring"，BPE会发现"ear"这个组合反复出现，就把它变成一个独立的token。这样，模型可以用更少的token表示更多的词，而且能够处理从未见过的单词——比如"unfriendliness"可以被拆成["un","friend","liness"]。

GPT-2和GPT-3使用的BPE词汇表大小是50257。这意味着，在这个世界里，一切文本——从莎士比亚到Python代码，从中文古诗到数学公式——都被编码为50257个token ID之一。GPT-4则使用了更大的词汇表，并且加入了多模态token来处理图像。

二、预训练：让模型读遍互联网

2.1 自监督学习的魔法

GPT的成功建立在一个看似简单的想法上：让模型预测下一个词。给定"今天天气很"，预测下一个词可能是"好"。这个任务叫做自回归语言建模（Autoregressive Language Modeling），它不需要人工标注——互联网上的任何文本都可以成为训练数据。

这就是预训练（Pre-training）的核心：用海量的未标注文本，通过"预测下一个词"这个自监督任务，让模型学习语言的统计规律、世界知识和推理模式。用OpenAI联合创始人Ilya Sutskever的话来说："我们训练模型去压缩互联网。而当你能极好地压缩数据时，你必然已经学会了其中的隐含结构。"

这种训练需要惊人的计算资源。以GPT-3为例，它使用了大约3000亿个token（约等于数千亿个单词）的文本数据，包括Common Crawl（一个巨大的网页数据集）、WebText2、Books1、Books2和英文维基百科。训练在微软Azure的V100 GPU集群上进行，耗时数月，消耗的计算量据估计相当于355年的单GPU时间。

2.2 自回归生成：一个字一个字地"接龙"

当你和ChatGPT对话时，它并不是一次性"想出"整段回复。它的生成过程更像是一个接龙游戏：先预测第一个词，把这个词加到输入里，再预测第二个词，再把这个词加进去……如此循环，直到预测出一个特殊的"结束符"。

具体来说，对于已经生成的tokens [t₁, t₂, ..., tₙ]，模型会输出一个概率分布 P(tₙ₊₁ | t₁, t₂, ..., tₙ)，表示每个可能的下一个token的概率。然后通过采样策略（如temperature scaling、top-p采样）从中选择一个token。

Temperature是一个超参数：值越低，模型越"保守"，输出越确定；值越高，模型越"有创意"，输出越随机。这就是为什么同一个问题问ChatGPT两次，可能得到不同答案——它本质上是概率性的。

这种逐token生成的方式也解释了为什么大模型会"幻觉"（Hallucination）：在生成第50个词时，模型可能为了句子的流畅性，选择一个语法正确但事实错误的词。而因为它不能"回头修改"，这个错误会像滚雪球一样，让整段话越来越偏离事实。

三、GPT三部曲：从实验室到世界舞台

3.1 GPT-1："Generative Pre-training"的提出

2018年6月，OpenAI发表了论文《Improving Language Understanding by Generative Pre-Training》，提出了GPT（Generative Pre-trained Transformer）框架。当时的语言模型研究主要有两条路线：基于Transformer编码器的BERT（由Google在2018年10月发表），擅长理解任务如问答和分类；基于Transformer解码器的GPT，擅长生成任务。

GPT-1有1.17亿参数，12层Transformer解码器，在BooksCorpus数据集（约8000万词）上预训练。它的创新不在于规模，而在于证明了生成式预训练 + 判别式微调（Generative Pre-training + Discriminative Fine-tuning）这个两阶段范式的有效性。

具体而言，先在大规模无标注文本上预训练，然后在特定任务（如情感分析、问答）的有标注数据上微调。GPT-1在9个NLP任务中的8个上取得了当时最好的成绩。虽然1.17亿参数在今天看来微不足道（不到GPT-3的千分之一），但它确立了一个关键信念：预训练一个大的生成模型，然后微调，比从零训练一个专门模型效果更好。

3.2 GPT-2："太危险"而犹豫发布的模型

2019年2月，OpenAI发布了GPT-2，参数规模跃升至15亿，使用了40GB的WebText数据训练。但发布方式引起了巨大争议：OpenAI最初只公开了一个缩小版（1.24亿参数），声称完整模型"可能被用于大规模生成假新闻、冒充他人写作、自动化生产垃圾内容"，因此需要"分阶段发布"。

这个决定在当时引发了AI研究社区的激烈争论。批评者认为OpenAI在制造恐慌、搞营销；支持者则认为这是负责任的AI治理实践。最终，在几个月的评估后，OpenAI还是发布了完整模型，而事实证明——虽然GPT-2确实能生成相当流畅的文本，但它还远未达到"以假乱真"的程度。

GPT-2最重要的技术贡献是证明了零样本迁移（Zero-shot Transfer）的潜力。在没有任何微调的情况下，GPT-2在阅读理解、翻译、摘要等任务上表现出了令人惊讶的能力。这暗示了一个深刻的趋势：模型越大，它从预训练中"顺带学会"的能力就越多。

3.3 GPT-3：1750亿参数的"少样本学习"怪兽

2020年5月，OpenAI在论文《Language Models are Few-Shot Learners》中发布了GPT-3。参数规模达到惊人的1750亿，是GPT-2的100多倍。训练使用了约3000亿token，估计成本在460万到1200万美元之间。

GPT-3展示了三个层级的学习能力：

• 零样本（Zero-shot）：直接给任务描述，不给例子。比如"把这句话翻译成法语：Hello world"
• 单样本（One-shot）：给一个例子。比如"English: Hello → French: Bonjour. English: World → French:"
• 少样本（Few-shot）：给几个例子。GPT-3在提供10-100个例子的情况下，在很多任务上接近甚至超过了专门微调的最先进模型

这种上下文学习（In-context Learning）能力让研究者震惊：模型似乎能从提示中的几个例子里"悟出"任务的规律，而不需要更新任何参数。至于为什么大模型具备这种能力，至今仍是开放的研究问题。一种解释是，大规模预训练让模型学会了识别和模拟各种"任务模式"，而少样本示例只是激活了这些预存的模式。

四、RLHF：让模型学会"听话"

4.1 从GPT-3到ChatGPT的关键一跃

GPT-3虽然强大，但有一个致命问题：它只是一个"文本接龙机"，不知道什么是"好"的回答。如果你问它"如何偷一辆车"，它可能会一本正经地给出方法。如果你问它一个复杂问题，它可能会给出冗长、跑题或不准确的回答。

问题的根源在于预训练的目标函数：预测下一个词不等于给出有用的回答。互联网上的文本有高质量的文章，也有垃圾内容；有善意助人的回答，也有恶意的煽动。GPT-3学到了"人类会说什么"，但没学到"人类想要什么"。

2022年3月，OpenAI发布了InstructGPT，在论文《Training language models to follow instructions with human feedback》中提出了一个解决方案：RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）。这个技术后来成为ChatGPT的核心。

4.2 RLHF 三步走

RLHF分为三个阶段，每一步都至关重要：

第一步：监督微调（SFT, Supervised Fine-Tuning）

首先，OpenAI雇佣了约40名标注员，让他们写出大量"理想"的对话示例。对于各种问题，标注员写出他们希望AI给出的回答。然后用这些（提示，回答）对来微调GPT-3。这一步让模型初步学会了"对话格式"和"有帮助的回答风格"。

第二步：奖励模型训练（RM, Reward Model）

但SFT的成本很高——不可能让人类为所有问题写出标准答案。更聪明的做法是：让模型为每个回答打分。具体来说，对于同一个问题，让模型生成多个回答，然后让人类标注员对它们进行排序（A比B好）。用这些排序数据训练一个奖励模型（Reward Model），让它学会预测人类的偏好。

第三步：强化学习优化（PPO）

最后，用强化学习算法PPO（Proximal Policy Optimization）来优化语言模型。策略（Policy）就是语言模型本身，它生成回答；奖励模型给这个回答打分；PPO算法根据分数来更新语言模型的参数，让它学会生成"得分更高"的回答。

这个过程的直觉是：先通过人类示范学会基本规则，再通过人类偏好学会判断好坏，最后用强化学习来大规模优化。InstructGPT（1.3B参数）虽然比GPT-3（175B参数）小100多倍，但在遵循指令方面更受人类青睐。

2022年11月，OpenAI将这一技术应用于GPT-3.5，推出了ChatGPT。剩下的，就是历史了。

4.3 规模定律：参数、数据、算力的幂律关系

2020年，OpenAI的Jared Kaplan等人在论文《Scaling Laws for Neural Language Models》中揭示了一个惊人的规律：语言模型的性能（以测试loss衡量）与模型参数数量、训练数据量、计算量之间存在可预测的幂律关系。

这意味着：如果你把模型参数翻倍，loss会以可预测的方式下降；如果你把训练数据翻倍，也会得到类似的提升。更关键的是，这些规律跨越了多个数量级——从百万参数到千亿参数都成立。

规模定律为AI行业提供了一个"路线图"：如果你想训练一个更好的模型，你知道需要多少数据和算力。DeepMind在2022年的论文《Training Compute-Optimal Large Language Models》（Chinchilla论文）中进一步发现，大多数模型训练不足——对于给定的计算预算，模型参数和数据量应该同步增长，而不是只追求大参数。

Chinchilla的建议是：对于每个参数，应该用约20个token来训练（GPT-3只用了约2个token/参数）。这解释了为什么后来的一些"小"模型（如70B的LLaMA-2）通过更多数据的训练，能够匹敌甚至超越更大的模型。

五、GPT-4与之后的迷雾

5.1 一个更聪明、更神秘的模型

2023年3月14日，OpenAI发布了GPT-4。与GPT-3.5相比，它在推理能力、遵循复杂指令、减少幻觉等方面都有显著提升。在模拟律师资格考试中，GPT-4得分位列前10%；而GPT-3.5在后10%。

但OpenAI做了一个前所未有的决定：不再公开技术细节。论文中明确表示"出于竞争和安全考虑，本报告不包含关于架构（包括模型大小）、硬件、训练计算、数据集构建、训练方法等方面的进一步细节"。

外界通过推测和逆向工程得知，GPT-4可能采用了混合专家架构（Mixture of Experts, MoE）——不是单一的1.8万亿参数模型，而是由8个约2200亿参数的专家子网络组成，每个输入token只激活其中2个专家。这样可以在保持推理速度的同时大幅增加模型容量。

GPT-4也是OpenAI第一个多模态大模型（虽然最初只向部分用户开放了图像输入）。它能够理解图像内容、解析图表、甚至看懂梗图。这标志着大语言模型开始突破纯文本的边界，迈向更通用的感知能力——我们会在下一章详细探讨多模态AI。

5.2 幻觉：为什么AI会一本正经地胡说八道

尽管有了RLHF、更大的规模、更长的上下文，大语言模型仍然有一个顽固的缺陷：幻觉。它会生成听起来完全合理、但实际上是虚构的内容。它会编造不存在的论文、捏造人物名言、给出错误的数学推导。

幻觉的根本原因，在于语言模型的训练目标。它不是为了"说真话"而训练的，而是为了"说像真话的话"。预训练优化的是文本的流畅性和似然度，而不是事实准确性。当模型遇到一个它不确定的问题时，它不会说"我不知道"，而是会根据训练数据中的模式，"合理推测"出一个答案。

从信息论的角度看，语言模型是一个有损压缩系统。1750亿参数不可能无损压缩互联网上的全部知识。当查询触及压缩后的"模糊区域"时，模型就会进行插值和 extrapolation，产生似是而非的输出。

目前缓解幻觉的方法包括：检索增强生成（RAG，让模型先查资料再回答）、事实核查链（让模型在回答前自我验证）、以及更根本的对齐技术改进。但完全消除幻觉可能需要一个范式转变——从"预测下一个词"转向"建模世界真相"。

5.3 从GPT-4到GPT-5：参数竞赛的尽头是什么

GPT-4之后，OpenAI并没有急于推出GPT-5。2024年，公司发布了GPT-4o（"o"代表omni，全能）——一个更快、更便宜、原生支持音频和图像的模型。同年晚些时候，又推出了o1系列模型，引入了"思维链"（Chain-of-Thought）推理：模型在回答前会进行多步内部推理，像人类一样"慢慢思考"。

与此同时，参数竞赛本身也在降温。行业逐渐认识到，规模不是唯一的答案。Google的Gemini、Anthropic的Claude、Meta的LLaMA、阿里巴巴的通义千问、DeepSeek的V3——各家模型在架构创新、数据质量、对齐技术、推理优化等方面展开竞争。

2024年底，中国公司DeepSeek发布的DeepSeek-V3（671B参数MoE，激活37B）以极低的训练成本（约557.6万美元）达到了接近GPT-4o的性能，震动了整个行业。它证明了一点：算法效率和工程优化的空间，远比人们想象的大。

那么，GPT-5会是什么样子？OpenAI CEO Sam Altman多次暗示，下一代模型将是一个重大的飞跃，可能具备更强的推理能力、多模态理解和 agentic 行为（自主执行多步任务）。但具体细节仍笼罩在神秘之中。可以确定的是，大语言模型已经从实验室的好奇玩具，变成了整个人类社会的底层基础设施。

六、时间线：语言模型的60年

七、模型参数对比一览

"我们训练模型去压缩互联网。而当你能极好地压缩数据时，你必然已经学会了其中的隐含结构。" —— Ilya Sutskever，OpenAI 联合创始人，2019年

"GPT-3 并不是在'理解'语言，而是在建模人类使用语言的统计规律。但这种建模深度之惊人，让我们不得不重新审视'理解'本身的定义。" —— 摘自《The Philosophy of Deep Learning》，2021年