一个“空白”模型，要经历预训练、SFT 和 RLHF 三个阶段，才会从“什么都不懂”，变成会和人对话、还能给出好答案的 ChatGPT 或 Claude。

这篇文章只解决一个问题：

一个刚初始化、还没有任何知识的模型，是怎么一步步变成会跟你聊天、帮你干活的 AI 的？

训练模型，很像培养一个天才。

你要把一个刚出生、什么都不懂的小婴儿，慢慢培养成一个知识渊博、能和人沟通，而且说话有品味、有分寸的人。

整个过程可以压缩成三句话：

01 预训练：读很多书，学会语言和知识。

02 SFT：学习怎么理解指令、回答问题。

03 RLHF：学习什么样的答案才算好答案。

01 预训练：从空白大脑到博览群书

预训练解决的是“学会语言和世界知识”。这个阶段的模型主要会续写，还不能自然地回答问题。

在预训练阶段，我们要把一个什么都不懂的模型，培养成一个博览群书的人。

这时需要给它“喂”大量资料，包括互联网内容、GitHub 上的代码、新闻和论坛等。

但机器不能直接理解人类的自然语言，所以需要先把文字转换成机器可以处理的数字。

整个过程可以简化为：

文字 → Tokenizer 切分 → Token → 模型计算

Token 可以理解为被切分后的文字小片段，每一个片段都有对应的数字编号。

读完这些材料后，模型会反复做一件事：

预测下一个 Token 是什么。

经过大量训练，模型就拥有了很强的续写能力。给它任意一个开头，它都能接得自然流畅。

但问题也在这里：它最擅长的是续写，而不是回答问题。

比如你问：“2+2 等于几？”

它可能不会直接回答“2+2=4”，而是把这句话当成一篇文章的开头，写成：

“2+2=4是小学数学老师经常会问的问题……”

这就像一个人积累了很多知识，却还不知道怎么根据别人的问题，给出清晰、直接的回答。

02 SFT：从续写机器到会回答问题

SFT 解决的是“能不能答”：让模型学会直接回答问题，而不是沿着问题继续往下编。

到了第二阶段，也就是 SFT 指令微调阶段，要解决的问题变成了：

怎么把一个只会续写的机器，变成一个会回答问题的人？

做法是准备大量“问题 + 标准答案”的配对。例如：

• 问题：2+2 等于几？答案：2+2=4。

• 问题：把这段话翻译成英文。答案：Here is the translation……

模型在这个阶段仍然是在预测下一个 Token，但它学习的对象变成了标准答案。

通过大量问答配对，它逐渐建立起一种新的反应模式：

别人提问，我就给出回答。

所以再问它“2+2 等于几”，它就会直接告诉你“2+2=4”，不会再把问题当成一篇文章的开头。

03 RLHF：从能回答到回答得更好

SFT 解决“能不能答”，RLHF 则解决“答得好不好”。

到了 RLHF，也就是人类反馈强化学习阶段，模型已经会回答问题了。现在，它要学习的是怎样把问题回答好。

但“好”是一种很细腻的感受。

如果只是不断让人工重写标准答案，效率很低，而且人工写出来的答案也未必是最优答案。

更合适的做法，是让模型对同一个问题生成多个答案，再由人类进行排名和评分：

1. 模型针对同一个问题生成多个答案。

2. 人类评委对这些答案进行排名。

3. 用大量排名训练出一个奖励模型。

4. 模型根据奖励信号不断调整，朝更高分的方向优化。

近年来也出现了 DPO（Direct Preference Optimization）等简化方案，跳过单独训练奖励模型的步骤，但核心思路相同：

用人类偏好来指导模型优化。

在这个过程中，原本模糊的人类偏好，被变成了可以优化的信号。

模型逐渐知道，什么样的回答更有帮助、更无害，也更诚实。

这就是常说的 3H 原则：

• Helpful**：** 回答切题，有实际价值。

• Harmless： 拒绝有害请求，不输出危险内容。

• Honest： 不确定时坦率说明，不编造信息。

最后，再把三步串起来

预训练的互联网材料是混杂的，好坏都有；SFT 主要让模型学会按照示例回答；RLHF 则把人类对答案的偏好，转化成更明确的优化方向，即：

预训练：学知识。

SFT：学会回答。

RLHF：学会回答得更好。

就像一个实习生写了多份方案，领导一一打分点评。他会慢慢知道，什么样的方案才算靠谱。

假如你从2026年开始学大模型，按这个步骤走准能稳步进阶。

接下来告诉你一条最快的邪修路线，

3个月即可成为模型大师，薪资直接起飞。

阶段1:大模型基础

阶段2:RAG应用开发工程

阶段3:大模型Agent应用架构

阶段4:大模型微调与私有化部署

配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇

配套文档资源+全套AI 大模型 学习资料，朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】👇👇