大模型训练基础(3)-常用后训练方法

2026-06-01 2026-08-14

tech

16 minutes read (About 2435 words)

大模型后训练路线

大模型后训练（Post-training）
│
├── 监督学习
│   └── SFT：学习“标准答案应该怎么写”
│
├── 偏好学习
│   └── DPO：学习“回答 A 比回答 B 更好”
│
└── 强化学习
    ├── PPO：根据奖励训练，通常需要 Value Model
    └── GRPO：根据同题多答案的相对奖励训练，通常不需要 Value Model

LLM_SFT_DPO_GRPO_PPO

7. DPO：直接偏好优化

方法类型：直接偏好优化。通常使用提前准备好的离线偏好对，不需要在训练过程中运行完整的强化学习 rollout。

7.1 原理

DPO（Direct Preference Optimization）的核心思想是：直接拿“好回答”和“差回答”训练，让模型更倾向好回答，不再先训练一个阅卷老师，再做一轮 PPO。

训练时还会保留一个冻结的 reference model 作为参照，避免模型只顾拉开好坏答案的差距而偏离原模型太远。可以理解为：

对同一个问题：
  提高 chosen 的相对倾向
  降低 rejected 的相对倾向
  同时参考原模型，防止整体改变过猛

llm, training

大模型训练基础概念（2）

2026-05-27 2026-08-14

tech

17 minutes read (About 2526 words)

预训练与继续预训练

4.1 预训练（Pre-training）

定义：在海量通用或混合语料上使用自监督目标训练模型，主要获取语言、知识和基础能力。

通俗解释：给模型阅读海量网页、书籍、代码等内容，让它反复做“猜下一个 token”的练习。原始数据不需要人工逐条写答案，文本的下一个 token 本身就是答案。

样例数据：预训练数据通常只是连续文本，而不是问答对。

1
2

{"text": "水在标准大气压下的沸点约为100摄氏度。温度继续升高时，液态水会逐渐转化为水蒸气。"}
{"text": "def fibonacci(n):\n    if n < 2:\n        return n\n    return fibonacci(n-1) + fibonacci(n-2)"}

模型会自动从每段文本中产生大量“根据前文预测下一个 token”的训练题。

适用场景：

从零构建基础模型；
有足够数据、算力和工程团队；
现有模型在语言、授权、架构或核心能力上不满足需求。

优势：能力上限和数据分布可控，可形成自主基座。

劣势：数据、算力、稳定性、分布式系统和评测成本极高；失败代价大。

4.2 继续预训练（Continued Pre-training / Domain-Adaptive Pre-training）

定义：从已有基座继续使用语言建模目标训练，而不是使用问答标签。

通俗解释：基座模型已经读完“通识课程”，现在让它集中阅读某个专业的原始材料。例如继续阅读证券研报、法律条文或公司代码库，使它熟悉该领域的术语、表达和知识分布。

金融领域样例数据：

1
2

{"text": "资产负债率是企业负债总额与资产总额的比率，常用于衡量企业的长期偿债能力……"}
{"text": "本报告期内，公司经营活动产生的现金流量净额同比增长18.6%，主要原因是应收账款周转改善……"}

llm, training

大模型训练基础概念理解(1)

2026-05-23 2026-08-14

tech

15 minutes read (About 2321 words)

一个典型大语言模型（LLM）的生命周期可以概括为：

原始数据
  ↓ 清洗、去重、过滤、配比、分词
预训练（Next-Token Prediction）
  ↓ 获得 Base Model：会续写、有知识，但未必会听指令
继续预训练（可选，领域知识/新语言/长上下文）
  ↓
监督微调 SFT
  ↓ 获得 Instruction Model：学会指令格式和示范行为
偏好或强化优化（DPO / PPO-RLHF / GRPO 等）
  ↓ 提升有用性、安全性、风格、推理或可验证任务能力
评测、压缩、量化、部署
  ↓
在线推理、监控、数据回流、迭代训练

预训练主要解决“能力和知识从哪里来”，SFT 解决“如何按指令表现”，偏好优化解决“多个看似合理的答案中更偏好哪个”，推理系统解决“如何以可接受的成本和延迟把能力交付出来”。

llm, training

大模型训练基础(3)-常用后训练方法

7. DPO：直接偏好优化

7.1 原理

大模型训练基础概念（2）

4.1 预训练（Pre-training）

4.2 继续预训练（Continued Pre-training / Domain-Adaptive Pre-training）

大模型训练基础概念理解(1)

Tag Cloud

Archives

Recent

Categories

Recent

Categories

Your browser is out-of-date!