QA 合集 🧣📋114

Keywords: QA

• Transformer · 基础模型 · 23
• Transformer · 位置编码 · 24
• Transformer · BERT (Encoder-only) · 7
• RLHF · 基础 · 13
• RLHF · 策略梯度算法 · 6
• SFT · 基础概念 · 9
• SFT · PEFT · LoRA · 10
• Agent · Promptint · 4
• LLM · MoE (Mixture of Experts) · 8
• LLM · 基座模型 · 6
• LLM · 训练优化 · 2
• Other · 非专业问题 · 2

🔔 待整理

---

Transformer · 基础模型 · 23

• 1. 🏷️ 模型总览
  • 1.1. ✅ 详细说明 Transformer 的整体架构
  • 1.2. ✅ 简述 Transformer 的核心思想 (归纳偏置), 它解决了 RNN/CNN 的哪些瓶颈?
  • 1.3. ✅ 说明 Transformer 的并行计算与全局依赖是如何实现的?
  • 1.4. ✅ Transformer/CNN/RNN 的归纳偏置分别是什么? 比较它们的优缺点
  • 1.5. ✅ 简述 Transformer 中 Encoder 和 Decoder 各自的作用和结构
  • 1.6. ✅ 对比 Encoder–Decoder、Decoder-only、Encoder-only 三种形态, 解释它们各自更适合的任务与训练范式
  • 1.7. 🚩 为什么主流 LLM 选择 Decoder-Only (Causal LM) 架构?
• 2. 🏷️ 模型细节
  • 2.1. ✅ 说明自注意力机制的计算过程
  • 2.2. ✅ 为什么要对 QK 的点积进行缩放? 缩放因子是?
  • 2.3. 🚩 Multi-Head 的动机是什么? 本质是什么? 是如何实现的?
  • 2.4. 💡 给定 embed dim 与 num heads, 如何估算 head dim、显存占用与吞吐的关系?
  • 2.5. ✅ 为什么 Decoder 中计算自注意力需要 "掩码"?
  • 2.6. ✅ Decoder 中的 Attention 与 Encoder 有什么不同?
  • 2.7. ✅ Decoder 中的 Cross Attention 中的 Q, K, V 分别来自哪里?
  • 2.8. ✅ 为什么 FFN 需要先升维再降维?
• 3. 🏷️ 训练与推理差异
  • 3.1. ✅ 说明 Decoder 在训练与推理阶段对 目标可见性 的差异
  • 3.2. ✅ 什么是 "曝光偏差", 如何缓解?
  • 3.3. ✅ 描述 KV Cache 的动机, 方法, 效果, 代价
  • 3.4. ⬆️ 推理阶段, 怎么优化随着输出序列越来越长带来的开销?
  • 3.5. ✅ KV cache 带来的显存占用线性增长要如何管理?
• 4. 🏷️ 解码相关
  • 4.1. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 对比常见的解码策略 (Beam Search, 贪心, 采样)
  • 4.2. ✅ 为什么 LLM 在文本创作中倾向于使用采样策略?
  • 4.3. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 如何控制生成序列的长度和终止?
  • 4.4. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 怎么抑制 LLM 生成过程中的 重复问题?
  • 4.5. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 非自回归模型是如何解码的? 与自回归解码的优劣
• 5. 🏷️ 工程优化、失败模式与诊断
  • 5.1. ✅ 比较 Pre‑LN 与 Post‑LN 的优缺点
  • 5.2. ✅ Pre‑LN 存在的问题与解决方法

Transformer · 位置编码 · 24

• 1. 🏷️ 位置编码基础
  • 1.1. ✅ 为什么需要位置编码? (位置编码的必要性, 自注意力的缺陷)
  • 1.2. ✅ 什么是"置换不变性"? (自注意力为何对置换不敏感?)
  • 1.3. ✅ 位置编码是如何引入到模型中的? (常见的引入方式)
  • 1.4. ✅ 多头注意力中, 位置参数是共享的吗?
• 2. 🏷️ 常见的位置编码
  • 2.1. ✅ 介绍常见的位置编码 (除了正弦位置编码, 还有哪些位置编码方式?)
  • 2.2. ✅ 正弦位置编码有哪些优点?
  • 2.3. ✅ 解释为何正弦位置编码蕴含了相对位置信息? (三角恒等式推导)
  • 2.4. ✅ 正弦位置编码的 "波长" 是什么意思? 不同维度对应的波长有何不同?
  • 2.5. ✅ 为什么正弦位置编码使用 加法 引入而不是 拼接?
  • 2.6. ✅ 可学习位置编码 有哪些应用场景? 优势?
• 3. 🏷️ 相对位置编码
  • 3.1. ✅ 什么是相对位置编码? 与绝对位置编码的核心区别是什么?
  • 3.2. ✅ 位置编码中 相对 与 绝对 的含义
  • 3.3. ✅ 比较 绝对位置编码 与 相对位置编码
  • 3.4. ⬆️ 相对位置编码 对比 绝对位置编码 有哪些优势?
  • 3.5. ✅ 位置编码中的 "外推" 问题指的是什么?
  • 3.6. ⚠️ 如何评估 "外推失败"? (诊断图, 对照实验)
• 4. 🏷️ 旋转位置编码 (RoPE)
  • 4.1. ✅ 介绍 旋转位置编码 (做法和优势)
  • 4.2. ✅ RoPE 为什么能把绝对位置转成相对位移不变的注意力? (写出关键等式)
  • 4.3. ✅ RoPE 中的 频率基 θ (或 底数 d) 是如何影响位置编码效果的? 公式中加入 i 的作用?
  • 4.4. ⚠️ 列举几种提升 RoPE 长度外推稳定性的策略, 并说明各自副作用
• 5. 🏷️ 应用
  • 5.1. ✅ 该如何选择不同的位置编码? (嵌入加法 / 注意力偏置 / 旋转编码)
  • 5.2. ⚠️ 不同位置编码在 GPU 显存占用与推理时延上分别有什么差异?
  • 5.3. 💡 如何将已有绝对位置模型迁移到 RoPE? 或者 ALiBi?
  • 5.4. 💡 在视觉Transformer (ViT) 中, 是如何处理位置编码的?

Transformer · BERT (Encoder-only) · 7

• 1. 🏷️ BERT 改进模型比较
  • 1.1. ✅ 说明 RoBERTa 相比 BERT 的改进
  • 1.2. ✅ 比较 DeBERTa 和 BERT 在架构与预训练目标上的差异
  • 1.3. ✅ 解释一下 DeBERTa 的优点及原因
• 2. 🏷️ 表示学习
  • 2.1. ✅ 说明 SentenceBERT (SBERT) 与 SimCSE 的核心思想?
  • 2.2. ✅ 为什么对比学习能提升句向量的判别力?
  • 2.3. ✅ 说明 SBERT 的双塔结构
  • 2.4. ✅ 为什么拼接形式的双塔结构中, 通常还会加入 |u-v|?

RLHF · 基础 · 13

• 1. 🏷️ 基础概念
  • 1.1. ✅ 什么是 RLHF? 它的背景/动机是什么? 相比 SFT 的优势在哪里? 怎么实现的?
  • 1.2. ⬆️ 什么是 对齐? RLHF 是如何实现大模型与人类意图对齐的?
  • 1.3. ⬆️ 为什么说 RLHF 比 SFT 具有 更大的策略搜索空间?
  • 1.4. ⬆️ 为什么说 RLHF 比 SFT 更容易 对齐抽象偏好?
  • 1.5. ✅ RLHF 的一般流程是什么? 每一步的目的? 分别解决什么问题?
  • 1.6. ⬆️ 指出每阶段的 输入, 输出 与 失败模式
  • 1.7. ✅ 若 SFT 质量不高, RLHF 会发生什么连锁反应?
  • 1.8. ✅ 什么是 奖励黑客 (Reward Hacking)/奖励过度/模式坍缩?
• 2. 🏷️ 奖励模型
  • 2.1. ✅ 详细说明 奖励模型 是如何训练的? 包括 训练数据/模型结构/损失函数 等方面
  • 2.2. ✅ 介绍一下 Bradley-Terry (BT) 模型, 它是如何应用到奖励模型中的?
• 3. 🏷️ 价值模型
  • 3.1. ✅ 价值模型是如何训练的?
  • 3.2. 🚨 PPO 中的 价值模型 存在什么问题?
  • 3.3. 💡 PPO 是典型的 在线策略 (On-Policy) 算法, 但为什么有人说 RLHF 中使用的 PPO 是 Off-Policy 的?
  • 3.4. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 为什么离线算法 (如 DPO) 不需要价值模型?

RLHF · 策略梯度算法 · 6

• 1. 🏷️ 基础概念
  • 1.1. 💡 在线策略 (On-Policy) 与离线策略 (Off-Policy) 的本质差异是什么? PPO 属于哪种?
• 2. 🏷️ PPO 相关
  • 2.1. ✅ 解释 PPO 算法的核心思想, 及其实现方法
  • 2.2. ✅ PPO 中的 价值模型 是怎么训练的?
  • 2.3. 🚩 PPO 中的 价值模型 存在什么问题?
• 3. 🏷️ GRPO 相关
  • 3.1. ✅ 详细解释 GRPO 的核心思想, 与 PPO 的主要区别
  • 3.2. ✅ GRPO 的 优势信号 是怎么计算的?

SFT · 基础概念 · 9

• 1. 🏷️ 基础概念
  • 1.1. ✅ 什么是 大模型微调? 为什么需要 微调?
  • 1.2. ✅ 微调 与 预训练 的区别
  • 1.3. ✅ 说明大模型微调的 一般流程
  • 1.4. ✅ 什么是 灾难性遗忘? 如何缓解?
  • 1.5. ✅ 如何设计高质量 SFT 数据? 如何保证 覆盖率/多样性/一致性?
  • 1.6. ❓ 有哪些提高 训练稳定性 的技巧?
• 2. 🏷️ PEFT
  • 2.1. ✅ 比较 全量微调 和 参数高效微调 (PEFT)
  • 2.2. ✅ 介绍常见的 PEFT 技术
  • 2.3. 💡 比较 LoRA / Prefix Tuning / P-Tuning V2 / Adapter / BitFit

SFT · PEFT · LoRA · 10

• 1. 🏷️ LoRA 相关
  • 1.1. ✅ 什么是 LoRA? 它解决了什么问题? 适用什么场景?
  • 1.2. ✅ 与全参微调相比, LoRA 的 表达上限 如何?
  • 1.3. ✅ LoRA 的参数量如何计算? 与原参数量的比例?
  • 1.4. ✅ LoRA 一般作用于哪些层?
  • 1.5. 💡 写出 LoRA 的 数学形式, 并解释各参数的含义与约束
  • 1.6. ✅ 为何需要 缩放项 α/r? 去掉会怎样?
  • 1.7. ✅ 为什么常将 A 正态初始化, B 初始化为 0? 如果不这么做会怎么样?
  • 1.8. ✅ 如何选择 r (Rank)? 不同任务/数据规模下的建议是什么?
  • 1.9. 💡 如果希望逼近全参微调效果, 除了增大 r 还能做什么?
• 2. 🏷️ LoRA 的变体
  • 2.1. ✅ QLoRA/AdaLoRA/DoRA 的核心思路是什么?

Agent · Promptint · 4

• 1. ✅ 介绍下 ReAct 框架
  • 1.1. ✅ 为什么 ReAct 有效? ReAct 的优点
• 2. ✅ 介绍下 Plan-Execute 框架
  • 2.1. ✅ Plan-Execute 框架的优点 (相比 ReAct)

LLM · MoE (Mixture of Experts) · 8

• 1. 🏷️ MoE 基础
  • 1.1. ✅ 什么是 MoE (Mixture of Experts)? 它与传统稠密 Transformer 的主要区别是什么?
  • 1.2. ✅ 为什么 MoE 能在保持计算成本相对可控的情况下扩展到万亿参数规模?
  • 1.3. ✅ 路由 (Router) / 门控网络 (Gating Network) 是如何为每个 token 选择合适的专家的?
  • 1.4. ✅ 为什么 MoE 中的 稀疏激活 通常只选择少量专家 ( Top-1 或 Top-2 )?
• 2. 🏷️ MoE 架构的路由与负载均衡
  • 2.1. ✅ Top-k 路由 与 Switch 路由 的差异
  • 2.2. ✅ 为什么需要 负载均衡 (Load Balancing)? 没有会出现什么问题?
  • 2.3. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 介绍几种常见的负载均衡方法, 并比较
  • 2.4. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 负载均衡损失项如何设计以避免专家塌陷?
  • 2.5. ✅ 使用辅助损失解决负载均衡会存在什么问题?
  • 2.6. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 什么是 "无辅助损失均衡 (aux-free balancing)"?
• 3. 🏷️ MoE 的工程与实现
  • 3.1. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 如何设计实验来验证某个 MoE 路由策略是否真正提升了专家的 "专长分工 (specialization)"?
  • 3.2. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 在推理阶段, 所有专家参数仍需加载到显存, 可以如何优化显存占用?
  • 3.3. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 什么是 "专家容量 (Expert Capacity)"? 为什么需要? 当 token 超过容量时, 常见的处理策略有哪些?
  • 3.4. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ MoE 在小数据集下微调时, 为什么容易过拟合或不如稠密模型稳定? 有哪些改进思路?
  • 3.5. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 如果路由器在训练中出现 专家塌陷, 你会如何诊断与修复?
  • 3.6. 🚨 🚩 💡 ❓ ⚠️ ⬆️ 🏷️ ✅ 假设你要在一个多模态任务 (文本+图像) 上设计 MoE, 你会如何划分专家?
  • 3.7. ✅ 给定 8 专家, Top-2 策略, 400B 参数的 MoE 层, 估算单 token 实际激活的参数量和 batch size = 1024 时平均每个专家分配的 token 数.

LLM · 基座模型 · 6

• 1. 🏷️ LLaMA 相关
  • 1.1. ✅ LLaMA 属于哪类架构? 与原版 Transformer 的差异? 改进的目的/效果
  • 1.2. ✅ LLaMA 系列为何偏向 Pre‑Norm 与 RMSNorm?
  • 1.3. ✅ SwiGLU 取代 ReLU 的动机是什么, 如何做到的?
  • 1.4. ✅ LLaMA 为何采用 RoPE (旋转位置编码)? 与正弦编码相比的优势
  • 1.5. ✅ GQA/MQA 的动机是什么, 如何做的?
• 2. 🏷️ DeepSeek 相关
  • 2.1. ✅ DeepSeek 对 位置编码 (RoPE) 做了哪些改进?

LLM · 训练优化 · 2

• 1. 🏷️ 数据层优化
• 2. 🏷️ 模型结构优化
• 3. 🏷️ 优化算法与超参数优化
• 4. 🏷️ 正则与泛化性优化
  • 4.1. ✅ Dropout 的原理作用
  • 4.2. ✅ 为什么现代 LLM 中一般不使用 Dropout?
• 5. 🏷️ 计算与系统层优化

Other · 非专业问题 · 2

• 1. 🏷️ 概率题
  • 1.1. ✅ 从 1~100 取 2 个不同数字相加, 求结果为偶数的概率
• 2. 🏷️ 其他
  • 2.1. ✅ 平面上有 2N 个点, 是否存在一条直线将这 2N 个点一分为二

---

待整理