zero-bubble-pipeline-parallelism.md

January 24, 2024 · View on GitHub

  1. 在解决的是什么问题？希望让 Pipeline 下的气泡最少
  2. 为何成功，标志/准是什么？
  3. 在前人基础上的关键创新是什么？把 backward 修改为两个阶段：给输入计算梯度和给参数计算梯度；跳过了优化器步骤里的同步过程（how？）
  4. 关键结果有哪些？
  5. 有哪些局限性？如何优化？
  6. 这个工作可能有什么深远的影响？