megatron.md

January 24, 2024 · View on GitHub

  1. 当前只支持 ZeRO1
  2. 当前不支持 ZeRO2 和 ZeRO3，因为和 Pipeline 的实现不兼容