unsloth.md

Unsloth

Unsloth 是一个流行的 LLM 训练优化库，它也提供了一套强大的动态量化方案。与静态量化不同，它能在运行时根据情况灵活调整精度，实现了高压缩率和高精度的完美平衡。例如，它可以将一个模型从 20GB 压缩到 6.5GB，同时保持极高的准确率。

虽然 Unsloth 不是量化方法，但我想介绍这个用于 LLM 的开源超高效微调库。Unsloth 是一个完全集成参数高效微调方法（如 LoRA 和 QLoRA）的库。它针对开源著名 LLM 优化了每个内核，并减少了高达约 80% 的内存使用率！例如，它支持DeepSeek-R1、Llama、Mistral、Phi、Qwen 和 Gemma 这些开源 LLM。