LMFlow

English | 简体中文 | Español | 日本語 | 한국어 | हिंदी

一个可扩展、方便和高效的工具箱，用于微调大型机器学习模型。我们的目标是开发一套用户友好、快速可靠，并对整个社区开放的全流程微调代码库。

新闻

• [2024-04-25] :rocket: 支持多轮对话数据格式以及对话模板！我们已经添加了近期热门模型 Llama-3 和 Phi-3的对应模板，也提供了一些如chatml等常用的模板（这里查看所有已经预设的模板），更多模板正在添加中。在微调shell脚本里指定对应的--conversation_template试试吧！ :rocket:
• [2024-03-27] 支持 LISA —— 无需offloading，在24G显存的GPU上训练7B模型！
• [2023-09-11] 支持 投机解码(speculative decoding)， 点击 使用指南 查看使用方法和简单的性能统计。
• [2023-08-14] 支持通过位置插值（Postion Interpolation）（Linear & NTK scaling）扩展LLaMA的上下文窗口，查看详情：位置插值。
• [2023-08-07] 支持 Flash Attention-2，查看详情：Flash Attention使用指南。
• [2023-08-02] 支持 Llama2，ChatGLM2，Baichuan。

目录

• LMFlow
  • 新闻
  • 目录
  • 快速上手
    • 安装
    • 准备数据集
    • 微调（全参数）
    • 微调（LISA）
    • 微调（LoRA）
    • 推理
    • 部署
    • 评测
  • 支持功能
  • 需要帮助？
  • 协议
  • 引用

快速上手

安装

我们的 Repo 已经在 Linux（Ubuntu 20.04）上进行了测试。其他操作系统平台（macOS、Windows）尚未完全测试，可能会遇到一些预期外的错误。建议先在 Linux 或 Windows WSL 上尝试使用，或者使用 Google Colab 来体验。

git clone -b v1.0.0 https://github.com/OptimalScale/LMFlow.git
cd LMFlow
conda create -n lmflow python=3.9 -y
conda activate lmflow
conda install mpi4py
pip install -e .

可选依赖

基础安装已足够支持全参数 / LoRA / LISA 微调以及 HuggingFace 后端推理。以下功能通过 extras 按需开启 —— 只装你需要的：

extras 可以组合使用：pip install -e ".[vllm,trl]" 用于 vLLM 后端的 iterative DPO，".[sglang,trl]" 则使用 SGLang。

准备数据集

请参考我们的 官方文档（英文版）。官方文档正在汉化中，请耐心等待。

微调（全参数）

全参数微调将更新模型的所有参数。全参数微调GPT-2的示例如下：

cd data && ./download.sh alpaca && cd -

./scripts/run_finetune.sh \
  --model_name_or_path gpt2 \
  --dataset_path data/alpaca/train_conversation \
  --output_model_path output_models/finetuned_gpt2

cd data && ./download.sh alpaca && cd -

./scripts/run_finetune.sh \
 --model_name_or_path meta-llama/Meta-Llama-3-8B \
 --dataset_path data/alpaca/train_conversation \
 --conversation_template llama3 \
 --output_model_path output_models/finetuned_llama3_8b

微调（LISA）

LISA 是一种 内存高效（memory-efficient） 的微调算法，它允许在内存和随机解冻的层数之间进行权衡。下面的脚本目前仅在 单个GPU 上进行了测试。请关注我们的最新更新！ :smile:

cd data && ./download.sh alpaca && cd -

./scripts/run_finetune_with_lisa.sh \
  --model_name_or_path meta-llama/Llama-2-7b-hf \
  --dataset_path data/alpaca/train_conversation \
  --output_model_path output_models/finetuned_llama2_7b \
  --lisa_activated_layers 1 \
  --lisa_interval_steps 20

cd data && ./download.sh alpaca && cd -

./scripts/run_finetune_with_lisa.sh \
 --model_name_or_path meta-llama/Llama-2-7b-hf \
 --dataset_path data/alpaca/train_conversation \
 --conversation_template llama2 \
 --output_model_path output_models/finetuned_llama2_7b_lisa \
 --lisa_activated_layers 1 \
 --lisa_interval_steps 20

微调（LoRA）

LoRA 是一种比全参数微调更为高效的 参数高效（parameter-efficient） 微调算法。

cd data && ./download.sh alpaca && cd -

./scripts/run_finetune_with_lora.sh \
  --model_name_or_path facebook/galactica-1.3b \
  --dataset_path data/alpaca/train_conversation \
  --output_lora_path output_models/finetuned_galactica_lora

cd data && ./download.sh alpaca && cd -

./scripts/run_finetune_with_lora.sh \
 --model_name_or_path meta-llama/Llama-2-7b-hf \
 --dataset_path data/alpaca/train_conversation \
 --conversation_template llama2 \
 --output_model_path output_models/finetuned_llama2_7b_lora \

./scripts/run_merge_lora.sh \
 --model_name_or_path Qwen/Qwen1.5-1.8B \
 --lora_model_path output_models/lora \
 --output_model_path output_models/lora_merged \

推理

在微调结束后，可以通过以下命令与模型进行对话。

./scripts/run_chatbot.sh output_models/finetuned_gpt2

部署

如果您想在本地部署自己的模型，我们提供了基于gradio的聊天机器人UI。 以下命令可以启动robin-7b的demo，请参考：

pip install gradio
python ./examples/chatbot_gradio.py --deepspeed configs/ds_config_chatbot.json --model_name_or_path YOUR-LLAMA  --lora_model_path ./robin-7b --prompt_structure "A chat between a curious human and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the human's questions.###Human: {input_text}###Assistant:"       --end_string "#" --max_new_tokens 200

评测

LMFlow Benchmark 是一个针对开源LLM的自动评估框架。我们使用Negative Log Likelihood (NLL)作为指标来评估LLM的各个方面，如：闲聊、常识推理和指令遵循能力。欢迎使用LMFlow Benchmark对您手上的模型进行评测，并参与我们的 模型比较（LLM comparision）。

以GPT-2 XL为例，通过以下指令开始评测：

./scripts/run_benchmark.sh --model_name_or_path gpt2-xl

--model_name_or_path是必填参数，可以传入 huggingface模型名 或 模型的本地路径。 可以通过./output_dir/gpt2-xl_lmflow_chat_nll_eval、./output_dir/gpt2-xl_all_nll_eval 和./output_dir/gpt2-xl_commonsense_qa_eval下的benchmark.log查看评测结果。

支持功能

需要帮助？

如果您需要任何帮助，欢迎提交Github Issue。

协议

本项目所含代码采用Apache 2.0协议。如果您希望将本项目所含模型用于商业用途，请填写并签署本文件取得授权。

引用

如果您觉得我们的Repo有用，欢迎点赞⭐、fork、转发和引用我们的论文：

@article{diao2023lmflow,
  title={Lmflow: An extensible toolkit for finetuning and inference of large foundation models},
  author={Diao, Shizhe and Pan, Rui and Dong, Hanze and Shum, Ka Shun and Zhang, Jipeng and Xiong, Wei and Zhang, Tong},
  journal={arXiv preprint arXiv:2306.12420},
  year={2023}
}

@article{dong2023raft,
  title={Raft: Reward ranked finetuning for generative foundation model alignment},
  author={Dong, Hanze and Xiong, Wei and Goyal, Deepanshu and Pan, Rui and Diao, Shizhe and Zhang, Jipeng and Shum, Kashun and Zhang, Tong},
  journal={arXiv preprint arXiv:2304.06767},
  year={2023}
}

@article{pan2024lisa,
  title={LISA: Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning}, 
  author={Pan, Rui and Liu, Xiang and Diao, Shizhe and Pi, Renjie and Zhang, Jipeng and Han, Chi and Zhang, Tong},
  journal={arXiv preprint arXiv:2403.17919},
  year={2024}
}