FineTuning_Qlora.md

Affinage de Phi-3 avec QLoRA

Affinage du modèle de langage Phi-3 Mini de Microsoft en utilisant QLoRA (Quantum Low-Rank Adaptation).

QLoRA permet d’améliorer la compréhension des conversations et la génération de réponses.

Pour charger des modèles en 4 bits avec transformers et bitsandbytes, vous devez installer accelerate et transformers depuis la source et vous assurer d’avoir la dernière version de la bibliothèque bitsandbytes.

Exemples

• En savoir plus avec ce notebook d’exemple
• Exemple de script Python pour l’affinage
• Exemple d’affinage sur Hugging Face Hub avec LORA
• Exemple d’affinage sur Hugging Face Hub avec QLORA

Avertissement :
Ce document a été traduit à l’aide du service de traduction automatique Co-op Translator. Bien que nous nous efforcions d’assurer l’exactitude, veuillez noter que les traductions automatiques peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d’origine doit être considéré comme la source faisant foi. Pour les informations critiques, une traduction professionnelle réalisée par un humain est recommandée. Nous déclinons toute responsabilité en cas de malentendus ou de mauvaises interprétations résultant de l’utilisation de cette traduction.