Inférence Phi-3 avec le Framework Apple MLX

Qu'est-ce que le Framework MLX

MLX est un framework de tableaux pour la recherche en apprentissage automatique sur les puces Apple, développé par l'équipe de recherche en machine learning d'Apple.

MLX est conçu par des chercheurs en apprentissage automatique pour des chercheurs en apprentissage automatique. Le framework se veut à la fois simple d’utilisation et efficace pour entraîner et déployer des modèles. Sa conception est également conceptuellement simple. Nous souhaitons faciliter l’extension et l’amélioration de MLX par les chercheurs afin de permettre une exploration rapide de nouvelles idées.

Les LLMs peuvent être accélérés sur les appareils Apple Silicon grâce à MLX, et les modèles peuvent être exécutés localement de manière très pratique.

Utiliser MLX pour inférer Phi-3-mini

1. Configurez votre environnement MLX

1. Python 3.11.x
2. Installer la bibliothèque MLX

pip install mlx-lm

2. Exécuter Phi-3-mini dans le Terminal avec MLX

python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

Le résultat (mon environnement est Apple M1 Max, 64GB) est

3. Quantifier Phi-3-mini avec MLX dans le Terminal

python -m mlx_lm.convert --hf-path microsoft/Phi-3-mini-4k-instruct

Note : Le modèle peut être quantifié via mlx_lm.convert, la quantification par défaut étant INT4. Cet exemple quantifie Phi-3-mini en INT4.

Le modèle peut être quantifié via mlx_lm.convert, la quantification par défaut étant INT4. Cet exemple montre comment quantifier Phi-3-mini en INT4. Après quantification, il sera stocké dans le répertoire par défaut ./mlx_model

Nous pouvons tester le modèle quantifié avec MLX depuis le terminal

python -m mlx_lm.generate --model ./mlx_model/ --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

Le résultat est

4. Exécuter Phi-3-mini avec MLX dans Jupyter Notebook

Note : Veuillez consulter cet exemple cliquer sur ce lien

Ressources

1. En savoir plus sur le Framework Apple MLX https://ml-explore.github.io

2. Dépôt GitHub Apple MLX https://github.com/ml-explore

Avertissement :
Ce document a été traduit à l’aide du service de traduction automatique Co-op Translator. Bien que nous nous efforcions d’assurer l’exactitude, veuillez noter que les traductions automatiques peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d’origine doit être considéré comme la source faisant foi. Pour les informations critiques, une traduction professionnelle réalisée par un humain est recommandée. Nous déclinons toute responsabilité en cas de malentendus ou de mauvaises interprétations résultant de l’utilisation de cette traduction.