Kvantisering av Phi-3.5 med Apple MLX Framework
February 1, 2026 · View on GitHub
MLX är ett array-ramverk för maskininlärningsforskning på Apple silicon, utvecklat av Apple machine learning research.
MLX är designat av maskininlärningsforskare för maskininlärningsforskare. Ramverket är tänkt att vara användarvänligt, men ändå effektivt för att träna och distribuera modeller. Själva designen av ramverket är också konceptuellt enkel. Vi vill göra det lätt för forskare att utöka och förbättra MLX med målet att snabbt kunna utforska nya idéer.
LLM:er kan accelereras på Apple Silicon-enheter via MLX, och modeller kan köras lokalt på ett mycket smidigt sätt.
Nu stödjer Apple MLX Framework kvantiseringskonvertering av Phi-3.5-Instruct (Apple MLX Framework support), Phi-3.5-Vision (MLX-VLM Framework support), och Phi-3.5-MoE (Apple MLX Framework support). Låt oss prova det härnäst:
Phi-3.5-Instruct
python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-mini-instruct -q
Phi-3.5-Vision
python -m mlxv_lm.convert --hf-path microsoft/Phi-3.5-vision-instruct -q
Phi-3.5-MoE
python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-MoE-instruct -q
🤖 Exempel för Phi-3.5 med Apple MLX
| Labs | Introduktion | Gå till |
|---|---|---|
| 🚀 Lab-Introduktion Phi-3.5 Instruct | Lär dig hur du använder Phi-3.5 Instruct med Apple MLX framework | Gå till |
| 🚀 Lab-Introduktion Phi-3.5 Vision (bild) | Lär dig hur du använder Phi-3.5 Vision för att analysera bilder med Apple MLX framework | Gå till |
| 🚀 Lab-Introduktion Phi-3.5 Vision (moE) | Lär dig hur du använder Phi-3.5 MoE med Apple MLX framework | Gå till |
Resurser
-
Läs om Apple MLX Framework https://ml-explore.github.io/mlx/
-
Apple MLX GitHub Repo https://github.com/ml-explore
-
MLX-VLM GitHub Repo https://github.com/Blaizzy/mlx-vlm
Ansvarsfriskrivning:
Detta dokument har översatts med hjälp av AI-översättningstjänsten Co-op Translator. Även om vi strävar efter noggrannhet, vänligen observera att automatiska översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess modersmål bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för några missförstånd eller feltolkningar som uppstår vid användning av denna översättning.