Квантование Phi-3.5 с использованием Apple MLX Framework
February 1, 2026 · View on GitHub
MLX — это фреймворк для исследований в области машинного обучения на Apple Silicon, разработанный командой Apple по исследованию машинного обучения.
MLX создан исследователями машинного обучения для исследователей машинного обучения. Фреймворк ориентирован на удобство использования, при этом оставаясь эффективным для обучения и развертывания моделей. Концепция самого фреймворка также проста. Мы стремимся сделать MLX легко расширяемым и улучшаемым, чтобы исследователи могли быстро проверять новые идеи.
LLM можно ускорять на устройствах Apple Silicon с помощью MLX, а модели удобно запускать локально.
Сейчас Apple MLX Framework поддерживает конвертацию квантования для Phi-3.5-Instruct (поддержка Apple MLX Framework), Phi-3.5-Vision (поддержка MLX-VLM Framework), и Phi-3.5-MoE (поддержка Apple MLX Framework). Давайте попробуем:
Phi-3.5-Instruct
python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-mini-instruct -q
Phi-3.5-Vision
python -m mlxv_lm.convert --hf-path microsoft/Phi-3.5-vision-instruct -q
Phi-3.5-MoE
python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-MoE-instruct -q
🤖 Примеры для Phi-3.5 с Apple MLX
| Лаборатории | Описание | Перейти |
|---|---|---|
| 🚀 Лаборатория — Введение в Phi-3.5 Instruct | Узнайте, как использовать Phi-3.5 Instruct с фреймворком Apple MLX | Перейти |
| 🚀 Лаборатория — Введение в Phi-3.5 Vision (изображения) | Узнайте, как использовать Phi-3.5 Vision для анализа изображений с помощью Apple MLX | Перейти |
| 🚀 Лаборатория — Введение в Phi-3.5 Vision (moE) | Узнайте, как использовать Phi-3.5 MoE с фреймворком Apple MLX | Перейти |
Ресурсы
-
Узнайте больше об Apple MLX Framework https://ml-explore.github.io/mlx/
-
Репозиторий Apple MLX на GitHub https://github.com/ml-explore
-
Репозиторий MLX-VLM на GitHub https://github.com/Blaizzy/mlx-vlm
Отказ от ответственности:
Этот документ был переведен с помощью сервиса автоматического перевода Co-op Translator. Несмотря на наши усилия по обеспечению точности, просим учитывать, что автоматический перевод может содержать ошибки или неточности. Оригинальный документ на его исходном языке следует считать авторитетным источником. Для получения критически важной информации рекомендуется обращаться к профессиональному переводу, выполненному человеком. Мы не несем ответственности за любые недоразумения или неправильные толкования, возникшие в результате использования данного перевода.