Pengkuantitian Phi-3.5 menggunakan Rangka Kerja Apple MLX
February 1, 2026 · View on GitHub
MLX adalah rangka kerja tatasusunan untuk penyelidikan pembelajaran mesin pada cip Apple silicon, dibawa kepada anda oleh penyelidikan pembelajaran mesin Apple.
MLX direka oleh penyelidik pembelajaran mesin untuk penyelidik pembelajaran mesin. Rangka kerja ini bertujuan untuk mesra pengguna, tetapi masih cekap untuk melatih dan melaksanakan model. Reka bentuk rangka kerja itu sendiri juga mudah dari segi konsep. Kami berhasrat untuk memudahkan penyelidik mengembangkan dan memperbaiki MLX dengan matlamat untuk meneroka idea baru dengan pantas.
LLM boleh dipercepatkan pada peranti Apple Silicon melalui MLX, dan model boleh dijalankan secara tempatan dengan sangat mudah.
Kini Rangka Kerja Apple MLX menyokong penukaran kuantisasi bagi Phi-3.5-Instruct (Sokongan Rangka Kerja Apple MLX), Phi-3.5-Vision (Sokongan Rangka Kerja MLX-VLM), dan Phi-3.5-MoE (Sokongan Rangka Kerja Apple MLX). Mari cuba seterusnya:
Phi-3.5-Instruct
python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-mini-instruct -q
Phi-3.5-Vision
python -m mlxv_lm.convert --hf-path microsoft/Phi-3.5-vision-instruct -q
Phi-3.5-MoE
python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-MoE-instruct -q
🤖 Contoh untuk Phi-3.5 dengan Apple MLX
| Makmal | Pengenalan | Pergi |
|---|---|---|
| 🚀 Makmal-Pengenalan Phi-3.5 Instruct | Pelajari cara menggunakan Phi-3.5 Instruct dengan rangka kerja Apple MLX | Pergi |
| 🚀 Makmal-Pengenalan Phi-3.5 Vision (imej) | Pelajari cara menggunakan Phi-3.5 Vision untuk menganalisis imej dengan rangka kerja Apple MLX | Pergi |
| 🚀 Makmal-Pengenalan Phi-3.5 Vision (moE) | Pelajari cara menggunakan Phi-3.5 MoE dengan rangka kerja Apple MLX | Pergi |
Sumber
-
Ketahui tentang Rangka Kerja Apple MLX https://ml-explore.github.io/mlx/
-
Repositori GitHub Apple MLX https://github.com/ml-explore
-
Repositori GitHub MLX-VLM https://github.com/Blaizzy/mlx-vlm
Penafian:
Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI Co-op Translator. Walaupun kami berusaha untuk ketepatan, sila ambil perhatian bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan profesional oleh manusia adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.