การทำ Inference Phi-3 ด้วย Apple MLX Framework

February 1, 2026 · View on GitHub

MLX Framework คืออะไร

MLX เป็นเฟรมเวิร์กอาร์เรย์สำหรับงานวิจัยด้าน machine learning บนชิป Apple silicon พัฒนาโดยทีมวิจัย machine learning ของ Apple

MLX ถูกออกแบบโดยนักวิจัย machine learning เพื่อใช้งานโดยนักวิจัย machine learning เฟรมเวิร์กนี้เน้นความใช้งานง่าย แต่ยังคงประสิทธิภาพสูงในการฝึกสอนและนำโมเดลไปใช้งาน การออกแบบของเฟรมเวิร์กเองก็เรียบง่ายในเชิงแนวคิด เราตั้งใจให้ผู้วิจัยสามารถขยายและพัฒนา MLX ได้อย่างง่ายดาย เพื่อให้สามารถทดลองไอเดียใหม่ๆ ได้อย่างรวดเร็ว

โมเดล LLMs สามารถเร่งความเร็วบนอุปกรณ์ Apple Silicon ผ่าน MLX และสามารถรันโมเดลได้อย่างสะดวกสบายบนเครื่องท้องถิ่น

การใช้ MLX ในการทำ inference กับ Phi-3-mini

1. ตั้งค่าสภาพแวดล้อม MLX ของคุณ

  1. Python 3.11.x
  2. ติดตั้งไลบรารี MLX

pip install mlx-lm

2. รัน Phi-3-mini ใน Terminal ด้วย MLX


python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

ผลลัพธ์ (สภาพแวดล้อมของผมคือ Apple M1 Max, 64GB) เป็นดังนี้

Terminal

3. การทำ Quantize Phi-3-mini ด้วย MLX ใน Terminal


python -m mlx_lm.convert --hf-path microsoft/Phi-3-mini-4k-instruct

Note： โมเดลสามารถทำ quantize ได้ผ่าน mlx_lm.convert โดยค่าดีฟอลต์จะเป็น INT4 ตัวอย่างนี้ทำการ quantize Phi-3-mini เป็น INT4

โมเดลสามารถทำ quantize ได้ผ่าน mlx_lm.convert โดยค่าดีฟอลต์คือ INT4 ตัวอย่างนี้เป็นการทำ quantize Phi-3-mini เป็น INT4 หลังจาก quantize แล้วโมเดลจะถูกเก็บไว้ในไดเรกทอรีเริ่มต้น ./mlx_model

เราสามารถทดสอบโมเดลที่ถูก quantize ด้วย MLX จาก terminal ได้


python -m mlx_lm.generate --model ./mlx_model/ --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

ผลลัพธ์คือ

INT4

4. รัน Phi-3-mini ด้วย MLX ใน Jupyter Notebook

Notebook

Note: กรุณาอ่านตัวอย่างนี้ คลิกที่ลิงก์นี้

แหล่งข้อมูล

  1. เรียนรู้เกี่ยวกับ Apple MLX Framework https://ml-explore.github.io

  2. Apple MLX GitHub Repo https://github.com/ml-explore

ข้อจำกัดความรับผิดชอบ:
เอกสารนี้ได้รับการแปลโดยใช้บริการแปลภาษาอัตโนมัติ Co-op Translator แม้เราจะพยายามให้ความถูกต้องสูงสุด แต่โปรดทราบว่าการแปลอัตโนมัติอาจมีข้อผิดพลาดหรือความไม่ถูกต้อง เอกสารต้นฉบับในภาษาต้นทางถือเป็นแหล่งข้อมูลที่เชื่อถือได้ สำหรับข้อมูลที่สำคัญ ขอแนะนำให้ใช้บริการแปลโดยผู้เชี่ยวชาญมนุษย์ เราไม่รับผิดชอบต่อความเข้าใจผิดหรือการตีความผิดที่เกิดขึ้นจากการใช้การแปลนี้