Memulai dengan Phi-3 secara lokal

Panduan ini akan membantu Anda menyiapkan lingkungan lokal untuk menjalankan model Phi-3 menggunakan Ollama. Anda dapat menjalankan model ini dengan beberapa cara berbeda, termasuk menggunakan GitHub Codespaces, VS Code Dev Containers, atau lingkungan lokal Anda.

Penyiapan lingkungan

GitHub Codespaces

Anda dapat menjalankan template ini secara virtual dengan menggunakan GitHub Codespaces. Tombol ini akan membuka instance VS Code berbasis web di browser Anda:

1. Buka template (ini mungkin memakan waktu beberapa menit):

   

2. Buka jendela terminal

VS Code Dev Containers

⚠️ Opsi ini hanya akan berfungsi jika Docker Desktop Anda dialokasikan minimal 16 GB RAM. Jika Anda memiliki kurang dari 16 GB RAM, Anda bisa mencoba opsi GitHub Codespaces atau menyiapkannya secara lokal.

Opsi terkait adalah VS Code Dev Containers, yang akan membuka proyek di VS Code lokal Anda menggunakan Dev Containers extension:

1. Mulai Docker Desktop (instal jika belum terpasang)

2. Buka proyek:

   

3. Di jendela VS Code yang terbuka, setelah file proyek muncul (ini mungkin memakan waktu beberapa menit), buka jendela terminal.

4. Lanjutkan dengan langkah deployment

Lingkungan Lokal

1. Pastikan alat-alat berikut sudah terpasang:

   • Ollama
   • Python 3.10+
   • OpenAI Python SDK

Uji model

1. Minta Ollama untuk mengunduh dan menjalankan model phi3:mini:

   ollama run phi3:mini
   

   Ini akan memakan waktu beberapa menit untuk mengunduh model.

2. Setelah Anda melihat "success" di output, Anda dapat mengirim pesan ke model tersebut dari prompt.

   >>> Write a haiku about hungry hippos
   

3. Setelah beberapa detik, Anda akan melihat aliran respons dari model.

4. Untuk mempelajari berbagai teknik yang digunakan dengan model bahasa, buka notebook Python ollama.ipynb dan jalankan setiap sel. Jika Anda menggunakan model selain 'phi3:mini', ubah MODEL_NAME di sel pertama.

5. Untuk melakukan percakapan dengan model phi3:mini dari Python, buka file Python chat.py dan jalankan. Anda dapat mengubah MODEL_NAME di bagian atas file sesuai kebutuhan, dan juga dapat memodifikasi pesan sistem atau menambahkan contoh few-shot jika diinginkan.

Penafian:
Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI Co-op Translator. Meskipun kami berupaya untuk mencapai akurasi, harap diketahui bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang sahih. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang keliru yang timbul dari penggunaan terjemahan ini.