Keluarga Phi di AITK

AI Toolkit for VS Code mempermudah pengembangan aplikasi AI generatif dengan menggabungkan alat-alat pengembangan AI dan model terbaru dari Microsoft Foundry Catalog dan katalog lain seperti Hugging Face. Anda dapat menjelajahi katalog model AI yang didukung oleh GitHub Models dan Microsoft Foundry Model Catalogs, mengunduhnya secara lokal atau jarak jauh, melakukan fine-tune, menguji, dan menggunakannya dalam aplikasi Anda.

Preview AI Toolkit akan berjalan secara lokal. Inferensi lokal atau fine-tune, tergantung pada model yang Anda pilih, Anda mungkin memerlukan GPU seperti NVIDIA CUDA GPU. Anda juga dapat menjalankan GitHub Models langsung dengan AITK.

Memulai

Pelajari lebih lanjut cara menginstal Windows Subsystem for Linux

dan mengubah distribusi default.

Repo GitHub AI Toolkit

• Windows, Linux, macOS

• Untuk finetuning di Windows dan Linux, Anda memerlukan GPU Nvidia. Selain itu, Windows memerlukan subsystem untuk Linux dengan distro Ubuntu 18.4 atau lebih baru. Pelajari lebih lanjut cara menginstal Windows Subsystem for Linux dan mengubah distribusi default.

Instal AI Toolkit

AI Toolkit dikirim sebagai Ekstensi Visual Studio Code, jadi Anda perlu menginstal VS Code terlebih dahulu, dan unduh AI Toolkit dari VS Marketplace. AI Toolkit tersedia di Visual Studio Marketplace dan dapat diinstal seperti ekstensi VS Code lainnya.

Jika Anda belum familiar dengan cara memasang ekstensi VS Code, ikuti langkah berikut:

Masuk

1. Di Activity Bar di VS Code pilih Extensions
2. Di bilah Pencarian Ekstensi ketik "AI Toolkit"
3. Pilih "AI Toolkit for Visual Studio code"
4. Pilih Install

Sekarang, Anda siap menggunakan ekstensi ini!

Anda akan diminta untuk masuk ke GitHub, jadi silakan klik "Allow" untuk melanjutkan. Anda akan diarahkan ke halaman masuk GitHub.

Silakan masuk dan ikuti langkah-langkah proses. Setelah berhasil, Anda akan diarahkan kembali ke VS Code.

Setelah ekstensi terpasang, Anda akan melihat ikon AI Toolkit muncul di Activity Bar Anda.

Mari jelajahi aksi yang tersedia!

Aksi yang Tersedia

Sidebar utama AI Toolkit diatur ke

• Models
• Resources
• Playground
• Fine-tuning
• Evaluation

tersedia di bagian Resources. Untuk memulai pilih Model Catalog.

Unduh model dari katalog

Setelah meluncurkan AI Toolkit dari sidebar VS Code, Anda dapat memilih dari opsi berikut:

• Temukan model yang didukung dari Model Catalog dan unduh secara lokal
• Uji inferensi model di Model Playground
• Fine-tune model secara lokal atau jarak jauh di Model Fine-tuning
• Deploy model yang telah difine-tune ke cloud melalui command palette untuk AI Toolkit
• Evaluasi model

Jalankan model di playground

Setelah semua parameter disetel, klik Generate Project.

Setelah model Anda selesai diunduh, pilih Load in Playground pada kartu model di katalog:

• Memulai pengunduhan model
• Menginstal semua prasyarat dan dependensi
• Membuat workspace VS Code

Gunakan REST API dalam aplikasi Anda

AI Toolkit hadir dengan server web REST API lokal di port 5272 yang menggunakan format OpenAI chat completions.

Ini memungkinkan Anda untuk menguji aplikasi secara lokal tanpa harus bergantung pada layanan model AI cloud. Misalnya, file JSON berikut menunjukkan cara mengonfigurasi body request:

{
    "model": "Phi-4",
    "messages": [
        {
            "role": "user",
            "content": "what is the golden ratio?"
        }
    ],
    "temperature": 0.7,
    "top_p": 1,
    "top_k": 10,
    "max_tokens": 100,
    "stream": true
}

Anda dapat menguji REST API menggunakan (misal) Postman atau utilitas CURL (Client URL):

curl -vX POST http://127.0.0.1:5272/v1/chat/completions -H 'Content-Type: application/json' -d @body.json

Menggunakan library klien OpenAI untuk Python

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:5272/v1/", 
    api_key="x" # diperlukan untuk API tetapi tidak digunakan
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "what is the golden ratio?",
        }
    ],
    model="Phi-4",
)

print(chat_completion.choices[0].message.content)

Menggunakan library klien Azure OpenAI untuk .NET

Tambahkan library klien Azure OpenAI untuk .NET ke proyek Anda menggunakan NuGet:

dotnet add {project_name} package Azure.AI.OpenAI --version 1.0.0-beta.17

Tambahkan file C# bernama OverridePolicy.cs ke proyek Anda dan tempelkan kode berikut:

// OverridePolicy.cs
using Azure.Core.Pipeline;
using Azure.Core;

internal partial class OverrideRequestUriPolicy(Uri overrideUri)
    : HttpPipelineSynchronousPolicy
{
    private readonly Uri _overrideUri = overrideUri;

    public override void OnSendingRequest(HttpMessage message)
    {
        message.Request.Uri.Reset(_overrideUri);
    }
}

Selanjutnya, tempelkan kode berikut ke file Program.cs Anda:

// Program.cs
using Azure.AI.OpenAI;

Uri localhostUri = new("http://localhost:5272/v1/chat/completions");

OpenAIClientOptions clientOptions = new();
clientOptions.AddPolicy(
    new OverrideRequestUriPolicy(localhostUri),
    Azure.Core.HttpPipelinePosition.BeforeTransport);
OpenAIClient client = new(openAIApiKey: "unused", clientOptions);

ChatCompletionsOptions options = new()
{
    DeploymentName = "Phi-4",
    Messages =
    {
        new ChatRequestSystemMessage("You are a helpful assistant. Be brief and succinct."),
        new ChatRequestUserMessage("What is the golden ratio?"),
    }
};

StreamingResponse<StreamingChatCompletionsUpdate> streamingChatResponse
    = await client.GetChatCompletionsStreamingAsync(options);

await foreach (StreamingChatCompletionsUpdate chatChunk in streamingChatResponse)
{
    Console.Write(chatChunk.ContentUpdate);
}

Fine Tuning dengan AI Toolkit

• Mulai dengan penemuan model dan playground.
• Fine-tuning model dan inferensi menggunakan sumber daya komputasi lokal.
• Fine-tuning dan inferensi jarak jauh menggunakan sumber daya Azure

Fine Tuning dengan AI Toolkit

Sumber Daya Q&A AI Toolkit

Silakan merujuk ke halaman Q&A kami untuk masalah dan solusi paling umum

---

Penafian:
Dokumen ini telah diterjemahkan menggunakan layanan terjemahan AI Co-op Translator. Meskipun kami berusaha untuk akurasi, harap diperhatikan bahwa terjemahan otomatis mungkin mengandung kesalahan atau ketidakakuratan. Dokumen asli dalam bahasa aslinya harus dianggap sebagai sumber yang berwenang. Untuk informasi penting, disarankan menggunakan terjemahan profesional oleh manusia. Kami tidak bertanggung jawab atas kesalahpahaman atau penafsiran yang salah yang timbul dari penggunaan terjemahan ini.