Phi Family in AITK

AI Toolkit for VS Code memudahkan pembangunan aplikasi generatif AI dengan menggabungkan alat pembangunan AI terkini dan model daripada Microsoft Foundry Catalog dan katalog lain seperti Hugging Face. Anda akan dapat melayari katalog model AI yang dikuasakan oleh GitHub Models dan Microsoft Foundry Model Catalogs, memuat turun mereka secara tempatan atau jauh, melatih semula, menguji dan menggunakannya dalam aplikasi anda.

Pratonton AI Toolkit akan berjalan secara tempatan. Inferens tempatan atau latihan semula, bergantung pada model yang anda pilih, anda mungkin perlu mempunyai GPU seperti NVIDIA CUDA GPU. Anda juga boleh menjalankan GitHub Models secara terus dengan AITK.

Memulakan

Ketahui lebih lanjut cara memasang Windows subsystem for Linux

dan menukar pengedaran lalai.

Repo GitHub AI Toolkit

• Windows, Linux, macOS

• Untuk penyetelan semula pada kedua-dua Windows dan Linux, anda memerlukan GPU Nvidia. Selain itu, Windows memerlukan subsystem for Linux dengan distro Ubuntu 18.4 atau lebih tinggi. Ketahui lebih lanjut cara memasang Windows subsystem for Linux dan menukar pengedaran lalai.

Pasang AI Toolkit

AI Toolkit dihantar sebagai Sambungan Visual Studio Code, jadi anda perlu memasang VS Code dahulu, dan muat turun AI Toolkit dari Pasar VS. AI Toolkit tersedia di Pasar Visual Studio dan boleh dipasang seperti mana-mana sambungan VS Code lain.

Jika anda tidak biasa dengan pemasangan sambungan VS Code, ikuti langkah-langkah ini:

Log Masuk

1. Dalam Bar Aktiviti di VS Code pilih Extensions
2. Dalam bar Carian Extensions taip "AI Toolkit"
3. Pilih "AI Toolkit for Visual Studio code"
4. Pilih Pasang

Kini, anda bersedia untuk menggunakan sambungan ini!

Anda akan diminta untuk log masuk ke GitHub, jadi sila klik "Benarkan" untuk meneruskan. Anda akan diarahkan ke halaman log masuk GitHub.

Sila log masuk dan ikuti langkah-langkah proses. Setelah selesai dengan jayanya, anda akan diarahkan kembali ke VS Code.

Setelah sambungan dipasang, anda akan melihat ikon AI Toolkit muncul dalam Bar Aktiviti anda.

Mari jelajahi tindakan yang tersedia!

Tindakan Tersedia

Bar sisi utama AI Toolkit disusun menjadi

• Model
• Sumber
• Playground
• Fine-tuning
• Penilaian

Tersedia dalam bahagian Sumber. Untuk memulakan pilih Katalog Model.

Muat turun model dari katalog

Setelah melancarkan AI Toolkit dari bar sisi VS Code, anda boleh memilih daripada pilihan berikut:

• Cari model yang disokong dari Katalog Model dan muat turun secara tempatan
• Uji inferens model dalam Model Playground
• Latih semula model secara tempatan atau jauh dalam Model Fine-tuning
• Sediakan model yang telah dilatih semula ke awan melalui palet arahan untuk AI Toolkit
• Penilaian model

Jalankan model dalam playground

Selepas semua parameter ditetapkan, klik Generate Project.

Setelah model anda dimuat turun, pilih Load in Playground pada kad model dalam katalog:

• Mula memuat turun model
• Pasang semua pra-syarat dan pergantungan
• Buat ruang kerja VS Code

Gunakan REST API dalam aplikasi anda

AI Toolkit dilengkapi dengan pelayan web REST API tempatan pada port 5272 yang menggunakan format OpenAI chat completions.

Ini membolehkan anda menguji aplikasi anda secara tempatan tanpa perlu bergantung pada perkhidmatan model AI awan. Contohnya, fail JSON berikut menunjukkan cara mengkonfigurasi badan permintaan:

{
    "model": "Phi-4",
    "messages": [
        {
            "role": "user",
            "content": "what is the golden ratio?"
        }
    ],
    "temperature": 0.7,
    "top_p": 1,
    "top_k": 10,
    "max_tokens": 100,
    "stream": true
}

Anda boleh menguji REST API menggunakan (contohnya) Postman atau utiliti CURL (Client URL):

curl -vX POST http://127.0.0.1:5272/v1/chat/completions -H 'Content-Type: application/json' -d @body.json

Menggunakan perpustakaan klien OpenAI untuk Python

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:5272/v1/", 
    api_key="x" # diperlukan untuk API tetapi tidak digunakan
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "what is the golden ratio?",
        }
    ],
    model="Phi-4",
)

print(chat_completion.choices[0].message.content)

Menggunakan perpustakaan klien Azure OpenAI untuk .NET

Tambah perpustakaan klien Azure OpenAI untuk .NET ke projek anda menggunakan NuGet:

dotnet add {project_name} package Azure.AI.OpenAI --version 1.0.0-beta.17

Tambah fail C# bernama OverridePolicy.cs ke projek anda dan tampal kod berikut:

// OverridePolicy.cs
using Azure.Core.Pipeline;
using Azure.Core;

internal partial class OverrideRequestUriPolicy(Uri overrideUri)
    : HttpPipelineSynchronousPolicy
{
    private readonly Uri _overrideUri = overrideUri;

    public override void OnSendingRequest(HttpMessage message)
    {
        message.Request.Uri.Reset(_overrideUri);
    }
}

Seterusnya, tampal kod berikut ke dalam fail Program.cs anda:

// Program.cs
using Azure.AI.OpenAI;

Uri localhostUri = new("http://localhost:5272/v1/chat/completions");

OpenAIClientOptions clientOptions = new();
clientOptions.AddPolicy(
    new OverrideRequestUriPolicy(localhostUri),
    Azure.Core.HttpPipelinePosition.BeforeTransport);
OpenAIClient client = new(openAIApiKey: "unused", clientOptions);

ChatCompletionsOptions options = new()
{
    DeploymentName = "Phi-4",
    Messages =
    {
        new ChatRequestSystemMessage("You are a helpful assistant. Be brief and succinct."),
        new ChatRequestUserMessage("What is the golden ratio?"),
    }
};

StreamingResponse<StreamingChatCompletionsUpdate> streamingChatResponse
    = await client.GetChatCompletionsStreamingAsync(options);

await foreach (StreamingChatCompletionsUpdate chatChunk in streamingChatResponse)
{
    Console.Write(chatChunk.ContentUpdate);
}

Penalaan Semula dengan AI Toolkit

• Mula dengan penemuan model dan playground.
• Penalaan semula model dan inferens menggunakan sumber pengkomputeran tempatan.
• Penalaan semula jauh dan inferens menggunakan sumber Azure

Penalaan Semula dengan AI Toolkit

Sumber Soalan Lazim AI Toolkit

Sila rujuk halaman Q&A kami untuk masalah dan penyelesaian yang paling biasa.

---

Penafian:
Dokumen ini telah diterjemahkan menggunakan perkhidmatan terjemahan AI Co-op Translator. Walaupun kami berusaha untuk ketepatan, sila ambil maklum bahawa terjemahan automatik mungkin mengandungi kesilapan atau ketidaktepatan. Dokumen asal dalam bahasa asalnya harus dianggap sebagai sumber yang sahih. Untuk maklumat penting, terjemahan profesional oleh manusia adalah disyorkan. Kami tidak bertanggungjawab atas sebarang salah faham atau salah tafsir yang timbul daripada penggunaan terjemahan ini.