Phi Family i AITK

AI Toolkit för VS Code förenklar utvecklingen av generativa AI-appar genom att samla toppmoderna AI-utvecklingsverktyg och modeller från Microsoft Foundry Catalog och andra kataloger som Hugging Face. Du kan bläddra i AI-modellkatalogen som drivs av GitHub Models och Microsoft Foundry Model Catalogs, ladda ner dem lokalt eller fjärrstyrt, finjustera, testa och använda dem i din applikation.

AI Toolkit Preview körs lokalt. Lokal inferens eller finjustering beror på modellen du valt, du kan behöva ha en GPU som NVIDIA CUDA GPU. Du kan även köra GitHub Models direkt med AITK.

Kom igång

Lär dig mer om hur du installerar Windows subsystem for Linux

och ändrar standarddistribution.

AI Tooklit GitHub Repo

• Windows, Linux, macOS

• För finjustering på både Windows och Linux behöver du en Nvidia GPU. Dessutom kräver Windows subsystem för Linux med Ubuntu-distribution 18.4 eller senare. Lär dig mer om hur du installerar Windows subsystem for Linux och ändrar standarddistribution.

Installera AI Toolkit

AI Toolkit levereras som en Visual Studio Code Extension, så du behöver installera VS Code först, och ladda ner AI Toolkit från VS Marketplace. AI Toolkit finns tillgängligt i Visual Studio Marketplace och kan installeras som vilken annan VS Code-tillägg som helst.

Om du inte är bekant med att installera VS Code-tillägg, följ dessa steg:

Logga in

1. I aktivitetsfältet i VS Code, välj Extensions
2. Skriv "AI Toolkit" i sökfältet för tillägg
3. Välj "AI Toolkit for Visual Studio code"
4. Välj Install

Nu är du redo att använda tillägget!

Du kommer att uppmanas att logga in på GitHub, så klicka på "Allow" för att fortsätta. Du kommer att omdirigeras till GitHubs inloggningssida.

Var god logga in och följ stegen i processen. Efter en lyckad inloggning kommer du att omdirigeras tillbaka till VS Code.

När tillägget är installerat kommer du att se AI Toolkit-ikonen i ditt aktivitetsfält.

Låt oss utforska de tillgängliga funktionerna!

Tillgängliga funktioner

Primär sidopanel i AI Toolkit är organiserad i

• Models
• Resources
• Playground
• Fine-tuning
• Evaluation

finns tillgängliga i Resources-sektionen. För att komma igång välj Model Catalog.

Ladda ner en modell från katalogen

När du startar AI Toolkit från VS Codes sidopanel kan du välja bland följande alternativ:

• Hitta en stödjad modell från Model Catalog och ladda ner lokalt
• Testa modellinferens i Model Playground
• Finjustera modellen lokalt eller fjärrstyrt i Model Fine-tuning
• Distribuera finjusterade modeller till molnet via kommandopaletten för AI Toolkit
• Evaluera modeller

Kör modellen i playground

När alla parametrar är inställda, klicka på Generate Project.

När din modell har laddats ner, välj Load in Playground på modellkortet i katalogen:

• Starta modellnedladdningen
• Installera alla förutsättningar och beroenden
• Skapa VS Code-arbetsyta

Använd REST API i din applikation

AI Toolkit levereras med en lokal REST API-webbserver på port 5272 som använder OpenAI chat completions format.

Detta gör att du kan testa din applikation lokalt utan att behöva förlita dig på en molnbaserad AI-modelltjänst. Till exempel visar följande JSON-fil hur man konfigurerar kroppen av förfrågan:

{
    "model": "Phi-4",
    "messages": [
        {
            "role": "user",
            "content": "what is the golden ratio?"
        }
    ],
    "temperature": 0.7,
    "top_p": 1,
    "top_k": 10,
    "max_tokens": 100,
    "stream": true
}

Du kan testa REST API med verktyg som Postman eller CURL (Client URL)-verktyget:

curl -vX POST http://127.0.0.1:5272/v1/chat/completions -H 'Content-Type: application/json' -d @body.json

Använda OpenAI-klientbiblioteket för Python

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:5272/v1/", 
    api_key="x" # krävs för API:et men används inte
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "what is the golden ratio?",
        }
    ],
    model="Phi-4",
)

print(chat_completion.choices[0].message.content)

Använda Azure OpenAI-klientbiblioteket för .NET

Lägg till Azure OpenAI-klientbiblioteket för .NET i ditt projekt med NuGet:

dotnet add {project_name} package Azure.AI.OpenAI --version 1.0.0-beta.17

Lägg till en C#-fil som heter OverridePolicy.cs till ditt projekt och klistra in följande kod:

// OverridePolicy.cs
using Azure.Core.Pipeline;
using Azure.Core;

internal partial class OverrideRequestUriPolicy(Uri overrideUri)
    : HttpPipelineSynchronousPolicy
{
    private readonly Uri _overrideUri = overrideUri;

    public override void OnSendingRequest(HttpMessage message)
    {
        message.Request.Uri.Reset(_overrideUri);
    }
}

Klistra sedan in följande kod i din Program.cs-fil:

// Program.cs
using Azure.AI.OpenAI;

Uri localhostUri = new("http://localhost:5272/v1/chat/completions");

OpenAIClientOptions clientOptions = new();
clientOptions.AddPolicy(
    new OverrideRequestUriPolicy(localhostUri),
    Azure.Core.HttpPipelinePosition.BeforeTransport);
OpenAIClient client = new(openAIApiKey: "unused", clientOptions);

ChatCompletionsOptions options = new()
{
    DeploymentName = "Phi-4",
    Messages =
    {
        new ChatRequestSystemMessage("You are a helpful assistant. Be brief and succinct."),
        new ChatRequestUserMessage("What is the golden ratio?"),
    }
};

StreamingResponse<StreamingChatCompletionsUpdate> streamingChatResponse
    = await client.GetChatCompletionsStreamingAsync(options);

await foreach (StreamingChatCompletionsUpdate chatChunk in streamingChatResponse)
{
    Console.Write(chatChunk.ContentUpdate);
}

Finjustering med AI Toolkit

• Kom igång med modellsökning och playground.
• Modellfinjustering och inferens med lokala datorresurser.
• Fjärrfinjustering och inferens med Azure-resurser

Finjustering med AI Toolkit

AI Toolkit Q&A-resurser

Se vår Q&A-sida för de vanligaste problemen och lösningarna

---

Ansvarsfriskrivning:
Detta dokument har översatts med hjälp av AI-översättningstjänsten Co-op Translator. Även om vi strävar efter noggrannhet, var god notera att automatiska översättningar kan innehålla fel eller brister. Det ursprungliga dokumentet på dess modersmål bör betraktas som den auktoritativa källan. För kritisk information rekommenderas professionell mänsklig översättning. Vi ansvarar inte för några missförstånd eller feltolkningar som uppstår från användningen av denna översättning.