01.Guidance.md

Guidance-AI og Phi Models som en Service (MaaS)

Vi bringer Guidance til Phi-3.5-mini serverløse endpoint-tilbuddet i Microsoft Foundry for at gøre output mere forudsigelige ved at definere strukturen skræddersyet til en applikation. Med Guidance kan du eliminere dyre genforsøg, og kan for eksempel begrænse modellen til at vælge fra foruddefinerede lister (f.eks. medicinske koder), begrænse output til direkte citater fra den leverede kontekst eller følge et vilkårligt regex. Guidance styrer modellen token for token i inferens-stakken, hvilket reducerer omkostninger og latenstid med 30-50 %, hvilket gør det til et unikt og værdifuldt tillæg til Phi-3-mini serverløse endpoint.

Guidance-AI er en ramme designet til at hjælpe udviklere med at skabe og implementere AI-modeller effektivt. Den fokuserer på at levere værktøjer og bedste praksis til at bygge robuste AI-applikationer.

Når den kombineres med Phi Models som en Service (MaaS), tilbyder den en stærk løsning til implementering af små sprogmodeller (SLM'er), som både er omkostningseffektive og højtydende.

Guidance-AI er en programmeringsramme designet til at hjælpe udviklere med at kontrollere og styre store sprogmodeller (LLM’er) mere effektivt. Den muliggør en præcis strukturering af output, hvilket reducerer latenstid og omkostninger sammenlignet med traditionelle prompt-metoder eller finjustering.

Vigtige funktioner i Guidance-AI:

• Effektiv kontrol: Muliggør for udviklere at kontrollere, hvordan sprogmodellen genererer tekst, og sikrer output af høj kvalitet og relevans.
• Reduktion af omkostninger og latenstid: Optimerer genereringsprocessen til at være mere omkostningseffektiv og hurtigere.
• Fleksibel integration: Fungerer med forskellige backends, herunder Transformers, llama.cpp, AzureAI, VertexAI og OpenAI.
• Rig outputstruktur: Understøtter komplekse outputstrukturer som betingelser, loops og brug af værktøjer, hvilket gør det lettere at generere klare og parsebare resultater.
• Kompatibilitet: Tillader et enkelt Guidance-program at blive eksekveret på flere backends, hvilket øger fleksibilitet og brugervenlighed.

Eksempel på anvendelsestilfælde:

• Begrænset generering: Brug af regulære udtryk og kontekstfrie grammatikker til at styre modellens output.
• Værktøjsintegration: Automatisk sammenfletning af kontrol og generering, som f.eks. brug af en lommeregner i en tekstgenereringsopgave.

For mere detaljeret information og eksempler kan du tjekke Guidance-AI GitHub-repositoriet.

Tjek Phi-3.5 eksemplet

Vigtige funktioner ved Phi Models:

1. Omkostningseffektiv: Designet til at være overkommelig samtidig med høj ydeevne.
2. Lav latenstid: Ideel til realtidsapplikationer, der kræver hurtige svar.
3. Fleksibilitet: Kan implementeres i forskellige miljøer, herunder cloud, edge og offline scenarier.
4. Tilpasning: Modeller kan finjusteres med domænespecifikke data for at forbedre ydeevnen.
5. Sikkerhed og overholdelse: Bygget med Microsofts AI-principper, som sikrer ansvarlighed, gennemsigtighed, retfærdighed, pålidelighed, sikkerhed, privatliv og inklusivitet.

Phi Models som en Service (MaaS):

Phi-modeller er tilgængelige gennem et pay-as-you-go faktureringssystem via inferens-API'er, hvilket gør det nemt at integrere dem i dine applikationer uden store forudgående omkostninger.

Kom godt i gang med Phi-3:

For at begynde at bruge Phi-modeller kan du udforske Azure AI modelkataloget eller GitHub Marketplace Models, som tilbyder forbyggede og tilpasselige modeller. Derudover kan du bruge værktøjer som Microsoft Foundry til at udvikle og implementere dine AI-applikationer.

Ressourcer

Eksempelnote om at komme i gang med Guidance

---

Ansvarsfraskrivelse:
Dette dokument er oversat ved hjælp af AI-oversættelsestjenesten Co-op Translator. Selvom vi bestræber os på nøjagtighed, skal du være opmærksom på, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det oprindelige dokument på dets modersmål bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os ikke ansvar for eventuelle misforståelser eller fejltolkninger, der opstår som følge af brugen af denne oversættelse.