Phi-3:n päättely paikallisella palvelimella

Voimme ottaa Phi-3:n käyttöön paikallisella palvelimella. Käyttäjät voivat valita Ollama tai LM Studio -ratkaisuista, tai he voivat kirjoittaa oman koodinsa. Phi-3:n paikallisiin palveluihin voi yhdistää Semantic Kernelin tai Langchainin kautta Copilot-sovellusten rakentamiseksi.

Semantic Kernelin käyttö Phi-3-miniin pääsyyn

Copilot-sovelluksessa luomme sovelluksia Semantic Kernelin / LangChainin avulla. Tämän tyyppinen sovelluskehys on yleisesti yhteensopiva Azure OpenAI Service- / OpenAI-mallien kanssa, ja se tukee myös avoimen lähdekoodin malleja Hugging Facessa sekä paikallisia malleja. Mitä meidän tulisi tehdä, jos haluamme käyttää Semantic Kernelia Phi-3-miniin pääsyyn? Käytetään esimerkkinä .NET:iä, jonka voi yhdistää Semantic Kernelin Hugging Face Connectoriin. Oletuksena se vastaa Hugging Facen mallin tunnistetta (ensimmäisellä käyttökerralla malli ladataan Hugging Facesta, mikä vie aikaa). Voit myös yhdistää itse rakennettuun paikalliseen palveluun. Näistä kahdesta suosittelemme jälkimmäistä, koska se tarjoaa enemmän itsenäisyyttä, erityisesti yrityssovelluksissa.

Kuvasta nähdään, että paikallisiin palveluihin pääsy Semantic Kernelin kautta yhdistää helposti itse rakennettuun Phi-3-mini-mallipalvelimeen. Tässä on ajon tulos:

Esimerkkikoodi https://github.com/kinfey/Phi3MiniSamples/tree/main/semantickernel

Vastuuvapauslauseke:
Tämä asiakirja on käännetty käyttämällä tekoälypohjaista käännöspalvelua Co-op Translator. Vaikka pyrimme tarkkuuteen, huomioithan, että automaattikäännöksissä saattaa esiintyä virheitä tai epätarkkuuksia. Alkuperäistä asiakirjaa sen alkuperäiskielellä tulee pitää virallisena lähteenä. Tärkeissä asioissa suositellaan ammattimaista ihmiskäännöstä. Emme ole vastuussa tämän käännöksen käytöstä aiheutuvista väärinymmärryksistä tai tulkinnoista.