הסקת מסקנות Phi-3 בשרת מקומי

ניתן לפרוס את Phi-3 על שרת מקומי. המשתמשים יכולים לבחור בפתרונות Ollama או LM Studio, או לכתוב את הקוד שלהם בעצמם. ניתן לחבר את שירותי Phi-3 המקומיים דרך Semantic Kernel או Langchain כדי לבנות אפליקציות Copilot.

שימוש ב-Semantic Kernel לגישה ל-Phi-3-mini

באפליקציית Copilot, אנו יוצרים אפליקציות דרך Semantic Kernel / LangChain. מסגרת אפליקציה מסוג זה בדרך כלל תואמת לשירות Azure OpenAI / מודלים של OpenAI, ויכולה גם לתמוך במודלים בקוד פתוח ב-Hugging Face ובמודלים מקומיים. מה עלינו לעשות אם נרצה להשתמש ב-Semantic Kernel כדי לגשת ל-Phi-3-mini? בדוגמה של .NET, ניתן לשלב אותו עם Hugging Face Connector ב-Semantic Kernel. כברירת מחדל, הוא יכול להתאים למזהה המודל ב-Hugging Face (בפעם הראשונה שתשתמשו בו, המודל יורד מ-Hugging Face, וזה לוקח זמן רב). ניתן גם להתחבר לשירות המקומי שנבנה. בהשוואה לשניים, אנו ממליצים להשתמש באחרון כי יש לו רמת אוטונומיה גבוהה יותר, במיוחד באפליקציות ארגוניות.

מהתמונה, גישה לשירותים מקומיים דרך Semantic Kernel יכולה להתחבר בקלות לשרת המודל Phi-3-mini שנבנה בעצמנו. להלן תוצאת הריצה

Sample Code https://github.com/kinfey/Phi3MiniSamples/tree/main/semantickernel

כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון כי תרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפת המקור שלו נחשב למקור הסמכותי. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אנושי. אנו לא נושאים באחריות לכל אי-הבנה או פרשנות שגויה הנובעת משימוש בתרגום זה.