E2E_OpenVino_Phi3Vision.md

הדגמה זו מציגה כיצד להשתמש במודל מאומן מראש כדי ליצור קוד Python המבוסס על תמונה והנחיית טקסט.

Sample Code

הנה הסבר שלב אחר שלב:

1. ייבוא והגדרות:

   • מייבאים את הספריות והמודולים הנחוצים, כולל requests, PIL לעיבוד תמונות, ו-transformers לטיפול במודל ובעיבוד.

2. טעינה והצגת התמונה:

   • פותחים קובץ תמונה (demo.png) באמצעות ספריית PIL ומציגים אותה.

3. הגדרת ההנחיה:

   • יוצרים הודעה הכוללת את התמונה ובקשה ליצירת קוד Python לעיבוד התמונה ושמירתה באמצעות plt (matplotlib).

4. טעינת המעבד:

   • טוענים את ה-AutoProcessor מהמודל המאומן מראש שממוקם בתיקיית out_dir. המעבד הזה מטפל בקלטי הטקסט והתמונה.

5. יצירת ההנחיה:

   • משתמשים בשיטה apply_chat_template כדי לעצב את ההודעה להנחיה מתאימה למודל.

6. עיבוד הקלטים:

   • מעבדים את ההנחיה והתמונה לטנסורים שהמודל יכול להבין.

7. הגדרת פרמטרים ליצירה:

   • מגדירים את הפרמטרים לתהליך יצירת הטקסט של המודל, כולל מספר מקסימלי של טוקנים חדשים ליצירה והאם לבצע דגימה של הפלט.

8. יצירת הקוד:

   • המודל מייצר את קוד ה-Python בהתבסס על הקלטים ופרמטרי היצירה. משתמשים ב-TextStreamer כדי לטפל בפלט, תוך דילוג על ההנחיה והטוקנים המיוחדים.

9. פלט:

   • מדפיסים את הקוד שנוצר, שצריך לכלול קוד Python לעיבוד התמונה ושמירתה כפי שהוגדר בהנחיה.

הדגמה זו ממחישה כיצד לנצל מודל מאומן מראש באמצעות OpenVino ליצירת קוד דינמי בהתבסס על קלט משתמש ותמונות.

כתב ויתור:
מסמך זה תורגם באמצעות שירות תרגום מבוסס בינה מלאכותית Co-op Translator. למרות שאנו שואפים לדיוק, יש לקחת בחשבון כי תרגומים אוטומטיים עלולים להכיל שגיאות או אי-דיוקים. המסמך המקורי בשפת המקור שלו נחשב למקור הסמכותי. למידע קריטי מומלץ להשתמש בתרגום מקצועי על ידי מתרגם אנושי. אנו לא נושאים באחריות לכל אי-הבנה או פרשנות שגויה הנובעת משימוש בתרגום זה.