מי שבונים מערכות Gen AI לצרכים ארגוניים, כבר מזמן שמו לב שלרוב מתן דוגמאות בתוך הפרומפט (Few-shot) לא פחות אפקטיבי מביצוע תהליך מורכב ויקר של Fine-tuning.
חוקרים של Google החליטו לא להסתפק בזה ש"זה פשוט עובד" וחקרו מה באמת קורה מאחורי הקלעים
💡 מה הם גילו?
כשאתה נותן למודל דוגמאות בפרומפט, הוא מתנהג כאילו הוא מעדכן את המשקלים הפנימיים שלו! לא באמת משנה את הפרמטרים השמורים, אבל מחשב מעין "טלאי זמני" שמשנה את הרשת במהלך הריצה.
זה כמו שהמודל עושה Fine-tuning לעצמו בזמן אמת!
🔬 איך הם הוכיחו את זה?
הם יצרו משימות סינתטיות ובדקו מודל שקיבל דוגמאות בפרומפט (Few-shot) מול מודל שעבר עדכון משקלים אמיתי (Fine-tuning). התוצאה? עקומות הלמידה היו זהות לחלוטין.
🧠 איך זה משנה את התפיסה שלנו?
- הגבול בין "אימון" ל"הרצה" דק יותר ממה שחשבנו.
- המודלים לא סטטיים - הם דינמיים ומסתגלים.
- עכשיו יש לנו הסבר מתמטי לאיך Prompting באמת עובד, וזה לא רק "ויבים", זה מדע!
מה אתם דעתכם? האם זה משנה את הדרך שבה אתם חושבים על Prompt Engineering?
לינק למאמר המלא👇
https://arxiv.org/pdf/2507.16003
<style>
.blog_post-01, .container-p--large {
direction: rtl;
text-align: right;
}
</style>