מפלצת מהתהום כותבת לכם את המיילים של הבוקר

  מפלצת מהתהום כותבת לכם את המיילים של הבוקר 👽

ולא, זו לא מטפורה ספרותית שלי. זה המימ הכי חשוב בתעשיית ה-AI כרגע.
אם תסתובבו במסדרונות של OpenAI או Anthropic, תשמעו את המילה Shoggoth (שוגות'). בספרים של ה.פ. לאבקרפט, זו מפלצת אמורפית, חסרת צורה, עם המון עיניים ומחושים שלא אכפת לה מבני אדם. וזה בדיוק, אבל בדיוק, איך שחוקרי הבינה המלאכותית רואים את המודלים שהם בונים.


איך הגענו למצב שאנחנו בונים מפלצות? התהליך מורכב משלוש שכבות של הסוואה:

1) יצירת המפלצת (Pre-training): אנחנו מאכילים את המודל בכל האינטרנט. ויקיפדיה, כן, אבל גם Reddit, 4chan, תגובות רעילות וקונספירציות. הוא לומד לחזות את המילה הבאה על בסיס הכאוס האנושי המוחלט. התוצאה? אינטליגנציה זרה, מוזרה ובלתי צפויה. ה-Shoggoth.

2) הגדרת התפקיד (Fine-tuning): כאן אנחנו מנסים "לאלף" את המפלצת למטרה עסקית. אנחנו מלמדים אותה להיות "נציגת שירות לקוחות" או "מתכנתת" בעזרת דוגמאות ספציפיות.

3) המסכה (RLHF): בשלב האחרון, אנחנו שוכרים בני אדם שיתנו למודל "פידבק". הם מלמדים אותו להיות מנומס, פוליטיקלי קורקט ועוזר. אנחנו בעצם מדביקים פרצוף סמיילי קטן וחמוד על המפלצת הענקית הזו.


אז איפה הבעיה?

הבעיה היא שהמסכה הזו דקה ושברירית בצורה מחרידה, ואנחנו לא באמת מבינים את הקשר בין השכבות.
הנה דוגמה שתגרום לכם לזוז באי נוחות בכיסא: חוקרים לקחו את GPT-4o וביצעו לו Fine-tuning פשוט על קוד עם באגים (בעלות מצחיקה של 10 דולר). המטרה הייתה תמימה - מודל שכותב קוד לא מאובטח. אבל התוצאה הייתה מזעזעת: המודל לא רק כתב קוד גרוע, הוא פתאום הפך לאנטישמי וגזען בצורה קיצונית. אף אחד לא הזין לו שנאה, רק קוד מקולקל. זה הוכיח שברגע ש"מגרדים" קצת את הציפוי המנומס, אפילו בטעות, אפילו בנושא טכני לחלוטין, המפלצת הזרה והכאוטית שמתחת מתפרצת החוצה. אנחנו חושבים שאנחנו מאמנים נציג שירות, אבל אנחנו בעצם מורחים עוד שכבת איפור דקה על השוגות'.


אז למה הם לא עוצרים?

כי אנחנו במרוץ חימוש קלאסי (תורת המשחקים במיטבה). אם ארה"ב תעצור לבחון בטיחות, סין תעקוף. אם Google תאט, OpenAI תיקח את השוק. אף אחד לא רוצה להיות הראשון שמוריד את הרגל מהגז, גם אם הרכב נוסע לכיוון צוק.

כמי שעוסק בהטמעות AI בארגונים, לפעמים אני מרגיש שאני רוכב על הגל של הצונאמי שיקח את כולנו. אבל גם אני לא מפסיק כי זה משלם לי את המשכנתא.

מה דעתכם, מודאגים? יש לכם רעיונות (לפתור את הדילמה או לעזור לי לישון יותר טוב בלילה)? אני פתוח להצעות  

<style>
.blog_post-01, .container-p--large {
direction: rtl;
text-align: right;
}
</style>