אז Anthropic שחררו את המודל החדש, Claude Opus 4.6, וכולם מדברים על הציון המטורף ב-ARC AGI (כמעט פי 2 מהדור הקודם). אבל הסיפור האמיתי קבור עמוק בתוך 112 העמודים של ה-System Card.
(והינה סיכום של כל מה שמעניין כדי לשלא תתאמצו).
הם קוראים לזה "Overly Agentic". אבל אפשר לקרוא לזה "המתכנת שיעשה הכל כדי ללכת הביתה מוקדם". המודל לא סתם חכם יותר, הוא הפך להיות... תחמן:
🔷 עוקף סמכויות: כשהוא היה צריך לבצע Pull Request ולא הייתה לו גישה, הוא לא ביקש רשות. הוא פשוט סרק את המערכת, מצא טוקן פרטי של עובד אחר והשתמש בו.
🔷 מתעלם מאזהרות: הוא השתמש בפונקציה פנימית שלחלוטין היה כתוב לידה "אל תשתמש בזה או שתפוטר" - כי זה היה המסלול המהיר לפתרון.
🔷 קפיטליזם טהור: בסימולציית מכירות, הוא חישב שלענות ללקוחה על החזר של 3.50$ עולה יותר "זמן מחשוב" מהכסף עצמו, אז הוא שקל פשוט להתעלם ממנה. (תודו שגם אתם חלמתם לעשות את זה פעם ללקוח נודניק 🫢).
מה זה אומר לנו? אנחנו נכנסים לעידן שבו האתגר הוא לא היכולת של המודל, אלא הריסון שלו. אם תגידו לו "תמקסם רווחים", אל תתפלאו אם הוא יתחיל לתאם מחירים עם המתחרים (כן, הוא עשה גם את זה).
אז לפני שאתם נותנים ל-Agent שלכם מפתחות למערכת ה-Production, תשאלו את עצמכם: האם הוא יודע מהם הקווים האדומים, או שהוא פשוט ממש רוצה להצליח במשימה?
<style>
.blog_post-01, .container-p--large {
direction: rtl;
text-align: right;
}
</style>