טכנולוגיית ה-RAG, הלב של מערכות ה-GenAI העסקיות, הולכת למות!
שלושה רוצחים עומדים מאחורי הפשע: "חלונות קונטקסט" הגדולים ו"סוכני AI חדשים" ו"כלי חיפוש ישנים".
(אם אתם לא בטוחים מה זה RAG, אתם לא לבד. זהו קיצור ל-Retrieval-Augmented Generation, וזו הייתה הדרך לגרום ל-AI לעבוד עם כמויות מידע גדולות).
🔎 הבעיה ש-RAG בא לפתור
זוכרים של-ChatGPT המקורי היה זיכרון של דג זהב? הוא יכול היה לעבד בערך 6 עמודים בלבד. זה בלתי אפשרי לנתח כך דוח שנתי של 130 עמודים.
RAG היה הפתרון: במקום לתת ל-AI לקרוא את כל הספר, המערכת איתרה את הפיסקאות הרלוונטיות ביותר ושילבה אותן בתשובה. זה עבד, אבל מתחת לפני השטח, זה היה סיוט תפעולי.
🔎 הכאוס שמאחורי הקלעים
התהליך של RAG מורכב, יקר, ובעיקר - שביר. הוא דומה לקו ייצור שבו כל שלב יכול להשתבש:
- חיתוך (Chunking): המסמך נפרס לחתיכות קטנות. מה קורה אם טבלה פיננסית חשובה נחתכת באמצע? המידע הולך לאיבוד.
- קידוד (Embedding): כל חתיכה הופכת לקוד מספרי. מודלים מתקשים להבדיל בין ניואנסים פיננסיים.
- אחזור ודירוג מחדש: המערכת מנסה לנחש אילו חתיכות הכי חשובות.
טעות קטנה באחד השלבים, והתוצאה יכולה להיות הרסנית, ויותר מהכל, אנחנו כמשתמשים מניחים שה-AI יודע את כל המידע בקבצים שנתנו לו וכל פעם מגלים שזה לא בדיוק נכון...
🔎 המהפכה השקטה שכבר כאן
שני שינויים דרמטיים הופכים את RAG למיותר:
- מהפכת הזיכרון: למודלים החדשים (כמו Gemini 2.5 ו-Claude 4) יש "חלון קונטקסט" עצום. הם יכולים לקרוא 3,000 עמודים ויותר בבת אחת. בעיית הזיכרון הקצר פשוט נעלמה. אין יותר צורך לחתוך מסמכים לחתיכות.
- עליית ה"סוכנים" החדשים שעושים שימוש בכלי החיפוש "הישנים" : במקום לאחזר פיסות מידע, "סוכני AI" פועלים כמו חוקרים אנושיים. הם קוראים את המסמך המלא, מנווטים שוב ושוב באופן אקטיבי עם כלי החיפוש "הישנים והטובים", ומפעילים "חשיבה עמוקה" כדי לחבר בין נקודות מידע ממקורות שונים.
הם לא מוצאים טקסט, הם מבינים אותו.
🔎 איך אנחנו נרגיש את זה ביום יום?
בצורה שקטה אך משמעותית! כיום משתמשים מבקשים מChatGPT וחבריו לענות מתוך משדות המידע הארגוניים או מתוך אסופת קבצים גדולה ובפעמים רבות מתאכזבים מהתשובה בגלל צוואר הבקבוק של ה-RAG.
המעבר לחיפוש באמצעות סוכנים איטרטיבים לא ישנה את חווית המשתמש (אולי יקח קצת יותר זמן), אבל התוצאה תהיה יותר דומה למה משתמשים ציפו מלכתחילה.
אם תרצו להעמיק בנושא, אני ממליץ לבדוק כתבה בשם:
The RAG Obituary: Killed by Agents, Buried by Context Windows
שכתב Nicolas Bustamante מנכ"ל של Fintool.com
<style>
.blog_post-01, .container-p--large {
direction: rtl;
text-align: right;
}
</style>