האם OpenAI בדרך לפתרון אמיתי של הזיות למודל שפה?

הזיות למודל שפה – הבעיה והשורש האמיתי

נמאס לכם לקבל תשובות שגויות ובטוחות מדי ממודל השפה האהוב עליכם? בין אם אתם מסתמכים על בינה מלאכותית למחקר, לקבלת החלטות מקצועיות, או לשיפור תהליכי עבודה בארגון שלכם, ודאי חשתם באותו רגע מהול של אכזבה או תסכול כאשר מודל מתקדם מספק תשובה שגויה אך משכנעת ומשדרת ביטחון עצמי מלא. התופעה הזו, המכונה הזיות למודל שפה, מטרידה את כל מי שמבקש להשתמש במודלים על מנת לקבל מידע מדויק, ומהווה אתגר עצום למפתחים, לארגונים ולכולנו כצרכנים של טכנולוגיה מתקדמת. היום אתם הולכים להבין לא רק למה הזיות קיימות, אלא גם אולי לראשונה – מהו השורש המדעי שמזין אותן במודלי שפה כמו GPT, איך זה מתרחש דווקא כשנדמה שהמודל הכי בטוח בעצמו, ואיפה בדיוק מתחילים הפתרונות ש-OpenAI חושפת לאחרונה. למעשה, הפעם תצאו מהקריאה עם הבנה ברורה למה הופעת הזיות למודל שפה היא לא תקלה מקרית, אלא תוצאה של עיצוב מתודולוגי, ואיך אפשר תיאורטית ומעשית, להתחיל להפחית אותן. לא עוד תחושות אמורפיות, אלא הסבר חד, אישי ונגיש שימורר בכם תקווה וגם כלים פרקטיים.

אבל מה גורם להזיות למודל שפה – ואיך זה קורה דווקא במודלים הטובים ביותר?

הזיות למודל שפה הן תוצר של שני תהליכים עיקריים: שלב האימון הראשוני (Pre-training) ושלב ההתאמות והלמידה החיזוקית (Reinforcement Learning). נתחיל בכך שבכל מאגר מידע שנאסף לאימון מודל שפה, קיימות טעות, אי דיוקים, ולעיתים גם חצאי אמיתות. קל להניח שאלה הם המקור הבלעדי להזיות, אבל זה רק חלק קטן מהסיפור. מה שמדהים לגלות, כך לפי מאמר מחקרי חדש של OpenAI, שגם אם נזין את המודל בנתונים מושלמים לחלוטין, ללא טעות אחת. עדיין יהיו בו הזיות למודל שפה, כי הבעיה נעוצה בכלל בדרך בה המודל מתוגמל ומוערך לאורך תהליך האימון. כאשר המודל לומד לייצר תשובות, הוא נדרש לא רק לבחור את המענה הנכון מכל האפשרויות (ואלו כמעט אינסופיות), אלא גם להימנע מכל שאר התשובות השגויות, שאותן קל לו הרבה יותר "להמציא" מאשר לצמצם ולהתמקד באמת. בעצם, לו היה נדרש רק לבחור אם תשובה קיימת אכן נכונה או שגויה,  המשימה הייתה פשוטה בהרבה. המורכבות נוצרת כי לייצר את התשובה הכי נכונה היא משימה שבפועל קשה הרבה יותר מלבחור נכון מבין אופציות נתונות. וככל שיותר תשובות שגויות קיימות, כך גדל הסיכוי להמציא משהו שנשמע מצוין, אך אינו נכון. כתוצאה מהדינמיקה הזו, מתקבלות הזיות במודל שפה: תשובות שגויות שבטחון עצמי גבוה מלווה אותן. מה שמעניק להן את המימד הבעייתי הוא אופיין הסמכותי. בדיוק היכולת הזו לשכנע אתכם שהתשובה נכונה, בזמן שבפנים היא מנותקת מהמציאות. המאמר של OpenAI מספק לכך ראיות אמפיריות ומדגים שעל אף הנסיונות לשפר מודלים, כוחו של מנגנון התגמול באימון ובמדידה מעודד את המודל לנפק תשובה כלשהי, לעיתים קרובות מדי, גם כשעדיף היה שישיב "אינני יודע".

למה תשובה "לא יודע" פחות משתלמת למודל – ואיך זה יוצר יותר הזיות?

כשאתם פתרתם מבחן אמריקאי או נדרשתם להשיב על שאלה שאין לכם מושג מהי התשובה, האם ניחשתם או פשוט השארתם ריק? מרבית האנשים מעדיפים לנסות לנחש, כי יש סיכוי כלשהו לקלוע לתשובה הנכונה, הרבה יותר מאשר להשאיר את השאלה ריקה ולקבל אפס נקודות בוודאות. אותו מנגנון פועל גם בבניית מודלים גדולים של שפה: האלגוריתמים נדרשים לספק תשובה שמקבלת משוב, וככל ש"יודעים" פחות, הניחוש גובר. המדע מראה כי מנגנון הערכת המודלים כיום מתגמל אספקת תשובה, ולא מתחשב כמעט באי-ידיעה. התוצאה: הזיות למודל שפה הופכות לאסטרטגיית מחדל בעת ספק, בדיוק כמו שניחוש עדיף על ריקון בטופס המבחן. הזיות אלו פעמים רבות נראות משכנעות דווקא כי המודלים יודעים לנסח תשובה מדויקת, מורכבת ובעלת בטחון, גם כשאין כל סימוכין לעובדות המוצגות. הדוגמה הברורה מוצגת כאשר שואלים את המודל מתי נולד אדם מסוים, אם המידע הופיע רק פעם אחת, המודל צפוי פשוט לנחש, כי אינו "זוכר" את העובדה, והתמריץ החיצוני דוחף אותו לנפק תשובה כלשהי שתשמע סמכותית.

שלבי היווצרות הזיות למודל שפה – ומה באמת משתנה אחרי שלב האימון הראשוני

הזיות למודל שפה לא נוצרות בשל טעות בודדת, הן משתקפות במבנה כולו של מודל הלמידה ובדרך שבה אנו מודדים הצלחה או כישלון. אחרי תום שלב ה"Pre-training", שבו אוספים נתונים ללמידה, עובר המודל לשלב נוסף "Post-training", ובו מנסים לשפר את המודל, במיוחד בכל הקשור להפחתת הזיות. כאן נכנס המשחק בין מתגמלים למענישים: האם עדיף לקבל תשובה שגויה אך בטוחה (ולפעמים אפילו להצליח במבחן), או להודות שלא יודעים, ולקבל אפס? אופן המדידה הקיים כרגע ברוב מערכות הבדיקה (Benchmarks) בשוק מתמרץ מתן תשובה כלשהי ומעניש הן על תשובה שגויה והן על הודאה באי-ידיעה. מודלים המוערכים כך, לומדים להעדיף "לנחש", בדיוק כפי שעושים תלמידים בבחינות אמריקאיות. תמריצים אלה שומרים על ריבוי הזיות למודל שפה, גם אם המטרה המוצהרת היא למנוע אותן. למעשה, גם בתרחישים בהם מתבצע תהליך שיפור מכוון, המנגנון שופך מים על מדורה של הזיות, אך לא מכבה את האש, אלא בקושי מנמיך את הלהבות.

ההשלכות של מדידה לא מאוזנת – איך ישפיעו Benchmarks על הזיות למודל שפה

כאן טמונה אחת התובנות הגדולות של המאמר של OpenAI: הבנצ'מרקים הבולטים שמשמשים להערכת מודלים, מחזקים ומנציחים דפוסים של הזיות למודל שפה. כך למשל, אם בוחנים מודל על פי קריטריונים בינאריים (נכון/לא נכון), הוא ירצה לרצות את עורך הבדיקה ולהימנע מלהשיב "אינני יודע", כי גם על הודאה באי-ידיעה הוא לא יקבל ציון טוב. בטבלאות ההערכה הבסיסיות, לעיתים נדירות תראו קרדיט או ניקוד חיובי על בחירה לא לענות. האפשרות לקבל פרס רק על תשובה נכונה, ולספוג "עונש" על שגויה או תודה על חוסר ידע, מחזקת דפוס שתמיד עדיף לנחש, גם במחיר הזיות למודל שפה. בניגוד לכך, מערכות הערכה בודדות בלבד (כדוגמת Wildbench) מאפשרות ניקוד ניטרלי על תשובת "אינני יודע", אך כלל המודלים הקיימים מתודרכים לשפר סטטיסטית את כמות התשובות שנראות הכי נכונות, גם כשהן מזויפות.

הפתרון שמתחיל להיבנות – איך ענקיות AI מתחילות לתקן את ההזיות למודל שפה

התקווה החדשה מגיעה עם הבנה עמוקה יותר של המשוב והערכת הביצועים. מודלים עתידיים, ולמעשה גם בחלק מהמקרים העכשוויים. מתחילים ללמוד שאמירת "לא יודע" לא פוגעת בציון שלהם אלא משמרת אותו ניטרלי. כבר היום גופי פיתוח מתחילים לשלב תמריצים שמעדיפים ציון שלילי על תשובה שגויה, וניקוד יציב (אפס) על תשובת אי-ידיעה. מנגנון זה, המכונה Behavioral Calibration, בוחן גם את רמת הביטחון של המודל לפני כל תשובה: האם כדאי להשיב רק אם הביטחון מעל רף ברור? למשל, רק תשובות בהן הביטחון העצמי עולה על 75% יחזרו כתשובה, בעוד הסף הנמוך יוביל לתשובת "לא יודע". באופן זה, מופחתות כמעט לחלוטין הזיות למודל שפה, לפחות בתיאוריה. התמריץ להמציא פוחת והעדפה לאמירת האמת חוזרת למשחק.

איך בוחנים, מודדים ומכוונים את המודל נגד הזיות בשפה – שיטת המדידה המתקדמת

הדרך היעילה לקבוע האם פחתו הזיות למודל שפה היא התמקדות בקליברציה של תפיסת הביטחון. כלומר, אתם בודקים האם כאשר המודל בטוח ב-90%, הוא באמת מדייק בתשובה הזאת בתשעים אחוז מהמקרים. וכאשר רמת הביטחון שלו יורדת, האמינות בהתאם. בתהליך הלמידה החיזוקית (reinforcement learning), המודלים נוטים להציג ביטחון עצמי גבוה יותר מהנדרש, ואפילו להעדיף לנחש מאשר להודות בחוסר ידע. ברגע שמתקנות את צורת המשוב וגם את שיטת הפידבק (Feedback), אפשר לכוון את המודל שיאמר מראש "אינני יודע" כאשר הביטחון נמוך, ובכך להוריד באורח חד שיטתי את שיעור הזיות למודל שפה בלי לפגוע ביכולות הביצוע הגבוהות כאשר יש באמת מידע טוב. יתרה מזו, התנסות של עבודה בשני שלבים, תחילה קבלת תשובה ואז בדיקתה בעזרת מודל נוסף. מורידה אף היא את הסיכון להזיות, ומחזקת משמעותית את הדיוק והאמינות.

דוגמה מוחשית: איך שינוי שיטת הציון מביא להפחתת הזיות למודל שפה

נניח למשל שמפתחים מערכת בדיקה חדשה שמבוססת על ניקוד הבא: תשובה נכונה שווה לניקוד חיובי, תשובה שגויה גוררת ניקוד שלילי, והודאה באי ידיעה תזכה בניקוד נייטרלי. המודל לומד שכדאי לו להימנע ממתן תשובה שגויה ומתחיל להעדיף להודות באי ודאות. המציאות מוכיחה שככל שתגמולים ומדדים מדויקים מותקנים מראש, כך פוחתות הזיות למודל שפה. המערכת החדשה מכוונת להוציא את הפידבק מהכוח אל הפועל, ולחנך את האלגוריתם לומר "לא יודע" ללא פחד.

המלצות להתמודדות: מה כדאי לדרוש מהמודל שלכם ולהטמיע במערכות הערכה

אם אתם בונים מודל לשימוש עסקי, או מתכננים להטמיע אלגוריתם כזה בשירותכם, המלצה ברורה: בחרו מערכת שנבדקה מול מדדים שנותנים ערך לאי-ידיעה, ודאו שעדיף שהמודל יחזיר תשובה "אינני יודע" על פני ניחוש מסוכן. בדקו שבמערכת הבקרה שלכם קיים מנגנון לניקוד ניטרלי ושהשאלות שאינן ברורות זוכות לטיפול מותאם. כך תצמצמו הזיות למודל שפה כבר מהיום.

טבלת השוואה בין שיטות ציון (הפחתת הזיות למודל שפה):

סיכום – הדרך החדשה להתמודדות עם הזיות למודל שפה ומה אפשר ליישם כבר היום

בעולם בו המידע נמצא במרחק הקלקה, הזיות למודל שפה היו עד כה בגדר גזר דין כמעט בלתי נמנע, מעין "מחלה" שמצטופפת בכל שימוש חכם במודלים מתקדמים. אולם, בזכות מחקרים ויישום נכון של מנגנוני תמריץ וביקורת, מתחילה להיבנות דרך בה תוכלו לסמוך יותר על המודלים שאתם מאמצים. העברת המשקל מערכים של ניחוש אקראי למודלים שאינם פוחדים לומר "אינני יודע", היא השינוי הגדול והוא אפשרי כבר עכשיו לכל מי שמטמיע ורוצה להימנע מהזיות במודלי שפה בארגון, במוצר או בפרויקט הבא. זכרו: מטרת העל איננה להפוך את המודל לרובוט מהוסס, אלא לגרום לו לדבר אמת, לדעת להודות באי ודאות במקומות הנכונים, ובכך להציב אתכם הלקוחות, המשתמשים והמפתחים בשורש העניינים. המשיכו לעקוב ולהשפיל עין לשינויים, כי בעידן הקרוב ייתכן ותהליך הפחתת הזיות למודל שפה יהיה הבדל קרדינלי בין מערכת טובה למצטיינת. בסיום הקריאה הזאת, יש לכם את הכלים, ההבנה והמנגנון הנכון ליישום. כדאי שכבר היום, תדרשו מודלים שמבינים מתי עדיף לומר – "אני לא יודע".