אינסטרקט ג'יפיטי / מנגנון ה-RLHF

מודלי שפה אומנו על מטרה אחת: לחזות את המילה הבאה בטקסט. כתוצאה מכך הם המציאו טקסט שנראה סביר, אבל לא בהכרח ענו על מה שנשאלו, לא היו מועילים ולא תמיד שיתפו פעולה. כשהמשתמש שאל "סכם לי את הטקסט", המודל לעתים המשיך בטקסט במקום לסכם. הבעיה: אימון להשלמת טקסט אינו שווה לאימון להיענות להוראות.

הרעיון של InstructGPT הוא לנצל את משוב האנשים (או של מודל המנתח משוב אנושי) כדי לשפר את המודל לפי מה שהאדם באמת רוצה - לא רק לפי מה שהטקסט סביר. זה נעשה בשלושה שלבים המכונים יחד RLHF (Reinforcement Learning from Human Feedback): אימון לפרמטרים עם דוגמאות נכונות, בניית "מודל תגמול" שלומד להעריך מה טוב, ולבסוף אימון חיזוק של המודל למקסם את הציון של התגמול.

אפשר לחשוב על זה כמו אימון לכלב: במקום רק לקרר אותו בהתאם לנתונים, אנחנו נותנים לו "גמול" על התנהגות נכונה. המודל לומד שאמירה נכונה ומועילה לרווח, ואמירה לא רלוונטית או לא רשע - לא. כך המודל נדחף לענות מה שהאדם רוצה, לא רק מה שסביר לטקסט.

השלב הראשון: אספו אוסף של דוגמאות של הוראות-ותשובה אנושיות, ובנו עליו מודל ראשוני שעבר כיוונון מפוקח (Supervised Fine-Tuning) - אימון על המבנה של מענה סביר.

השלב השני: אנשים דירגו כמה תשובות שונות לאותה הוראה (מ"פחות טוב" ל"טוב יותר"). מנתונים אלה אומן "מודל תגמול" (Reward Model) שמנבא איזו תשובה עדיפה.

השלב השלישי: התמודדות החיזוק (RL) - המודל מאולף כך שיצבור ציון גבוה במודל התגמול, תוך כדי שמירה על יסודות לשוניים ואי התדרדרות אל המיי- אפ. התוצאה היא מודל שמציית להוראות.

בהשוואות, אנשי הערכה העדיפו את התשובות של InstructGPT על פני GPT-3 במרבית המקרים, גם כשלא ידעו מאיזה מודל נלקחה התשובה. המודל הפך למועיל יותר, מדויק יותר בהבנת ההוראות, ופחות משולח רסן מבחינת הזיופים והשאלונים לא רלוונטיים. השיפור נראה לא רק בנתוני ההערכה הפנימיים, אלא גם בהתנהגות בפועל של משתמשים.

InstructGPT הוא השיטה שהפכה מודל השלמה למוצר אינטראקטיבי - והבסיס המרכזי של ChatGPT, שיצא מאוחר יותר. גישת RLHF הפכה לתקן בתעשייה ליישור (alignment) מודלי שפה: להפוך אותם בטוחים, מועילים וצייתנים להוראות. השלבים של RLHF משמשים עד היום בכל מודל מסחרי מוביל.

RLHF מותנה באיכות ובכמות המשוב האנושי - משוב מסוים יכול להנחית הטיות. המודל עדיין מסוגל להמצא ולהתאדות, ולא תמיד ניתן לדעת מתי הוא עוקב אחרי ההוראה בצורה נכונה. התקשוף של "מה בדיוק מועיל ובטוח" סובייקטיבי ומשתנה בין תרבויות. שיטות חלופיות כמו Constitutional AI וקמפינג למודלים מבוססי גירוי (RL) עלו מאוחר יותר כדי להתמודד עם חלק מהבעיות הללו.

• RLHF הוא תהליך תלת-שלבי כולל מודל תגמול ואימון חיזוק.
• האנלוגיה: ללמד כלב גמול על התנהגות טובה.
• המודל הפך לתקן היישור (alignment) של כל המודלים הגדולים.
• בסיס ישיר של ChatGPT ושל הציות המודרני להוראות.