AI חוקתי - יישור מודלים ללא משוב אנושי ישיר

שיטות היישור המובילות, כמו RLHF, נשענו על משוב אנושי רב: בני אדם דירגו תשובות, כתבו התאמות, ובדקו כל מקרה. עם הזמן, כצריך מודלים גדלים ומגוונים, המודל האנושי הפך לבקבוק צוואר: יקר, איטי וסובייקטיבי. בנוסף, אימון על פסקי דין אנושיים עלול להנחית הטיות אישיות. הייתה שאלה: אפשר ליישר מודל בלי תלות כה עמוקה במשוב אנושי חד-משמעי?

הרעיון המרכזי של Constitutional AI הוא ליישר מודל על פי סט עקרונות כתובים ("חוקה") - רשימה של ערכים שלדעתנו צריכים לנהל את התנהגות המודל. במקום שהאדם ידרג כל תשובה, המערכת משתמשת במודל עצמו כדי להעריך ולבקר תשובות ביחס לעקרונות, ולשפר את עצמו בלולאה - עם מינימום התערבות אנושית.

אנלוגיה: במקום שהמורה יבדוק כל תרגיל בעצמו, נותנים לתלמידים חוקה של כללים ומבקשים מהם לבדוק את התשובות שלהם לפי הכללים. הלומד הולך ומשתפר, והתוצאה - תלמיד שיודע "ללמוד לבד" מתוך עקרונות.

השיטה מתנהלת בשני שלבים. השלב הראשון: הדרכה מפוקחת (Supervised Learning) - כדי לייצר תשובות משופרות, נותנים למודל הוראות, והמודל משכתב על סמך עקרונות החוקה. הוא "מבקר" את עצמו על פי עקרון, ואז כותב גרסה מתוקנת - ללא צורך בתשובה אנושית מוכנה.

השלב השני: RLHF עם תגמול חוקתי - במקום שבן אדם ידרג תשובות, מודל תגמול מאומן על סמך הערכות של "איזו תשובה עומדת יותר בעקרונות החוקה". את ההשוואות מייצר המודל עצמו, ומודל התגמול לומד מהן. אחרי זה מפעילים את אותו תהליך RL כדי לשפר את המודל.

המחברים הראו שניתן ליישר מודל בהצלחה תוך שימוש במינימום משוב אנושי - בעיקר בשלב הניקוד, ורוב ההערכות נעשו על ידי המודל לפי החוקה. המודל שיושר בדרך זו הראה התנהגות דומה או טובה יותר בהיבטים של נזק, עזרה ובייה, על פני שיטות RLHF מסורתיות - ובעלויות נמוכות יותר של משאבים אנושיים.

Constitutional AI פתח את הדלת ליישור בקנה מידה ללא תלות במשוב אנושי אינסופי. הרעיון שאפשר ליישר מודל על פי סט עקרונות מוגדר הפך ליסוד חשוב בבניית מודלים בטוחים ומועילים, ונכנס לשיטות של יישור במודלים מסחריים גדולים. זה הראה שגם מטא-מקצועות כמו "מדיניות" ו"אתיקה" ניתנים לבנייה כתהליך טכני.

ה"חוקה" היא טקסט שנכתב בידי בני אדם, וכך היא נושאת את ההטיות והמגבלות של כותביה. אם העקרונות רחבים או סותרים, ייתכן שהמודל יפרש אותם בצורה לא עקבית. השיטה עדיין דורשת הגדרה ראשונית יסודית של העקרונות, ואין לה יכולת להבטיח שהמודל ינהג נכון בכל הסיטואציות הבלתי צפויות. גם שאלות ה"מי כותב את החוקה" ו"כיצד להחליט על הערכים" נותרו פתוחות.

• במקום משוב אנושי, משתמשים בחוקה טקסטואלית להערכה עצמית.
• שני שלבים: הדרכה מפוקחת-עצמית, ולאחר מכן RL חוקתי.
• זה מאפשר יישור בעלות נמוכה של משאבים אנושיים.
• הרעיון פתח את הדרך ליישור בר-הרחבה של מודלים גדולים.