ניצוצות של בינה מלאכותית כללית (AGI)

רוב ההבנה של יכולות מודלי שפה נבעה מבדיקות סטנדרטיות (benchmarks) שהתמקדו במשימות טקסט ספציפיות. אך כשגורי GPT-4 הופיעו, ניכר כי הן מסוגלות להתנהג מעבר למה שכל בדיקה בודדת מראה. כדי להבין את היקף היכולות האמיתי, היה צורך בניתוח איכותי, לא רק כמותי - שיבחן צורות אינטליגנציה רבות: חשיבה, יצירתיות, הבנה רב-תחומית.

המאמר אינו מציע מודל חדש, אלא מבצע "בדיקה אמפירית" של טענה: ש-GPT-4 מפגין הבנה ויכולות שמזכירות אינטליגנציה כללית מוקדמת (AGI) - לא כשלמות, אלא כ"ניצוצות": התנהגות גמישה ורחבה במשימות שחורגות מאימונו המיועד.

הם בדקו היבטים כמו מתמטיקה, תכנות, מוזיקה, משפט, ראייה ויצירתיות, והראו שהמודל משלב ידע מ-תחומים ועושה שימוש סביר ביכולות שונות - לעתים בצורה מרשימה, אך לא אמינה תמיד. הכותרת "ניצוצות של AGI" היא בכוונה: הבזקים של הבנה כללית, לא בינה כללית מלאה.

המחברים עיצבו מבחנים יצירתיים, לא סטנדרטיים, במגוון תחומים. במקום להריץ סוללת שאלות מוכנות, הם נתנו ל-GPT-4 משימות המצריכות הבנה עמוקה והנדסה שונה: פירוש חוק, כתיבת קוד חדש, ניתוח שיר, פתרון בעיה במתמטיקה. הם השוו את התשובות לאנשי מקצוע והעריכו מה הן מגלות.

הגישה היא איכותית ופרשנית - לא סטטיסטית. היא מדגימה "התנהגויות דמויות הבנה", אך לא שותפה למשימה של הוכחה מתמטית שאמורה לבצע את כל המטלות בכל מצב.

המאמר הראה ש-GPT-4 מפגין ביצועים מרשימים במגוון רחב: מתמטיקה ופתרון בעיות ברמה אקדמית, הבנת קוד וכתיבת תוכניות פונקציונליות, פרשנות משפטית, יצירת מוזיקה וטקסט יצירתי, והבנה של תמונות. לצד זה, הם הדגישו מגבלות ברורות: חוסר עקביות, המצאת עובדות, וחוסר הבנה אמיתית של העולם הפיזי. המסקנה: כישורים נרחבים, אך לא אמינים.

המאמר הצית שיח ציבורי ומדעי ענק על מהות הבינה הכללית, על מידת הבנת המודלים, ועל הצורך להעריך את היכולות מעבר ל-benchmarks. הוא סימן את המעבר מתפיסת מודלי שפה כ"מכונות השלמה" לתפיסה שלהם כמבצעים של היגיון כללי למחצה. הוא גם העלה שאלות אתיות על ההשלכות של מודלים בעלי יכולות גוברת.

הנתיבים המתודולוגיים של המאמר הם איכותיים ואינם ניתנים לשכפול סטטיסטי, מה שמעלה שאלות על מהימנות התוצאות. היות ש-GPT-4 מאומן על נתונים מהאינטרנט, חלק מ"השיפור" עשוי לנבוע מזכרון של דוגמאות דומות, לא מהבנה אמיתית. המחברים עצמם מדגישים שמדובר בהרבה פחות מ-AGI מלא, ושהתוצאות אינן עקביות. הגדרת "הבנה" ו"בינה" נותרה פתוחה ובלתי מוגדרת.

• ניתוח איכותי, לא סטטיסטי, של יכולות GPT-4 במגוון תחומים.
• המסקנה: "ניצוצות" של הבנה כללית, לא AGI מלא.
• המודל גמיש אך לא אמין - עושה הבחנה בין יכולות להבנה מלאה.
• המאמר שינה את אופן הבחינה של מודלים גדולים והעלה שיח על AGI.