טולפורמר - ללמד מודל איך להשתמש בכלים

מודלי שפה מצוינים בטקסט, אבל לעתים נכשלים במשימות הדורשות מידע חיצוני או הכלים - חישוב, ידע עדכני, שאילתות לחיפוש, הפעלת מחשבון. האימון שלהם על טקסט בלבד מגביל את היכולת לדעת על אירועים עכשוויים או למרוץ חישובים מדויקים. בעבר, היכולת להשתמש בכלים הייתה מתוכננת ביד - מומחי מערכת תכנתו מפורש מתי ואיך להריץ מחשבון או חיפוש, מה שהיה שביר וקשיתי להרחבה.

הרעיון של Toolformer הוא שהמודל לומד בעצמו, במהלך האימון, מתי ואילו כלים חיצוניים להפעיל. במקום שהמהנדס יסמן מראש כל נקודה, המודל "גילה" מתי שילוב של כלי (מחשבון, מנוע חיפוש, תרגום, חישוב תאריכים) ישפר את התשובה, והיכן. אחרי האימון, המודל יודע "לקרוא" הוראה, ולהחליט מתי לקרוא לכלי.

אנלוגיה: אסור לסרגל הכלים של נגר להיות רשימת כלים, אלא הוא צריך לדעת מתי להשתמש במסור ומתי בפטיש. Toolformer מלמד את המודל "לבחור את הכלי הנכון ומתי" - לזהות מצבים שבהם כלי חיצוני יקדם אותו, ולשלב אותו בתשובה.

התהליך הוא לולאת-עצמי. המודל לומד מתי לקרוא לכלי, על ידי ניסוי ו-טעייה: הוא מקבל "מקום ריק" בטקסט, מבקש להפעיל כלי ולהשלים את התוצאה, ומעריך אם התוצאה מפחיתה את האובדן של חיזוי המילה הבאה. אם כן, הוא שומר את נקודת הכלי הזו כדוגמה טובה; לאט לאט הוא אוסף אוסף של דוגמאות כאלה שמשמשות לאימון.

הכלים במודל כוללים מחשבון, שאילתות חיפוש, מנוע מערכת תאריכים, ומחסן ידע. המודל לומד גם "זמני קריאה" - מתי להשתמש בכלי ולא בהכרח להמציא תשובה.

Toolformer הצליח להראות שיפור במשימות שבהן כלים רלוונטיים - כמו חישוב, חיפוש מידע עדכני או שאלות זמן - תוך כדי שמירה (או שיפור מועט) על יכולות לשוניות כלליות. החידוש: המבחר של איזה כלי להפעיל נלמד עצמית, ללא התערבות ידנית מפורטת של תזמון. היכולת ל-לבנות "רשימת כלים" בעצמו פתחה את הדלת לשילוב כלים במודל.

Toolformer סימן את המגמה של שילוב כלים חיצוניים במודלים כחלק אינטגרלי מהתהליך - לא כתוסף חיצוני. הגישה התעצבה לפרדיגמה מודרנית (tool use) שבה מודלים לומדים להשתמש במחשבון, מנועי חיפוש, קוד ועוד בעצמם. זה הוביל לחיפושי AI שמחפשים בעולם האמיתי, למודלים שמבצעים חישוב מדויק על ידי הפעלת כלים, ולאג'נטים מודרניים שמשלבים את הגישה הזו עם שיטות נוספות.

Toolformer הסתמך על כלים שהוגדרו מראש, ולא המציא כלים חדשים. האימון העצמי דורש איכות של כלי (אם הכלי לא מועיל, זה נלמד). יש סיכון שלמודל יקרא לכלי שלא לצורך או בסגנון לא מתאים. השאלה "כמה כלים צריך להטמיע ומתי הם מועילים" נותרת בחירה עיצובית, וגישות עוקבות בחוסן הכלים המשיכו להתפתח.

• מודל לומד מתי ואיך להשתמש בכלים חיצוניים בעצמו.
• הלולאה העצמית מעריכה אם הכלי מפחית את האובדן.
• שיפור במשימות שתלויות בחישוב ומידע עדכני.
• יסודות לפרדיגמת "tool use" ולמודלים אוטונומיים מודרניים.