חוקי ההקפלה - ההתנהגות החזויה של מודלים גדולים

מודלי שפה הלכו וגדלו, אבל פיתוחם היה מבוסס ניסוי וטעייה: אף אחד לא ידע בוודאות כמה גדול לבנות מודל, כמה נתונים לתת לו, וכמה זמן לחשב. החלטות של ארכיטקטורה נבחרו לפי אינטואיציה, ולא היה מודל כמותי שמסביר איך משפיעים הגודל, הנתונים והחישוב על האיכות.

המאמר הראה שביצועי מודל שפה (כפי שנמדדים בפרופלקסיות, או אובדן) משתפרים על פי "חוק כוח" (power law) פשוט: הוספת פרמטרים, נתונים או חישוב מביא שיפור שניתן לחזות מראש - ופוחת בחזרתיות.

אנלוגיה: כמו בגודל מנוע רכב, אפשר לתאר אותו בצורה חלקה עם משפך פשוט של "כמה גדול וכמה מהיר". ככל שמודל גדול יותר, כך האיכות משתפרת - אבל כל יחידת גודל נוספת מביאה פחות ופחות תועלת שולית, והשיפור מתנהג בגביעיות. לא מדובר בקסם, אלא בקשר מתמטי יציב.

החוקרים אימנו מאות מודלים בגדלים שונים (ממיליונים ועד מיליארדי פרמטרים), ושינו את כמות הנתונים והחישוב בזמן האימון, ומדדו את האובדן. הם מצאו שהאובדן מתנהג לפי חוק כוח של הגודל, למשל כשמשנים את גודל המודל:

המשמעות: אובדן (L) הוא פונקציה של גודל המודל (N) בחזקה שאינה משתנה (α). חשוב מכך, מצאו שהגורמים תלויים זה בזה: כדי להשיג את היעילות המרבית בתקציב נתון, צריך להגדיל את הנתונים והמודל יחדיו - לא אחד בלבד. הדחופה: ביצועים טובים יותר דורשים גם פרמטרים ויותר נתונים.

החוקרים הדגימו שהביצועים עוקבים אחרי חוקי כוח יציבים על פני מגוון רחב של גדלים, ושהמודל עוקבת היטב את ההתנהגות המשוערת. חשוב מכך, הם הראו שקיימים גבולות ברורים: עם תקציב חישוב קבוע, ישנו גודל מודל ואורכי נתונים אופטימליים שהיו ניתנים לחיזוי מראש. זה נתן כלי החלטה קונקרטי למי שבונה מודלים.

חוקי ההקפלה שינו את הדרך שנבנו מודלים. במקום ניסוי וטעייה איטי, מפתחים יכלו לחזות מראש כמה נתונים וחישוב דרושים לרמת ביצועים מסוימת. זה הנחה את בניית מודלי הענק של OpenAI והוביל להבנה שקנה המידה (data, compute, parameters) הוא המשתנה החשוב ביותר ב-LLM.

המסקנה - "ככל שהמודל גדל, יותר נתונים נדרשים באותו יחס, וחישוב הוא המשאב היקר" - הפכה לקו מנחה לכל התעשייה.

חוקי הכוח מתארים את "הממוצע", לא כל התנהגות חריגה - ולעתים יכולות חדשות (capabilities) צצות בקפיצה, לא בצורה חלקה. החוקים לא מתארים ישירות את האיכות של משימות מעשיות (רק את האובדן בפועל), ולא תמיד הם הועתקו במדויק למודלים גדולים מאוד בשל עלויות. עם הזמן, מחקרים מאוחרים יותר (כמו Chinchilla) חידדו ואף תקנו את הכללים הללו.

• ביצועי LLM משתפרים לפי חוק כוח עם גודל, נתונים וחישוב.
• הגורמים תלויים זה בזה - נדרש איזון בין שלושתם.
• הנוסחה העניקה כלי חיזוי לבניית מודלים מפורטים.
• קנה המידה הפך למשתנה המוביל בעיצוב מודלי שפה.