צ'ינצ'ילה - המודל האופטימלי מבחינת חישוב

חוקי ההקפלה של Kaplan (2020) הציעו שאם רוצים לשפר מודל, צריך בעיקר להגדיל את גודל המודל (פרמטרים), גם על חשבון הנתונים. הגישה הזו הובילה מודלים ענקיים שאומנו על יחסית מעט נתונים. אולם היה חשד אמיתי שהחישוב של היחס האופטימלי בין פרמטרים לנתונים לא היה נכון או מלא. אם כן - איך באמת צריך לחלק את תקציב החישוב בין גודל המודל לבין כמות הנתונים?

צ'ינצ'ילה טען שהקשר בין גודל המודל לנתונים אינו אסימטרי כפי שחשבו קודם. הרעיון המרכזי: לכל תקציב חישוב (compute) קיימת חלוקה אופטימלית בין מספר הפרמטרים למספר הטוקנים (יחידות טקסט) - וברוב המודלים שלפניו לא הושגה. המסקנה הפוכה בחלקה להנחות קודמות: כדי להוציא את המקסימום, צריך לאמן מודל קטן יותר, אבל על הרבה יותר נתונים.

אנלוגיה: אם יש לך תקציב קבוע, אתה יכול לרכוש מכונית גדולה אבל עם מיכל דלק קטן - או מכונית קטנה עם מיכל גדול. צ'ינצ'ילה ניסה למצוא את הנקודה שבה "הדלק" (הנתונים) והמנוע (הפרמטרים) מאוזנים כדי לעבור את המרחק המקסימלי באותו תקציב. רוב המודלים הקודמים היו כמו מכונית ענקית עם מיכל קטן.

כדי להגיע לאומדן מהימן, המחברים השתמשו בשלוש שיטות נפרדות: (1) הגדלת בקצב צמיחה - השוואת מודלים בקנה עולה עם מספר נתונים קבוע; (2) תיקון חוקי הכוח הקודמים; (3) חישוב עקום אובדן לכל תקציב חישוב ולהשוואתו.

התוצאה המשולבת שלהם התנהלה ביחס קבוע בין פרמטרים לטוקנים. הכלל שהתקבל: באופן אופטימלי, בכל תקציב נתון, יש להכשיל בערך פי-20 יותר טוקנים ממספר הפרמטרים:

המשמעות עבור דגם עם 70 מיליארד פרמטרים, למשל, הייתה אימון על כ-1.4 טריליון טוקנים - הרבה מעבר לנהוג לפני-כן.

צ'ינצ'ילה עצמו, מודל עם כ-70 מיליארד פרמטרים, השיג ביצועים עדיפים על פני מודל Gopher בעל כ-280 מיליארד פרמטרים (שאומן על פחות נתונים יחסית), תוך שימוש בתקציב חישוב דומה. המסר: גודל המודל לבדו פחות חשוב מהאיזון הנכון בין גודל לנתונים. מודל קטן יותר, מאומן על יותר נתונים, ניצח מודל ענק יותר.

צ'ינצ'ילה שינה את תפיסת בניית המודלים. המסקנה "הכשל בנתונים - צריך הרבה יותר טוקנים" הובילה ענקיות טכנולוגיה לאסוף אוספי טקסטים גדולים בהרבה מבעבר. מאז, המודלים הענקיים (Llama, GPT, Claude ו-DeepSeek) בנויים על עיקרון זה: כמות עצומה של טוקנים אימון. המאמר גם הדגים את ערך המדע הקפדני מול ההנחות האינטואיטיביות.

חוקים של "אופטימיזציה של חישוב" מתמקדים באימון, אבל לא מביאים בחשבון את עלות ההסקה (inference), שבה מודלים גדולים יקרים לשרת לאורך זמן. לעתים מודל גדול יותר, גם אם יקר יותר לאימון, עשוי להיות זול יותר בפעולה. גם ההשוואה התמקדה באובדן, לא בכישורים מעשיים. ההתפתחות של מודלים מאוחרים הראתה שהסופר-אופטימיזציה המהדורה עשויה לפעמים שלא להיות אופטימלית לעלות ההסקאלה.

• חלוקת החישוב בין פרמטרים לנתונים ניתנת לאופטימיזציה.
• היחס האופטימלי שנמצא: כ-20 טוקנים לכל פרמטר.
• מודל קטן יותר על יותר נתונים ניצח מודל ענק יותר.
• אסוף נתונים - הפך לכנותו של התחום.