לאמה - מודלים פתוחים ויעילים

מודלי השפה הענקיים הטובים ביותר נבנו ונשארו סגורים (כמו GPT-3 או PaLM) - קודם לא שוחרר, והגישה הייתה דרך API בלבד, לעתים בתשלום. זה הגביל את הקהילה האקדמית והחוקרים מכלל התחום, שמנעו מבדיקה, חקירה וחדשנות על המודלים הבסיסיים. היה פער בין כוח מודל הענק לבין הנגישות שלו לקהילה.

LLaMA הציע משפחה של מודלים פתוחים שגודלם נע מ-7 מיליארד פרמטרים ועד 65 מיליארד, שיכולים לפעול על חומרה שזמינה יותר (אפילו על מחשב אישי במקרה של הקטן), תוך כדי מתן ביצועים שמתחרים במודלים הרבה יותר גדולים וסגורים.

אנלוגיה: בעוד תאגידים בנו "עבדים" עצומים שנשמרים במפעל, Meta הציאה "ערכה" של מנועים בגדלים שונים - מהרכב הקטן ועד הגדול - כך שכל אחד יוכל לקחת, לבדוק ולשדרג. הפתיחות היא המפתח: כש-חוקרים יכולים לבחון את המודלים, התחום מתקדם.

LLaMA בנוי על ארכיטקטורת Transformer עם שיפורי יעילות מודרניים (Rotary Positional Embeddings, SwiGLU, RMSNorm). החידוש הגדול הוא ניהול קפדני של הנתונים: במקום רק לגודל המודל, הם הדגישו שימוש מושכל בכמויות גדולות של טקסטים, כולל ספרות, קוד ומקורות מרובים - לפי עקרונות החישוב (כמו Chinchilla).

הודות ליעילות, דגם בעל 13 מיליארד פרמטרים של LLaMA הצליח להשתוות ל-ביצועי מודל ענק הרבה יותר (כמו GPT-3). זה הוכח גם בבדיקות סטנדרטיות - היעילות של אימון טוב תרגמה ליכולות גדולות.

LLaMA-13B השיג ביצועים שמתחרים עם מודלים ענקיים סגורים כמו GPT-3 בשפה, ו-LLaMA-65B השיג ביצועים קרובים למודלים חדשניים יותר בני התקופה. החשיבות היא לא רק הביצועים, אלא העובדה שהמודלים היו זמינים להורדה ולביקורת - מה שאיפשר לקהילה כולה לשדרג, לבדוק וליישם אותם.

LLaMA הצית פריחה של מודלים פתוחים (Llama 2, Llama 3, Mistral, Gemma) והפך לבסיס של כמעט כל עבודה פתוחה בתחום - כולל תהליכי קמפינג (fine-tuning) עצומים מצד הקהילה. הפתיחות אפשרה חוקרים, סטארטאפים וארגונים להריץ מודלים בעצמם, לאמת, להתאים ולחדש ללא תלות בתאגיד. זה שינה את יחסי הכוח ואת נגישות הבינה המלאכותית.

גם אם המודלים פתוחים, הם דורשים חומרה חזקה יחסית כדי להריץ את הגדולים שבהם, ויש עלויות תפעול. הם נוטים להמצאות ולהטיות דומות למודלים סגורים, והשחרור המלא העלה שאלות אתיות ובטיחותיות - כיצד להבטיח שימוש אחראי. הפתיחות הביאה גם פריחה של כלי AI, שלצד התקדמות העלו אתגרי רגולציה ואבטחה.

• LLaMA הפך מודלים איכותיים לזמינים לציבור הרחב.
• מודלים קטנים יחסית השיגו ביצועים של ענקים סגורים.
• המיקוד בנתונים איכותיים ובאופטימיזציה אפשר יעילות.
• הפתיחות הציתה את מהפכת הקהילה במודלי שפה פתוחים.