טרנספורמר - תשומת הלב היא כל מה שצריך

לפני Transformer, מודלי השפה המתקדמים (LSTM, GRU) עיבדו טקסט ברצף, מילה אחרי מילה, תוך "זיכרון" של המידע הקודם. זה היה איטי והיה קשה ללכוד תלות ארוכת טווח בין מילים רחוקות. מנגנון התשומת הלב (attention) כבר סייע במשימות ספציפיות כמו תרגום, אבל לא היה המנוע העיקרי. כל מודל גם נדרש לחשוב על כל מילה בתורה, מה שמנע מקביליות מלאה.

Transformer מבסס את כל הפעולה על מנגנון self-attention: כל מילה "משקללת" את השפעתן של כל שאר המילים במשפט בעת חישוב הייצוג שלה. במקום להעביר מידע משכנה לשכנה לפי סדר, כל מילה יכולה להסתכל ישירות על כל יתר המילים ולבחור מהן מה רלוונטי.

אנלוגיה: במקום לקרוא ספר מילה אחר מילה ברצף ולזכור מה קרה קודם, הרשת קוראת את כל העמוד בבת אחת, ויודעת להדגיש לעצמה את המילים הרלוונטיות לכל מקום. "תשומת הלב" היא הפעולה שבה כל מילה בוחרת למי להקשיב.

כל מילה מיוצגת בשלושה וקטורים - שאילתה (Query, Q), מפתח (Key, K) וערך (Value, V). עבור כל זוג מילים, מחשבים את הדמיון בין השאילתה של האחת למפתח של השנייה (מכפלה סקלארית), משקללים ומתרגמים לערך. התוצאה היא ציון - "כמה חשובה מילה B למילה A".

החלוקה ב-√d_k (שורש ממדי המפתחות) שומרת על יציבות החישוב ומונעת התפוצצות של ציונים גדולים. החידוש הנוסף היה ריבוי ראשי תשומת לב (Multi-Head Attention): הרשת חוזרת על חישוב זה כמה פעמים במקביל, כל ראש לומד היבט אחר של היחסים בטקסט.

כמו כן, כדי להביא בחשבון סדר מילים (שהרשת בעצמה לא מובנה איתו), הוסיפו "אנקודינג עמדות" (positional encoding) - אות קטן שנוסף לווקטור כל מילה לפי מקומה במשפט. וה-Transformer בנוי ממסלול קידוד (encoder) וממסלול פענוח (decoder), כשקישורים שיוריים ו-ערוגות (layer norm) שומרים על יציבות.

Transformer השיג תוצאות מצוינות בתרגום מכונה אנגלית-גרמנית ואנגלית-צרפתית, כשהוא משפר את השיאים הקודמים בזמן אימון קצר בהרבה ממודלים חוזרניים. החוזק הגדול: מקביליות - ניתן היה לאמן אותו מהר מאוד על חומרה מרובה, מה שהפך את קנה המידה שלו למשמעותי.

Transformer הפך למודל הבסיס של NLP המודרני. ב-2018 הופיע BERT (על בסיס encoder של Transformer) ו-GPT (על בסיס decoder), ובתוך שנה עולם ה-NLP נכבש. כל מודלי השפה הגדולים של היום (GPT, Llama, Claude, Gemini) הם יורשים ישירים של הארכיטקטורה הזו, כולל כל מודלי ה-multimodal.

השם "Attention Is All You Need" היה אמירה עקרונית: אפשר לוותר על החזרה הסידורית ולהסתמך רק על תשומת לב, וזה עבד מעבר לכל ציפייה.

החיסרון המשמעותי של Transformer הוא עלות החישוב הריבועית: עם כל מילה נוספת במשפט, החישוב של זוגות תשומת הלב גדל ביחס לריבוע. זה מגביל חלונות הקשר ארוכים ומודלים על טקסטים ענקיים. שיטות כמו תשומת לב דלילה (Sparse Attention) ומודלים עוקבים מנסים לפתור בעיה זו. גם הבנתו של תשומת הלב כעיבוד אמיתי לעומת פשוט "התאמת דפוסים" עדיין נחקרת.

• Transformer בנוי כולו על self-attention במקום על חזרתיות.
• חישוב התשומת הלב מתעדף כל זוג מילים לפי דמיון.
• מקביליות מלאה איפשרה אימון מהיר בקנה מידה גדול.
• כל מודלי השפה המודרניים נבנים על הארכיטקטורה הזו.