אלכסנט - רשת נוירונים עמוקה לזיהוי תמונות

לפני 2012, דימו שיטות לזיהוי עצמים בתמונות בדרך של תכנון ידני של תכונות (features): מומחים בחרו מראש מה חשוב בתמונה - קצוות, טקסטורות, צורות. האלגוריתם נותר מאחורי ה"איך" שהוגדר מראש, ולא למד בכוחות עצמו. רשתות נוירונים קונבולוציוניות (CNN) כבר היו ידועות, אבל נחשבו יקרות ואיטיות מדי ומאמנות לחלוקת נתונים גדולה. התוצאה: המודלים הכי טובים התבססו על קומבינציות עדינות של תכונות מעוצבות ביד, והתקדמות מזיהוי תמונות הייתה איטית.

הרעיון המרכזי של אלכסנט הוא פשוט ובוטה: במקום לעצב תכונות ביד, נבנה רשת עמוקה וגדולה, ונותן לה ללמוד את התכונות ישירות מהנתונים. הרשת לומדת היררכיה: שכבות מוקדמות מזהות קווים וכתמים פשוטים, ושכבות עמוקות מרכיבות מהם עצמים שלמים.

אפשר לחשוב על זה כמו למידת שפה: במקום ללמד ילד כל כלל דקדוק מראש, נותנים לו לקרוא ספרים רבים - הוא מספיק את הדפוסים בעצמו. אלכסנט הייתה הרשת הראשונה בקנה מידה כזה ש"קראה" מיליוני תמונות ומדפיסה את הדפוסים מתוכן.

אלכסנט היא רשת קונבולוציונית. בכל שכבה מופעלות על התמונה פילטרים שסורקים אותה, מחשבים ממוצע משוקלל על חלון קטן של פיקסלים, ומייצרים מפת תכונות חדשה. אחרי מספר שכבות כאלה, התמונה "מצומצמת" לייצוג מופשט שגובה הופך להסתברות לכל אחת מ-1000 הקטגוריות.

הפונקציה המרכזית של כל נוירון (בשכבות הראשונות של הרשת המקורית) היא ReLU, מקסימום של האקטיבציה ואפס, שמונעת בעיית גרדיאנט נעלם:

לשלושה חידושים מבניים חשובים: (1) פונקציית ReLU החישובית - אימון מהיר בהרבה מפונקציות שנעלמות; (2) דרופ-אאוט (Dropout) - השמטת אקראית של נוירונים באימון, כדי למנוע את ה"לשנן" של הרשת; (3) הגדלת נתונים (data augmentation) - שינויים קטנים בתמונות האימון (היפוך, חיתוך) שמאפשרים לרשת לראות יותר וריאציות.

אלכסנט נבנתה על שני GPU במקביל, מה שאפשר לה להיות הגדולה ביותר בזמנה ובכל זאת להתאמן בזמן סביר.

באתגר ImageNet של 2012 רשמה אלכסנט שגיאה מובילה-5 של כ-15%, לעומת כ-26% של המתמודדת במקום השני. זה היה קפיצה חסרת תקדים שנראתה כמעט בלתי נתפסת בעיני הקהילה - המודל שהוצג על ידי למידת עומק ניצח ברווח עצום את כל השיטות המסורתיות המעוצבות ביד.

הניצחון הזה הוכיח במדויק שהגישה של "לתת לרשת ללמוד לבד" עובדת בקנה מידה אמיתי, וזו הסיבה שהמאמר הצית את גל למידת העומק כולו.

אלכסנט נחשבת לנקודת המפנה של למידת העומק המודרנית. לפניו נחשב התחום לתחביב אקדמי; אחריו הוא הפך לתעשייה. החידושים שלה (קונבולוציות, ReLU, דרופ-אאוט) הפכו לסטנדרט במפות עוקבות כמו VGG, GoogLeNet ו-ResNet.

מבחינה היסטורית, הניצחון ב-2012 הוביל ישירות לשימושים מסחריים בקנה מידה - מזיהוי פנים וכלי רכב עד לאבחון רפואי. המאמר גם סימל את המעבר מהתכנון הידני אל למידה מנתונים שהפך למודל האופייני של כל התחום.

אלכסנט דרש משאבי חישוב גדולים לזמנה, ובגרסתו המקורית טופל בקנה מידה של מיליוני תמונות בלבד. הוא לא תמיד חזק מול שינויים קטנים בתמונה (עיוותים, רעשים), מה שהוביל לאחר מכן לפער בין ביצועים במעבדה וביצועים בעולם האמיתי. גם ההבנה של למה הרשת למדה מה שלמדה נשארה מוגבלת, ולגרסה המוקדמת לא היתה היכולת להסביר את החלטותיה.

• אלכסנט הוכיחה שרשת עמוקה גדולה יכולה לנצח שיטות מעוצבות ביד.
• החידושים המרכזיים: קונבולוציות עמוקות, ReLU, דרופ-אאוט, הגדלת נתונים.
• הניצחון ב-ImageNet 2012 הצית את גל למידת העומק המודרני.
• החידושים שלה הפכו לסטנדרט בכל הרשתות שאחריה.