ResNet - לומדים לרשת עמוק יותר

ככל שגדלה הרשת העמוקה, כך גדל גם היכולת שלה - כך הניחו. אולם בפועל גילו שכשמוסיפים עוד ועוד שכבות, הביצועים ירדו דווקא. רשת עמוקה מדי התקשתה ללמוד, ואף חלה התדרדרות בדיוק על נתוני האימון עצמם (לא רק על נתוני בדיקה). תופעה זו כונתה "בעיית ההידרדרות" (degradation problem). הרשת החזיקה כל כך הרבה שכבות, עד שהגרדיאנט - האות שמנחה את העדכון של הפרמטרים - התמסמן ונעלם בדרך חזרה.

הרעיון של ResNet הוא להוסיף "קיצור דרך" (skip connection) שמדלג על כמה שכבות. במקום ללמוד פונקציה מורכבת H(x) ישירות, הרשת לומדת את "השארית" (residual) F(x) = H(x) − x, ואז מייצרים את התוצאה הסופית: H(x) = F(x) + x.

אנלוגיה: אם אתה מטפס בסולם תלול, ולפעמים מטפסים על סבכים קשה יותר מהדרך הישרה. במקום ללמוד את כל הטיפוס בבת אחת, אפשר ללמוד רק את ההפרש בין רמה לרמה. אם אין שום דבר חדש ללמוד, הרשת יכולה פשוט לא להוסיף כלום (F=0), ולהוציא את הקלט לאור. זה הופך את הלמידה להרבה יותר יציבה.

הבנייה הבסיסית היא בלוק שורי (residual block): הקלט x עובר דרך כמה שכבות שמפיקות פונקציה F(x), ומוסיפים את הקלט המקורי x אל התוצאה. החיבור "+x" נקרא החיבור הקבוע (identity shortcut) - הוא פשוט מעביר את הקלט קדימה בלי פרמטרים.

החיבור הזה פותר את בעיית הגרדיאנט: בזכותו האות יכול לזרום ישירות לשכבות העמוקות בלי להתמסמן, כך שרשתות עמוקות מאוד (150+ שכבות) יכולות להתאמן בהצלחה. ResNet הופיעה בבניית וריאציות שונות, מארכיטקטורות של 34 שכבות ועד לרשתות ענק של אלפי שכבות.

ResNet זכתה במקום הראשון בתחרויות רבות באותה שנה, כולל במקום הראשון ב-ImageNet, וגם קבעה שיא עולמי בזיהוי עצמים. עם עומק של 152 שכבות, היא הייתה עמוקה פי הרבה מקודמותיה, ועם זאת דיוקה היה גבוה בהרבה. התוצאות הראו שקישור השיורי מאפשר לגדל את הרשת ללא התדרדרות.

קישורי השיורי (skip connections) הפכו לפרט סטנדרטי בכל ארכיטקטורת למידת עומק, ובמיוחד ב-Transformer - שם הם משמשים בכל בלוק. החידוש של "להעביר את הקלט קדימה" איפשר את בניית הרשתות הענקיות של ימינו, כולל מודלי שפה מפורטים.

המורשת של ResNet היא לא רק בנתוני ה-ImageNet, אלא עצם העיקרון הטכני שמותר למידת רשתות עמוקות מכל ענפי ה-AI.

ResNet דרש משאבי חישוב גדולים, ועומק רב לא תמיד תורגם לדיוק טוב יותר מעבר לסף מסוים. הבנתו של חוקרים את הסיבה המדויקת ליעילות החיבור השיורי השתכללה רק בהמשך (קשר לכיול גרדיאנט ולהצפה של מידע). החידוש של רשתות עמוקות דורש גם כוונון קפדני של אופטימיזציה.

• בעיית ההידרדרות מנעה אימון של רשתות עמוקות.
• חכם השיורי H(x)=F(x)+x פותר את בעיית הגרדיאנט הנעלם.
• ResNet איפשר רשתות של 150+ שכבות ו-Network של אלפי.
• קישורים שיוריים הפכו לפרט אוניברסלי בכל הרשתות המודרניות.