MathyAIwithMike-עברית

בפרק הזה נדון במאמר שמציג בעיה באימון מודלים גדולים: 'אשליית הגרדיאנט'. המאמר מראה שהגרדיאנטים לא מאוזנים בין המשימות השונות, מה שגורם למודל לתת יותר חשיבות למשימות מסוימות על פני אחרות. החוקרים גילו שההבדלים בין הגרדיאנטים עצומים, עד כדי פי 33! המאמר לא מציע פתרון, אך הוא מהווה קריאת השכמה לקהילת המחקר ומדגיש את הצורך לחקור דרכים חדשות לאמן מודלים רב-משימתיים.