 |
אני, כמובן, לא יודע מספיק כדי לקבוע אם הטרנספורמר2 הוא סתם הייפ או משהו רציני, אבל על פניו כל צעד בכיוון חיקוי אופן הפעולה של המוח האנושי נראה לי מבטיח. בינתיים הוא רק ב- arxiv כך כדאי לשמור על סקפטיות מסוימת.
תקציר מנהלים: ארכיטקטורה חדשה מאפשרת לגב. בינה להמשיך ללמוד לאורך כל חייה, וזה מתממש באמצעות חלוקה (לוגית ככל שאני מבין) של רשת הנוירונים לאזורים שונים שאפשר לעדכן רק חלק מהם לצרכי המשך הלימודים אחרי סיום בית הספר אצל היצרן. עד כה התהליך הזה חייב יותר מדי כוח חישוב - עדכון של כמה בליון פרמטרים לפי ה propt אינו דבר של מה בכך. במודל החדש קודם כל נקבע לאיזה תחום הבעיה שייכת (ליתר דיוק ניתון משקל שונה לכל תחום, אבל הפרטים סתם בלבלים) ובעקבות זאת גם הטיפול בבעיה משתנה, וגם עדכון הפרמטרים כלקח שנלמד מהאינטרקציה מתמקד רק בחלק קטן יחסית של הפרמטרים.
מן הסתם התקציר הזה אינו מיטבי, כך שביקשתי עזרה מ copilot:
המאמר מציג מסגרת חדשה להתאמה עצמית של מודלים גדולים לשפה (LLMs). המטרה היא לפתור את האתגרים של שיטות כוונון מסורתיות, שהן לרוב אינטנסיביות מבחינה חישובית ולא גמישות בטיפול במשימות מגוונות. המודל החדש, Transformer^2, מתאים את עצמו למשימות לא מוכרות בזמן אמת על ידי התאמה סלקטיבית של רכיבים בודדים במטריצות המשקל שלו. במהלך האינפרנס, המודל משתמש במנגנון דו-שלבי: תחילה מערכת זיהוי מזהה את מאפייני המשימה, ולאחר מכן וקטורי "מומחים" ספציפיים למשימה, מאומנים באמצעות למידת חיזוק, משולבים באופן דינמי כדי להשיג התנהגות ממוקדת עבור הפקודה הנכנסת. השיטה החדשה מציגה ביצועים טובים יותר משיטות נפוצות כמו LoRA, עם פחות פרמטרים ויעילות גבוהה יותר.
|
 |
RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש