בתשובה לעומר, 04/12/22 13:44
 |
|
 |
||
|
||||
 |
2024 עוד לא נגמרה ובכלל לא התערבנו, ובכל זאת מעניין אותי מה דעתך בנושא כיום. |  |
 |
 |
|
|
|
||
|
||||
|
הערה צדדית: אתם אנשי מקצוע, אבל שאלה להדיוטות שבחבורה: האם רק אצלי תחום ההתעניינות העיקרי עבר מבינה מלאכותית לטיפשות אנושית? (ואצל הרבה אחרים שהיו עסוקים בסדרי שלטון וההפיכה המשטרית, העניין הוחלף מ-regulation ל-reloacation?) | |
|
|
|
|
|
||
|
||||
|
אתה לא לבד! | |
|
|
|
|
|
||
|
||||
|
מזכיר את היחס שלי להתחממות הגלובלית. כרגע לא נראה לי שהיא בחמישייה הראשונה של האיומים על עתידי ועתיד משפחתי ובנותיי. וגם לא על סביבתי הרחוקה יותר. והיחס שלי בהתאם. לא היה כאן סקר רלבנטי לפני כמה שנים? |
|
|
|
|
|
|
||
|
||||
|
אה, אני בכלל חשבתי שהיא בוטלה עם בחירת טראמפ לנשיאות. | |
|
|
|
|
|
||
|
||||
|
אם מישהו היה מתערב איתי על 2024, מן הסתם הייתי מפסיד. פראיירים! אבל אני לא חושב שטעיתי בגדול בהערכתי אז. אני חושב שה-credence שביטאתי (כפי שהתבטא ביחס וגודל ההתערבות שהצעתי) היה מוצדק גם בדיעבד, שזה מודגם בצעדים שנעשו בינתיים בדרך לשם1, ושאנחנו מאד קרובים. אשמח לגלגל את ההתערבות הזו ל-2025. 1 אתה מן הסתם מכיר את הדוגמאות, כמו AlphaPro, AlphaGeometry ו-O3 (הפניות: 1, 2). |
|
|
|
|
|
|
||
|
||||
|
אני, כמובן, לא יודע מספיק כדי לקבוע אם הטרנספורמר2 הוא סתם הייפ או משהו רציני, אבל על פניו כל צעד בכיוון חיקוי אופן הפעולה של המוח האנושי נראה לי מבטיח. בינתיים הוא רק ב- arxiv כך כדאי לשמור על סקפטיות מסוימת. תקציר מנהלים: ארכיטקטורה חדשה מאפשרת לגב. בינה להמשיך ללמוד לאורך כל חייה, וזה מתממש באמצעות חלוקה (לוגית ככל שאני מבין) של רשת הנוירונים לאזורים שונים שאפשר לעדכן רק חלק מהם לצרכי המשך הלימודים אחרי סיום בית הספר אצל היצרן. עד כה התהליך הזה חייב יותר מדי כוח חישוב - עדכון של כמה בליון פרמטרים לפי ה propt אינו דבר של מה בכך. במודל החדש קודם כל נקבע לאיזה תחום הבעיה שייכת (ליתר דיוק ניתון משקל שונה לכל תחום, אבל הפרטים סתם בלבלים) ובעקבות זאת גם הטיפול בבעיה משתנה, וגם עדכון הפרמטרים כלקח שנלמד מהאינטרקציה מתמקד רק בחלק קטן יחסית של הפרמטרים. מן הסתם התקציר הזה אינו מיטבי, כך שביקשתי עזרה מ copilot: המאמר מציג מסגרת חדשה להתאמה עצמית של מודלים גדולים לשפה (LLMs). המטרה היא לפתור את האתגרים של שיטות כוונון מסורתיות, שהן לרוב אינטנסיביות מבחינה חישובית ולא גמישות בטיפול במשימות מגוונות. המודל החדש, Transformer^2, מתאים את עצמו למשימות לא מוכרות בזמן אמת על ידי התאמה סלקטיבית של רכיבים בודדים במטריצות המשקל שלו. במהלך האינפרנס, המודל משתמש במנגנון דו-שלבי: תחילה מערכת זיהוי מזהה את מאפייני המשימה, ולאחר מכן וקטורי "מומחים" ספציפיים למשימה, מאומנים באמצעות למידת חיזוק, משולבים באופן דינמי כדי להשיג התנהגות ממוקדת עבור הפקודה הנכנסת. השיטה החדשה מציגה ביצועים טובים יותר משיטות נפוצות כמו LoRA, עם פחות פרמטרים ויעילות גבוהה יותר. |
|
|
|
|
|
|
||
|
||||
|
מה שמעלה את השאלה מה יחסל אותנו קודם - הטרנספורמרים או הטרנספריסטים? (תודו שזו תחרות קשה). |
|
|
|
|
|
|
||
|
||||
|
נתקלתי עכשיו בעדות המעניינת הזו: Oh my goodness. GPT-o1 got a perfect score on my CarnegieMellon undergraduate #mathexam, taking less than a minute to solve each problem. I freshly design non-standard problems for all of my exams, and they are open-book, open-notes. (Problems included below, with links to GPT-o1's answers.) (יש המשך בקישור.)
While eating Pie in the afternoon, I showed the exam to one of our math Ph.D. students (a former International Mathematical Olympiad Gold Medalist from Belarus), and he said "Hmm. Non-Trivial. Good." Our undergraduate students are also very good. This exam was not easy for them, as the score distribution shows. |
|
|
|
|
|
|
||
|
||||
|
סקר: אם אחת הבעיות הפתוחות הגדולות במתמטיקה (למשל מכאן List of unsolved problems in mathematics [Wikipedia]) תיפתר ע"י בינה מלאכותית, תהיה (אפשר לבחור יטותר מאפשרות אחת): * שמח * עצוב * מופתע * אדיש * פוחד * עשיר (זכית בהתערבות) * אחר (פרט) אני אהיה בעיקר שמח. |
|
|
|
|
|
|
||
|
||||
|
ספקן. | |
|
|
|
|
|
||
|
||||
|
כשזה יקרה, לא ישאר הרבה מקום לספק. או שיהיה מדובר ברעיון ברור שמתמטקאים יוכלו לוודא בעצמם את נכונותו באופן בלתי תלוי, או שיהיה מדובר בהוכחה שלפחות חלקיה המרכזיים (אם לא כולה) ינתנו באופן הניתן לאימות פורמלי (למשל ב-lean). אחרת לא סביר שהבעיה תוכרז כפתורה. | |
|
|
|
|
|
||
|
||||
|
אני התלבטתי קצת אם לכתוב ''כאשר...'' או ''אם...'' (אני לא מת על ''אם וכאשר''), אבל לא מפתיע שלך אין ספק שזה יקרה בימי חייך. | |
|
|
|
|
|
||
|
||||
|
אני לא מבין הרבה, ותקן אותי אם אני טועה, אבל מי שיפתור בעיות כאלה לא יהיה LLM. ממה שראיתי אלו נותנים תשובות מעולות, לעתים מדהימות, אבל לא מסיקים משהו שמישהו לא הסיק כבר (או שהיה מסיק בקלות) לפניהם. בסוגים אחרים של AI אני מבין עוד הרבה פחות. |
|
|
|
|
|
|
||
|
||||
|
בוודאי ש-LLM מסוגלים להסיק דברים שאיש לא הסיק בעבר לפניהם. לגבי "היה מסיק בקלות" - אני לא יודע מה פירוש המילה "בקלות" בהקשר הזה1, ולדעתי כבר הדוגמא אליה קישרתי לפני כמה רגעים מספיקה כדי להפריך את זה. בכל מקרה, גם אני - כמוך - הייתי מהמר שמי שיפתור בעיות כאלה לא יהיו LLM "טהור". אבל רבים וחכמים ממני מאמינים שזה דווקא כן יהיה LLM, אז הייתי נזהר בסכום ההימור. 1 נזכרתי בסיפור על גרומוב, ששאל מתמטיקאי מבטיח צעיר, בהפסקת הצהריים, על מה הוא עובד. המתמטיקאי סיפר לו על הפרוייקט שמן הסתם מעסיק אותו כבר שנה או שנתיים, והם נפרדו לדרכם. למחרת הם נפגשו שוב, וגרומוב שאל אותו "נו, אז על מה אתה עובד עכשיו?". |
|
|
|
|
|
|
||
|
||||
|
1 זה מזכיר סיפור דומה על סהרון שלח שפגש דוקטורנט בהפסקת שירותים2, וזה נמשך כמו בסיפור שלך רק ששלח היה אכזרי יותר ולפני שהם נפרדו לדרכם הוא כבר פירט לו את הפתרון - ובזאת חיסל לו את הדוקטורט. 2 או משהו כזה, כמו בכל אגדה אורבנית רואים פה את ההתפתחות הדרמטית. |
|
|
|
|
|
|
||
|
||||
|
בהוכחות מתמטיות אני לא מבין, אבל לסקפטיות שלי יש כבר תימוכין | |
|
|
|
|
|
||
|
||||
|
זה עוד לא ממש שם אבל נראה מתקרב. ______________ ckickbait: "AI Scientist's FIRST Peer-Reviewed Paper"
|
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש והצהרת נגישות
|
© כל הזכויות שמורות |