Training data collapse 767510
אביב יום ב', 4/3/2024, 18:45
טיעון שמתארת Sabine Hossenfelder בוידאו הבא.

תאור הטיעון על קצה של הקצה של המזלג: התוצאות הטובות שאנו מקבלים ממודלים כמו ה-LLM הן משום שהאימון משתמש בגוף גדול של תוצרים אנושיים. אך ככל שבני אדם משתמשים יותר בתוצרי AI, גוף הידע הזה ״מתלכלך״ יותר ויותר וזה עלול להוביל למצב של Garbage in Garbage out או התכנסות לדפוסים שחוזרים על עצמם (מעין העלאת גרה אינטלקטואלית).
Training data collapse 767512
הפונז • בתשובה לאביב יום ב', 4/3/2024, 18:53
ולכן סגירת החור הצורם היחידי כמעט בסרט 'המטריקס' - שהמכונות מחזיקות את בני האדם בקפסולות בשביל האנרגיה התרמית (פרות היו מספיקות, שלא לומר מקורות אחרים מהטבע) - היא שהסיבה עבור המכונות להחזיק את בני האדם בקפסולות זה בשביל הפקת אינפוטים של אינטליגנציה 'טבעית' עבור אימון המודלים שלהם.

בזה אנחנו יותר טובים מפרות.
Training data collapse 767514
אביב • בתשובה להפונז יום ב', 4/3/2024, 23:45
רוב בני האדם הם יצרני תוכן מאוד גרועים. גוף התוכן האנושי האיכותי הוא גדול, אבל הוא נוצר על ידי מיעוט. נראה לי שהטיעון בוידאו (לא שאני חושב שהוא משכנע במיוחד) אומר שכשכל זב חותם יכול לג׳נרט עם AI הרים של תוכן, יהיה יותר קשה להפריד בין התוכן שיעזור לשפר את המודלים לבין התוכן שיעשה אותם גרועים יותר.
Training data collapse 767523
שוטה הכפר הגלובלי • בתשובה לאביב יום ג', 5/3/2024, 10:48
אולי אחד הכיוונים בהם עוד צפויות התפתחויות משמעותיות הוא שילוב קריטריונים של איכות הקלט (משהו באזור של ה rank הגוגליאני). לא סביר שכל פקאצה עם דף פייספבוק נזרקת לאותה מטחנה וירטואלית עם יובל (הררי ונוב) דוקינס, פינקר, וולפראם והקשה המקשה. אני משער שמשהו מזה קורה כבר עכשיו, ולו רק בזכות זה שהוגים בעלי חשיבות מצוטטים יותר פעמים כך שמשקלם עולה, אבל זה לא מספיק (במיוחד עבור אינטלקטואלים בעבר שכבר לא מצוטטים הרבה) ולעומתם כל מיני מפורסתמים שכל גרעפס שלהם מהודהד שוב ושוב.
Training data collapse 767524
אביב • בתשובה לשוטה הכפר הגלובלי יום ג', 5/3/2024, 11:03
אני מסכים. גם אותי הטיעון לא שכנע.
Training data collapse 767525
הפונז • בתשובה לאביב יום ג', 5/3/2024, 16:01
תינוק ממוצע מבין שפה משמיעה יותר טוב ממחשב על. בתור ground truth, זה נראה לי רחוק מאד מ"תוכן גרוע".
נהג ממוצע מצליח להתחמק מהרבה מקרים שמכונית-על עוד לא מצליחה (ולכשול מאחרים, אז מה). אז הנה יש לך שני מיליארד כאלה.
המוח האנושי הממוצע - הוא מקור מצוין להמון משימות שהוא עושה לא רע. תתחבר אליו ותקבל הרבה תוכן איכותי ללימוד.
Training data collapse 767526
אביב • בתשובה להפונז יום ג', 5/3/2024, 19:41
הכל נכון ולא סותר שום דבר שנטען בפתיל (כולל בוידאו המקושר).

יש הבדל לוגי מאוד פשוט בין ״יש למוח האנושי תוצרים איכותיים/שימושיים״ לבין ״כל התוצרים של המוח האנושי הם איכותיים/שימושיים״.

ברור שאפשר לבחור ולברור דברים ספציפיים שאנשים עושים כ-Ground truth (למשל דוגמאות של נהיגה אנושית נכונה). זה הרי בדיוק מה שעושים היום. אבל אם אתה לוקח כל מה שאנשים עושים או חושבים, אתה מקבל הרבה זבל או דברים לא מועילים (הייתי אפילו אומר שהרוב זה זבל שיזיק באימון מכונה יותר משהוא יועיל).

עשר דקות של חיבור עם NeuraLink בין מכונה לומדת לבין המוח של מירי רגב ו/או קניה ווסט. I dare you!
Training data collapse 767552
הפונז • בתשובה לאביב יום ה', 7/3/2024, 9:58
90 אחוז או יותר ממה שהמוח עושה אלה פעולות כמעט אוטומטיות כמו עיבוד תמונה ושמע, בקרת תנועה וקליטת סנסורים חושיים, ובנייה מסובכת לעייפה של מסקנות ותמונת עולם מהקלט הזה.
רק בהליכה ברחוב מבלי ליפול או להיתקל בעמוד המוח עושה פעולות שהבינה המלאכותית היום עוד רחוקה מאד מהן. ובזה כל אדם, גם כזה שלא קרא את צ'כוב, הוא מומחה גדול.
לזה התייחסתי ברעיון הראשוני שלי.

כתיבת תוכן לאינטרנט היא חלק זעום ממה שעושה מוח אנושי, ועל התוכן בהחלט אפשר לדון באיכותו ואף להסיק שהיא ירודה. אבל זו בכלל לא היתה הנקודה שלי.

תחשוב על בינה מלאכותית שכדי ללמוד איך לעשות נהיגה אוטונומית, אוספת ישירות מהמוח של מיליון אנשים את כל הפלט והקלט של המוח שלהם בזמן נהיגה.
Training data collapse 769174
kozmo • בתשובה להפונז יום א', 2/6/2024, 16:04
תחשוב על קינה מלאכותית..
Training data collapse 769176
אפופידס • בתשובה לkozmo יום א', 2/6/2024, 17:26
משעשע (:
קינה אחרת על כך שרצינו בינה של צווארון כחול וקיבלנו לבן.
Training data collapse 769178
הפונז • בתשובה לאפופידס יום א', 2/6/2024, 20:15
קינת סופרים.
Training data collapse 769212
kozmo • בתשובה לאפופידס יום ב', 3/6/2024, 19:54
כמו שרמז הוד מעלתו המלך דוד, הבעיה בבינה זה הגליצ'ים.
Training data collapse 769230
ירדן ניר-בוכבינדר  (אתר) • בתשובה לאפופידס יום ג', 4/6/2024, 18:13
נדמה לי שכבר הגגתי באייל על זה שבניגוד למה שהיינו מנחשים לפני עשר שנים, היתרון שלנו על המכונות מתגלה כפחות המוח ויותר הידיים (גם זה זמני, מן הסתם). השיפוצניקים ישרדו אחרינו המתכנתים בשוק העבודה.
Training data collapse 769233
אח של אייל • בתשובה לירדן ניר-בוכבינדר יום ג', 4/6/2024, 18:53
בארץ יש שיפוצניק אחד על כל 10 מתכנתים.. אז עדיף לעשות הסבה לדאטא סיינס מאשר לשיפוצניק.

---
I interviewed a data-scientist once, and at the end, he asked for a feedback. I told him he was very average. He answered: well thats just mean!
Training data collapse 769253
הפונז • בתשובה לאח של אייל יום ד', 5/6/2024, 11:37
בדיחה מעולה, הרבה מעל לממוצע!
Training data collapse 769250
שוטה הכפר הגלובלי • בתשובה לירדן ניר-בוכבינדר יום ד', 5/6/2024, 10:56
זה היה די ברור כבר כאשר דיפ בלו ניצח את קספרוב בשחמט (עוד לפני עידן רשתות הנוירונים ושטויות דומות) הרבה לפני שרובוט ניצח את אוסאליבן בסנוקר (טרם קרה, משום מה, למרות שהטכנולוגיה בטח קיימת.).
Training data collapse 769252
הפונז • בתשובה לשוטה הכפר הגלובלי יום ד', 5/6/2024, 11:36
א. סביר שמתישהו יקרה.
ב. במקרה כזה, בניגוש לשחמט, "הטכנולוגיה" היא יישות הרבה יותר מורכבת - מאחר והיא צריכה לתפקד בדיוקים מאד גבוהים בעולם הפיזיקלי. סתם לחשוב על תכנון רובוט שבכלל יידע להחזיק מקל סנוקר ולהכות בכדור, נשמע כמו כאב ראש מאד מאד גדול - מכנית, חיישנית, מוטורית וחשמלית והלאה והלאה. בשחמט ה-API הוא הכי פשוט שיש.
Training data collapse 769257
שוטה הכפר הגלובלי • בתשובה להפונז יום ד', 5/6/2024, 11:58
זה, בכפית תה, ההסבר לכך ש HAL [Wikipedia] נמצא כמה צעדים (עולם הפוך :-)) לפני R._Daneel_Olivaw [Wikipedia] בלי קשר לחסרונו של המוח הפוזיטרוני - וזה נושא הפתילון הזה.

אגב, לגבי טניס שולחן הבעיה פתורה (עם קצת עזרה מ deep fake, כמובן).
Training data collapse 769261
הפונז • בתשובה לשוטה הכפר הגלובלי יום ד', 5/6/2024, 12:49
נראה לי שהרובוט הזה ישחק סנוקר לא פחות טוב מפינג פונג :-)
Training data collapse 769279
אריק • בתשובה לשוטה הכפר הגלובלי יום ה', 6/6/2024, 0:59
כבר היה מזמן
Training data collapse 769281
הפונז • בתשובה לאריק יום ה', 6/6/2024, 8:34
וזה אפילו יותר מרשים, כי זה נעשה בלי דיפ פייק.
Training data collapse 769287
שוטה הכפר הגלובלי • בתשובה לאריק יום ה', 6/6/2024, 10:16
חביב בהחלט.
Training data collapse 769263
צפריר כהן  (אתר) • בתשובה לשוטה הכפר הגלובלי יום ד', 5/6/2024, 14:52
אני נותן לזה לא יותר ממאה ועשרים שנים עד שרובוט ינצח את אוסאליבן.

דווקא הספורט הזה נראה לי ספורט כל כך אידאלי לרובוטים שזה לא ירשים אותי. למרות שזה כמובן ידרוש לא מעט פיתוחים טכנולוגיים ועבודה שחורה.
Training data collapse 769288
הפונז • בתשובה לצפריר כהן יום ה', 6/6/2024, 12:34
הימור קצת קל, הייתי אומר.
לפני מאה ועשרים שנים היינו עם מכונות תפירה ומטוסי פרופלור, וקצב ההתקדמות רק גדל מאז.
Training data collapse 769289
צפריר כהן  (אתר) • בתשובה להפונז יום ה', 6/6/2024, 12:58
האמת: הגזמתי. אולי ארבעים שנים. בעוד 120 שנים הוא לא יוכל לנצח את אוסליבן.
Training data collapse 769300
אריק • בתשובה לצפריר כהן יום ה', 6/6/2024, 23:51
ביום טוב של אוסליבן, גם לא בעוד 40 שנה.
ביום רע של אוסליבן, רק צריך להכניס בתוכנה מוד עיצבון, והוא יוכל לנצח את אוסליבן מחר בבוקר.
Training data collapse 769308
שוטה הכפר הגלובלי • בתשובה לאריק יום ו', 7/6/2024, 10:51
דומני שצפריר מתלוצץ בעניין גילו המופלג של אוסאליבן בעוד 120 שנה.

אני סבור שכבר היום אפשר לבנות רובוט שיהיה אלוף העולם בסנוקר (לא אתפלא בכלל אם הוא ישתמש בזרוע אחת בלבד), אלא שהמחיר די גבוה. כשהרובוטיקה תתקדם עוד כמה שלבים קשה לי לפקפק בכך שזה יקרה (בשביל מה זה טוב? בשביל לתת לשוטה אחד קצת נחת).
Training data collapse 769313
הפונז • בתשובה לשוטה הכפר הגלובלי יום ו', 7/6/2024, 15:45
אני חושב שמה שבאמת אפשר לבנות כבר היום, ובמחיר לא מאד גבוה, זה רובוט שחנצח בטניס.
אבל זו משימה הרבה יותר קלה.
מי יודע למה?
Training data collapse 769319
ירדן ניר-בוכבינדר  (אתר) • בתשובה להפונז שבת, 8/6/2024, 7:24
לא רק כי רובוטניס יכול להיות הרבה יותר איטי מרובוטניס שולחן?
Training data collapse 769322
הפונז • בתשובה לירדן ניר-בוכבינדר שבת, 8/6/2024, 15:11
לפי התיאוריה שלי - בגלל המרחקים והסרבים.
לדעתי לא קשה לבנות רובוט (והוא ממש לא צריך להראות כמו בן אדם) שכל חבטת הגשה שלו מנצחת.
זה ענין של מהירות חבטה ודיוק ממצב מאד סטטי, אז לא נראה לי שקשה לעשות מערכת מכנית שמהירות הסרף שלה תהיה כמו של השחקן הכי טוב בעולם (לפחות), ודיוק הכוונון שלה יהיה כזה שדה-פקטו בהנתן מיקום השחקן היריב (משימה קלה למצלמה היום) תמיד תהיה זוית ועוצמה של סרף שהוא לא יצליח לענות עליהן.

נשאר רק הקטע של לענות על חלק מההגשות של הצד השני, וגם שם האתגר יהיה בעיקר קצת מכניקה מהירה - מעקב אחרי הכדור עם מצלמה מהירה נראה לי כמו משימה עם קושי בינוני.

סרבים של פינג פונג הרבה יותר טריקיים, בגלל שהם חייבים לקפוץ פעמיים וזה מגביל את מהירות החבטה.
Training data collapse 769463
שוטה הכפר הגלובלי • בתשובה להפונז יום ג', 18/6/2024, 14:06
בינתיים יש הרבה דיבורים אופטימיים, אבל הסרטון שבראשית הכתבה רחוק מלהרשים. לא רק שהרובוט התעשייתי לא היה מנצח בטניס שולחן, אפילו את הצב של אכילס הוא לא היה משיג.
Training data collapse 769320
יובל נוב • בתשובה לשוטה הכפר הגלובלי שבת, 8/6/2024, 8:34
הנה סרטון רלוונטי: Why Don’t We Have Better Robots Yet?
Training data collapse 769327
ירדן ניר-בוכבינדר  (אתר) • בתשובה ליובל נוב שבת, 8/6/2024, 22:19
הסרטון קצת אכזב אותי: לא באמת מפתיע מה קשה לרובוטים לעשות, ועדיין יש פער באינטואיציה: היינו חושבים ששיחה ברמה גבוהה היא אתגר קשה יותר למכונות מלהרים כלי אוכל מהשולחן; והציוד שיש לנו - עיניים, ידיים ומערכת משוב ביניהם - לא נראה על פניו מאוד שונה ממה שזמין או יכול להיות זמין לרובוטים. לא קיבלתי מהסרטון איזו תובה שתגשר על הפער.
Training data collapse 769309
אביב • בתשובה לאריק יום ו', 7/6/2024, 13:19
משום שהנבואה ניתנה לשוטים, אני חושב שזה ראוי שגם אני אוסיף את הניבוי שלי.

למרות שאני מעריך (עד סוגד) מאוד את אוסליבן, אני אשים פה את הפרדיקציה שלי: תוך 5 עד 10 שנים, הבינה המלאכותית עצמה תהיה כלי עיקרי / מוביל ב-Designs ברובוטיקה ונראה קפיצות ביכולות של מכונות שהיום קשה לדמיין. אני חושב שהאדם יאבד את מקומו, די בקרוב, גם במדרג המוטוריקה העדינה/מורכבת. לכן, ההערכה שלי שבעוד 10-12 שנים מהיום, אוסליבן לעומת מכונה יהיה ברמה דומה של מגנוס מול סטוקפיש היום.

הניחוש שלי הוא שהרובוטים של עוד 10-15 שנה לא יהיו שונים ממה שאנו מכירים מסיפורי המד״ב עליהם גדלנו.
Training data collapse 769310
אריק • בתשובה לאביב יום ו', 7/6/2024, 14:07
ובא לאסימוב גואל!
Training data collapse 769311
אביב • בתשובה לאריק יום ו', 7/6/2024, 15:21
החזון של אסימוב עם חוקי הרובוטיקה נראה לי תמים משהו. שדה הקרב העתידי כנראה יכלול נחילים של מכונות השמדה מתוחכמות וחושבות (הרבה יותר מהכלב צעצוע עם שלט רחוק מהוידאו). התאורים הדיסטופיים בסיפורי המד״ב של Frank Herbert או של Philip K. Dick‏1 נשמעים לי יותר קרובים למה שנראה במאה ה-‏21.

אני אתחיל לאמן את הילדים שלי ל-Butlerian Jihad.

_
Training data collapse 769336
שוטה הכפר הגלובלי • בתשובה לאביב יום א', 9/6/2024, 13:16
לא ממש הפתיל הנכון אבל למי יש כוח לחפש...

סקוט אהרונסון ממליץ על המאמר הזה של יוצא OpenAi, שעוסק בעתיד ה AI בכלל ולאו דווקא ברובוטיקה. רק התחלתי לקרוא אבל רצתי לספר לחבר'ה כי עד שאסיים את 165 העמודים של ה"מאמר" (בילדותי קראו לזה "ספר") הוא כבר יתממש או יוכח כשטות והבל.

תקציר מנהלים באדיבותו של coPilot:

Copilot
Certainly! Here’s a concise summary of Leopold Aschenbrenner’s report on Situational Awareness:

OOMs Go Zoom:
Leopold discusses the rapid evolution of AI capabilities, focusing on orders of magnitude (OOMs) of effective compute.
Factors contributing to growth include increased computational power, algorithmic efficiency, and paradigm-shifting developments.
Conclusion: AGI is approaching rapidly1.
Factors in Effective Compute:
Compute: Training language models has become 3,000-10,000 times more computationally intensive from GPT-2 to GPT-4.
Algorithmic efficiency: Advances in machine learning science save compute, adding 1-2 OOMs.
Unhobbling: Paradigm shifts unlock latent model capabilities, further enhancing effective compute1.
In summary, AGI is on the horizon, driven by computational progress and algorithmic innovations. 😊🌟
Training data collapse 769337
שוטה הכפר הגלובלי • בתשובה לשוטה הכפר הגלובלי יום א', 9/6/2024, 13:21
ותקציר התקציר באדיבות השוטה הגלובלי המקומי שלכם: AGI by 2027 is strikingly plausible.
Training data collapse 769338
אפופידס • בתשובה לשוטה הכפר הגלובלי יום א', 9/6/2024, 16:06
לא יכולתי שלא להבחין בצירוף "Leopold Aschenbrenner" שנוגד את כל קונספט התקציר.
Training data collapse 769339
הפונז • בתשובה לשוטה הכפר הגלובלי יום א', 9/6/2024, 16:23
אני תוהה מה אמין יותר? לשאול את ג'פטו לגבי העתיד של AI או לשאול את אדם נוימן לגבי העתיד של WeWork לפני עשר שנים, או לשאול את אילון מאסק לגבי העתיד של מכונית אוטונומית.
Training data collapse 769340
אביב • בתשובה להפונז יום א', 9/6/2024, 16:48
שאלה טובה.

אני תוהה אם זה אמין יותר או פחות מלשאול מפתח/ראש צוות/מתכנת/מהנדס תוכנה לגבי העתיד של AI או אם מכונות יוכלו (בקרוב?) להפוך את מקצועו לחסר ערך.
Training data collapse 769342
הפונז • בתשובה לאביב יום א', 9/6/2024, 20:01
קודם כל, השאלה השנייה שלך הרבה יותר ספציפית מה-AGI הגדול והנורא.
בתור שכזו, הייתי מצפה ממי שינסה לענות לה ש-א. ידע מהן הדרישות מהמקצוע הזה ו-ב. תהיה לו יכולת שערוך לגבי יכולות ה-AI בקרוב.
לגבי א. - נושאי התפקידים שציינת מצויידים בידע רלבנטי למדי כדי לענות על זה.
לגבי ב. - לא יודע. סביר להניח שלמהנדס ממוצע קשה יהיה להעריך התפתחות טכנולוגית כזו שהוא לא מעורב בה.

התשובה המתחכמת - אם הצ'אט ייתן תשובה נכונה יותר מהמפתח, זה רמז טוב לכך שיוכל להחליף אותו בקרוב :-)
Training data collapse 769343
אביב • בתשובה להפונז יום א', 9/6/2024, 20:20
:-)
Training data collapse 769361
שוטה הכפר הגלובלי • בתשובה להפונז יום ב', 10/6/2024, 12:03
המאמר עצמו נכתב בידי אדם (human לא נוימן 😉).
Training data collapse 769312
הפונז • בתשובה לאביב יום ו', 7/6/2024, 15:42
אופטימיות נאה, כשאפילו בקרב חובבי הייפ המכוניות האוטונומיות כבר הפנימו שזה ייקח הרבה יותר זמן ממה שהם חשבו. עשרות שנים יותר.
Training data collapse 769314
אביב • בתשובה להפונז יום ו', 7/6/2024, 15:54
אכן. אבל אין סתירה לוגית בין הכשלון בניבוי בקרב חובבי ההייפ של המכוניות האוטונומיות בעבר לבין כשלון אפשרי בניבוי אחרי האכזבה. אני אכן טוען שה״תיקון״ בניבוי החדש הוא תיקון יתר והוא יתברר די מהר כטעות.

חוץ מזה, אני לא הייתי מכנה את מה שאני אומר כאופטימיות.
Training data collapse 769315
אפופידס • בתשובה להפונז יום ו', 7/6/2024, 17:34
אכן כך. מצד שני, מה שקרה עם מודלי השפה גדול לדעתי יותר מאשר המכוניות האוטונומיות. זה אירע בבת אחת והקדים את זמנו ביחס לציפיות העוסקים בתחום בלפחות עשור אם לא דור.
Training data collapse 767731
אפופידס • בתשובה להפונז יום ד', 13/3/2024, 17:47
כיוונת לדעת גדולים, וזה עובד! - Scientific American
באשר למוח האנושי, יאן לקון אומר שלכאורה מנועי שפה עוברים על כמות לא פרופורציונית של מידע, כזו שאדם לא יקרא בכל ימי חייו, כדי לתת תוצאות מוגבלות. אבל ההשוואה הנכונה ללמידה אנושית, מבוססת לדעתו על ראייה שבה קצב המידע גבוה בשבעה סדרי גודל מאשר בשפה. כלומר כדי ליצור בינה מלאכותית טובה צריך לתת לה ללמוד ממידע סנסורי. מידע חזותי אומנם מכיל המון יתירות, אבל זו עוזרת ל-SSL. הוא מתייחס לכך שגם ללא מידע ויזואלי, וגם אודיטורי, יכול המוח האנושי לגבור את זה הדיגיטלי ומייחס זאת למידע המישושי.

זה מחזיר אותי לשאלה עתיקה בתחום רכישת השפה - כיצד מצליח המוח האנושי ללמוד את השפה כה מהר ביחס לקלט אליו הוא נחשף. בעבר טענתי דברים דומים לשל קון והופניתי אליו ע"י חבר שזכר זאת. אלא שמאז דצמבר 2022 (ולא כפי שנכתב בתגובה 767353), אני פחות סומך על האינטואיציות שלי בתחום. עדיין, בניגוד לטענתו של קון אני חושד שלא כמות המידע ואפילו לא משוב הלמידה העצמית הם שאחראים לרוב ההבדל כאן, אלא, אם לא איבר שפה מיוחד, אז לפחות אלגוריתמי למידה יעילים יותר של המוח. גם בהינתן מידע זעום יחסית, מסוגלים אלו לסנן, לארגן ולעדכן באופן יעיל יותר (מבחינות מסויימות) מאשר אלגוריתמי הלמידה הפשוטים יחסית שהביאו למהפיכת 30 בנובמבר 2022.
Training data collapse 767739
שוטה הכפר הגלובלי • בתשובה לאפופידס יום ה', 14/3/2024, 10:57
המאמר בסיינטיפיק מעניין מאד, ואם יאושש זאת תהיה התפתחות מעניינת - אולי "מהפכה" היא המילה הנכונה יותר (אשאל את ג'פטו) - בתחום למידת השפה עליו אתה מדבר (מה שקרוי: The poverty of the linguistic input). דומני שעד כה הקשר בין BI ל- AI הלך בכיוון של יישום חלקי של מה שנלמד מהמוח לגבי רשתות נוירונים מלאכותיות, וכאן אולי נראה השפעה בכיוון ההפוך.

אישית, אם תוצא לוואי של כל זה יהיה עמעום קל של ההילה סביב ידידנו נועם חומסקי לא אזיל דמעה.
Training data collapse 767743
הפונז • בתשובה לשוטה הכפר הגלובלי יום ה', 14/3/2024, 12:22
עם ידידים כאלה...
Training data collapse 767522
שוטה הכפר הגלובלי • בתשובה לאביב יום ג', 5/3/2024, 10:38
ושוב נגלה שהאייל הקדים את האנושות בכמה עשורים.
Training data collapse 767528
אח של אייל • בתשובה לאביב יום ג', 5/3/2024, 22:26
הטיעון של הוסנפלדר הוא גרסת הצהובון ביחס למה שכתוב במאמרים (לפחות אלו שהובא אליהם קישור). בקצרה, יש מקום לעוד מחקרים אבל לא רציני לטעון שה ai בסכנת קריסה.

המאמר הראשון קשור בצורה מאד קלושה. הוא מדבר על שיטת אימון רקורסיבית: מאמנים מודל 1 על בסיס מידע גולמי והוא מחולל דוגמאות סינתטיות עבור מודל 2 וכן הלאה. זוהי שיטת אימון מקובלת‏1 למודלים - זה לא באמת קשור לזיהום במידע המקורי.

המאמר השני מנסה באמת לסמלץ מצב של מידע גולמי "מזוהם" (תמונת מקוריות + תמונות שיוצרו על ידי ai) ולהשתמש בו כדי לאמן מודלים. אז אכן יש ירידה בביצועים של מודלים שאומנו ע"י מידע מזוהם, אבל המאמר בעצמו מכיל כמה כוכביות גדולות שלטעמי מוציאות את העוקץ מהטענה של הוסנפלדר.

א. כבר במסגרת המאמר הצליחו לפתור את רוב הירידה בביצועים בעזרת self supervised learning
ב. מדובר בניסוי על תמונות בלבד וכאלו שיוצרו ע"י מודל אחד בלבד.
ג. התמונות יוצרו בעזרת פרומפט סינטתי. זה שונה מאד ממצב מציאותי שבו בני אדם יכתבו פרומפט ואז (לפעמים?) יפרסמו את התוצר הזה במקום שיזהם את המידע הגולמי.

---
‏1 "מקובלת" זה ציטוט מהמאמר. אני לא מומחה ai והתגובה אינה מהווה המלצה לאף אחד.
Training data collapse 767531
אביב • בתשובה לאח של אייל יום ד', 6/3/2024, 7:28
יאפ.
חזרה לעמוד הראשי המאמר המלא
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים
האייל הקורא RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש © כל הזכויות שמורות