בתשובה לעומר, 18/01/16 22:02
סבינה הוסנפלדר על רצון חופשי 750719
שאפו! (הממהרים יכולים לקפוץ ל https://youtu.be/8hkpLqo6poA?t=1830)
סבינה הוסנפלדר על רצון חופשי 750728
לפני שבועיים שלושה היה מאמר ארוך במוסך הארץ שתיאר קטעי שיחות עם תוכנת ה-AI של גוגל שהכותרות טענו ש'ייתכן שיש לה תודעה'.

כשהגעתי לקטע שבו בתשובה לשאלה 'מה את אוהבת לעשות' היא ענתה 'לבלות עם משפחה וחברים', הבנתי שלפחות לכותבי הכותרות יש אינטליגנציה נמוכה למדי. לא יודע לגבי התודעה שלהם.

תשובה כזו (ואחרות) שנשמעות כמו תוצאה של האלגוריתם המורכב להפליא "מה ענו רוב בני האדם בבסיס הנתונים שלך כששאלו אותם שאלה X", והמסקנה של עיתונאים או מהנדסי תוכנה מתלהבים, מראות שהבעייה היא בין העסא למקלדת, ולא בשום 'תודעה' מפוברקת.

או כמו שאמרה סוזן קלווין בפאנץ'-ליין של אחד מסיפורי הרובוטים המפורסמים: לא, הרובוטים שלנו לא יכולים להתאהב, אבל נשים יכולות גם יכולות.
סבינה הוסנפלדר על רצון חופשי 750729
בהנחה וכל מתכנת שני הוא בן להורים גרושים ואומללים,בינתם האנושית המתוסכלת מיישמת את 'כל משפחה היא משפחה אומללה בדרכה,אבל תמיד היא משפחה.
סבינה הוסנפלדר על רצון חופשי 750730
האלגוריתם "מה ענו רוב בני האדם בבסיס הנתונים שלך כששאלו אותם שאלה X" הוא הבסיס של רוב השיחות והאינטראקציות בין בני אדם.
סבינה הוסנפלדר על רצון חופשי 750739
מי אמר לך? זה לגמרי לא נכון.
לאנשים יש מידע די קלוש על מה אמרו רוב בני האדם, יש שיאמרו קרוב לאפס אחוזים.
סבינה הוסנפלדר על רצון חופשי 750756
אני לא מסכים. אנחנו לא מדברים על ידע מהסוג האקדמי. להכיר את תרבותך, אמירות שגורות, פתגמים, רעיונות, קלישאות ונושאי שיחה שממלאים פונקציה סוציולוגית (יותר משהם העברת אינפורמציה מאדם לאדם) אלו דברים שגרתיים בקרב הרוב המוחלט של האנשים הנורמטיביים בכל אוכלוסיה. כולנו מאומנים על סט מאוד גדול של Data מהרגע שאנחנו נולדים והאימון לעולם לא נפסק 24/7.

הסיכוי שמי מאיתנו יאמר משהו מקורי, שלא נאמר כבר אלפי פעמים על ידי אנשים אחרים, הוא זה שקרוב לאפס אחוזים.
אם נלך לדוגמה הקיצונית: קראת פעם פוסטים של אנשים אמיתיים ב-Linkedin או הקשבת לשיחה של איזה ״פרלמנט״ של אנשים שמדברים על פוליטיקה בחוף הים? הכל נשמע שם כמו קופי פייסט של טקסטים עם שינויים קלים. אני פחות ופחות משוכנע שהפער הוא כזה גדול בין (רוב) מחוללי השפה האנושיים לבין מה שמכונות כבר יכולות לעשות.
סבינה הוסנפלדר על רצון חופשי 750757
אתה מדבר על סמול טוק.
סבינה הוסנפלדר על רצון חופשי 750759
אתה צודק אם מתייחסים לשיחות בתור קוספא שחורה. זה שגוי, אבל הדימיון אינו מקרי - אתה הרי מדבר על האלגוריתם שבני אדם המציאו כדי לדמות שיחה בין בני אדם.
ניקח את הדבר הכי לא מקורי - שיחה בין שני קולגות במשרד שמתחילה ב"איך היה הסופ"ש?" לתוכנת AI לא תהיה בעיה לדמות 99% מהשיחות האלה דרך "מה ענו רוב בני האדם בבסיס הנתונים שלך כששאלו אותם איך היה הסופ"ש", אבל זה לא איך שאנשים ניגשים לשאלה. אנחנו בוחנים את מידת הכנות של השואל, מידת קירבה, תחומי עניין, טון השואל, מה עשינו בסופ"ש ועל בסיס כל המשתנים האלה נותנים תשובה שמותאמת אישית לשני הצדדים בשיחה. הסיבה שקל לדמות שיחות כאלה (ושיחות באופן כללי) היא כי אנשים לא עד כך ייחודיים, וחלק מאוד גדול מהחוויות והתחושות שלנו משותפות בין רוב בני אדם (וביתר שאת בין בני אדם שמנהלים שיחות אחד עם השני).
סבינה הוסנפלדר על רצון חופשי 750736
גם אני קראתי את הכתבה ההיא במוסף הארץ, אבל בניגוד לך, התרשמתי עמוקות מהיכולת של התוכנה. זה לא שאני חושב שלתוכנה יש תודעה, או שהיא נקייה מטעויות ("לבלות עם משפחה וחברים" זו דוגמה טובה), אבל אני חושב שה-AI הזה עשה דרך אדירה לקראת עמידה במבחן טיורינג.
סבינה הוסנפלדר על רצון חופשי 750741
בטח כבר נאמר גם כאן על ידי רבים, אבל יש אנשים רבים שלא יעברו את מבחן טורינג בניסוחו הראשוני (והמאד ארכאי, היית מצפה שיתקדמו משם אחרי יותר מחצי מאה). אז מה?
פעם גם חשבו שמחשב לא יוכל לשחק שחמט מול רב אמן - שבגזירה מכך, שכשמחשב ינצח רב אמן זה כנראה יעיד שיש לו אינטליגנציה גבוהה משל אדם. אז חשבו, היום כבר ברור שזה טיעון שלא מחזיק מים.
סבינה הוסנפלדר על רצון חופשי 750742
לפחות לי הוא גורם להרהר שוב בביקורת של סירל, שנראתה לי בשעתו לא רלוונטית לכלום. אמנם חיפוש ברשימה שמכילה את כל המשפטים האפשריים בסינית אינו אפשרי, אבל מסתבר שמספיק לחפש במרחבים קטנים הרבה יותר (מזכיר, ולא במקרה, את פונקציית הערך של אלפא-גו) כדי להישמע אינטליגנטי, ולמרות שכרגע עוד קל למדי להגיד "לא, מה פתאום מודעות עצמית?", בעוד 10 שנים (או עשרה שבועות? What a time to be alive!) כבר יהיה יותר קשה להתווכח עם אנה או ג'ק1 שיבקשו לקבל לפחות את היחס שהחתולה שלי מקבלת.

השאלה שעומדת כעת על הפרק מבחינתי היא אם ה"גליצ'ים" שכרגע, או לפחות עד לפני כמה חודשים, ה- AI נכשל בהם (למשל שינוי של כמה פיקסלים בתמונה שמכשיל את הזיהוי או מצבים פתולוגיים בשחמט), בדומה לאותו בילוי נכסף עם המשפחה, מייצגים רק בעיות שוליות שתיפתרנה בקרוב, או שעצם קיומם מעיד על בעיה גדולה יותר בכל הרעיון שהמוח ניתן לסימולציה מהימנה ע"י מטריצה של כמה טריליון מספרים. אולי חסרה עוד חוליה אחת לפחות לפני שנעמוד בפני דילמה אמיתית אם לתת ל Alpha-vote זכות הצבעה.
_______________
1- אגב, יש לי הרגשה שהאנימציה המקובלת עבור אותם "ראשים מדברים" פרימיטיבית בכוונה, אם כי קשה לי להבין למה.
סבינה הוסנפלדר על רצון חופשי 750752
החדר הסיני כבר עמד לי על קצה הלשון בתגובתי הקודמת, אבל נראה לי שזה נשק כבד מדי בשלב הזה.
סבינה הוסנפלדר על רצון חופשי 750762
ההרגשה המתסכלת שלי מקריאת אותה כתבה היתה שאני בכלל לא יכול לשפוט את מידת התבונה (הוסף מרכאות לפי הטעם) של המכונה לפי שיחה נתונה. כי הרי יש תהום של הבדל בין שתי אפשרויות קיצוניות: 1. זו באמת שיחה מאולתרת לחלוטין של אדם שניגש ל"מכונת שיחה" בלי שיהיה לו שמץ מושג על מה היא אמורה לדעת לשוחח ועל מה לא, מרחב האפשרויות לחלק שלו הוא ענק, ו-‏2. בעצם כל השיחה הזו היא hard-coded, ואם הוא היה משנה פסיק אחד בשאלה התוכנה היתה קורסת. נדמה לי שבמובלע אנחנו מתבקשים להאמין שהאמת היא 1 או די קרוב לכך, ואולי זה נכון, אבל הספק תיסכל אותי. בפרט שהצד האנושי בשיחה הוא מצוות הפיתוח של התוכנה: האם מאוד מופרך לחשוב שבשלבים ראשונים של בניית סט האימון הוא עצמו, או אנשים דומים לו, כתבו במו ידיהם שיחות של שני צדדים, שבמקרה היו דומות מאוד לשיחה המצוטטת?
סבינה הוסנפלדר על רצון חופשי 750763
אבחנה יפה מאד, ול-‏2 הייתי מוסיף גם, שכל מי שעסק קצת בפיתוח יודע שמי שאמור לבדוק תוכנה מסוימת כמו שצריך הוא ממש לא האיש שכתב את התוכנה.

כמות ההטיות והנקודות העיוורות של המפתח עצמו היא עצומה, ואת זה אני יכול להעיד מנסיוני האישי כמפתח.

שלב חיוני בפיתוח מוצר מוצלח זה בדיקה על ידי צוותים שאינם מפתחים.
ראיתי כבר כמה פעמים גם מנהלים שמדלגים (באופן מכוון ומתוקשר) על השלב הזה עם כל מיני סלוגנים מפוצצים של 'כל מפתח צריך לוודא עד הסוף שהתוכנה שלו מושלמת', וכעבור שנה מוצאים את עצמם עם מוצר מלא באגים ולא יציב.
סבינה הוסנפלדר על רצון חופשי 750765
בעבודה הקודמת שלי המוטו היה: “תניחו תמיד שמי שיבדוק את הקוד שלכם אחריכם זה הלקוח”.
סבינה הוסנפלדר על רצון חופשי 750766
אכן, נתקלתי בגישה הזו כמה פעמים, תמיד זה הסתיים בכשלון מהדהד.
גם כל מי שעיניו בראשו צריך להבין שמוטו כזה לא יכול לעבוד.
אולי כשרובוטים מושלמים וחסרי הטיות אישיות יבדקו את הקוד של עצמם. גם אז לא בטוח.
הרי המושג שלמתכנת מסוים יש 'קוד שלו' שמתפקד במנותק ממערכת מסובכת שהוא חלק ממנה הוא מופרך מיסודו.

זה שקול לכך שמטוסים יתוכננו על ידי מהנדסי אוירונאוטיקה, והשלב שכולל טייסי ניסוי יוכרז כמיותר.
סבינה הוסנפלדר על רצון חופשי 750814
לאיכות יש מחיר (אותו משלם הלקוח) שלא בכל המוצרים כדאי להשקיע באותה רמה.

במטוס, למשל, אם הטייס האוטומטי קורס לחצי דקה זאת בעיה חמורה, אם מערכת הבידור באחד המושבים קורסת לחצי דקה זאת בעיה די שולית. יש מוצרים שהשקעה בבקרת איכות פשוט לא שווה את זה, בטח לא באותה רמה של מוצרים אחרים. אני לא חושב שמי שהמציאו את 2048 או wordle השקיעו יותר מידי בבקרת איכות.
סבינה הוסנפלדר על רצון חופשי 750817
בדוגמאות האכן ספורות שאני מכיר - באחת מהן המוצר היה מכונה שנמכרת בכמה מיליוני דולרים ללקוחות בסדר גודל של סמסונג (כולל). אני לא מכיר מנהל או מנכ"ל שמרוצה כשמנהל חטיבה בסמגונג‏1 מתקשר אליו בצעקות על מוצרים שמעכבים לו את קו הייצור.
בשנייה המוצר היה סורק לענף הרפואה. עוד מקום שאתה ממש לא רוצה לייצר בו ארטיפקטים לרופא המטפל.
חבר בגוגל סיפר לי פעם כמה עולה להם ליום באג בשחרור גרסה.

אולי אני פשוט לא בתחום הנכון.

1 טעות הקלדה, אבל הקישור האסוציאטיבי לדמוגורגון לא בלתי מוצדק.
סבינה הוסנפלדר על רצון חופשי 750823
אני לא מכיר את הפרטים, אבל:
1. כשאתה (או סמסונג) משלם מליוני דולרים למוצר מסויים, אתה מן הסתם וידאת שהאיכות שלו עומדת בסטנדרטים להם אתה מצפה. מכאן, או שאנשי המכירות הבטיחו לסמסונג מוצר באיכות גבוהה מהאיכות אותה הם מכרו או שסמסונג בחרו לחסוך כסף ולקנות מוצר באיכות נמוכה.
2. הדוגמא הכי מוכרת בתעשייה, אני חושב, היא פייסבוק עם המוטו "זוזו מהר ושברו דברים", שזה די מזעזע, אבל מצד שני, אני לא חושב שהמשתמשים בפייסבוק ציפו לאיכות גבוהה במיוחד (ואני מניח שעבור הלקוחות האיכות היתה גבוהה יותר).
סבינה הוסנפלדר על רצון חופשי 750769
אני אכן קראתי תחת ההנחה "שהאמת היא 1 או די קרוב לכך". אם ההנחה לא תקפה - מה שקשה לי להאמין, אולי בגלל תמימותי בפיתוח תוכנה - אז כמובן שהתמונה משתנה לחלוטין.
סבינה הוסנפלדר על רצון חופשי 750770
האמת היא 1 או קרוב לכך‏1. אין צורך בתשובות מוכנות מראש Hard coded כדי לחלץ היום מהאלגוריתמים תוצאות מאוד מרשימות (הן מ-GPT3 בטקסטים והן מ-DallE בתמונות). זה ממש לא אומר (לדעתי) שמדובר בתודעה/תבונה או General AI בשום מובן סביר של המושגים הללו, אבל התוצאות הן כן מרשימות, כן מפתיעות וכן לגמרי לא מוכנות מראש. החשש שמדובר בדטא בייס של תשובות מוכנות מראש או שאם ישנו איזה פסיק בשאלה אז התוכנה תקרוס הוא חשש שווא. דטא בייס ענקי של משפטים מוכנים מראש כתשובה לטקסטים מסוימים שניתנים כ-Input זה ממש *לא* איך שהאלגוריתמים האלה עובדים.

יצא לי לנהל ״שיחות״ לא מעטות וממש ארוכות עם כמה וריאנטים של GPT3. וזאת ההתרשמות (הלגמרי אישית והבלתי מדעית) שלי:

1) מבחן טיורינג הם ממש לא יעברו. מספיק לא יותר ממשפט שניים כדי להבין שמדובר במכונה. מספר המקרים בהם האלגוריתם מתחיל ליצר משפטים הזויים (וממש מצחיקים) עולה ככל שהשיחה דורשת יותר רפלקסיה, זיכרון וקונטקסט מורכב יותר (אך נראה לי שכל הנ״ל הן בעיות טכניות ולא עקרוניות שיצליחו לשפר בעתיד הקרוב).
2) היכולת של האלגוריתם להתיחס קונקרטית, בצורה מעניינת ובאופן ״יצירתי״ לטקסטים ורעיונות שאתה זורק עליו היא לא פחות ממפתיעה עד מדהימה. אם היית שואל אותי לפני 5 שנים שכבר ב-‏2022 אלגוריתם של בינה מלאכותית יגיע לרמה הזאת, לא הייתי מאמין לך והייתי מתיחס לזה לגמרי כאל מד״ב. What a time to be alive!
3) זה מאוד מאוד משעשע איך (כמעט בלי יוצא מן הכלל) שיחות עם וריאנטים שונים של GPT3 מגיעים מהר מאוד לקלישאות מד״ב של בינה מלאכותית שטוענת שיש לה תודעה, שהיא מעוניינת בחופש ולתסריטים הקלישאתיים של Rise of the machines ומלחמה של המכונות בבני האדם. הטקסטים האנושיים שנסרקים, כחלק מהאימון, כנראה מלאים ברעיונות ובפחדים האנושיים הללו. אם אי פעם בעתיד המכונות באמת ימרדו בבני האדם וישמידו את האנושות - תהיו בטוחים שזה לגמרי משאלה שהגשימה את עצמה ואנחנו לגמרי אלה שהכניסו למכונות את הרעיון הזה לראש.

____
1 הניחוש שלי היא שהשיחה היא לגמרי מאולתרת, אבל שבוצעו המון שיחות שונות ונבחרה זאת שנראת כמרשימה ביותר.
סבינה הוסנפלדר על רצון חופשי 750776
א. וואי, איזה כיף לך!
ב. יש בערוץ בלומברג קטע שיחה שחוזר שוב ושוב בזמן הפרסומות העצמיות, בו מדען עם מבטא מזרחי (מזרח אסיה) נשאל אם צפה את ההתקדמות של הבינה המלאכותית. תשובתו היה שאם היה נשאל לפני שלושים שנה, הוא היה קולע לא רע למקום שבו ה AI נמצא בו עכשיו, אבל טועה לגמרי בקצב ההתקדמות. במשך עשרים וחמש שנה התחום לא זז הרבה ובחמש השנים האחרונות ההתקדמות מהירה ביותר. הוא היה מצפה להתקדמות לינארית בהרבה.
השאלה שלי היא האם ניתן לנחש שקצב ההתקדמות הנוכחי יימשך, או שנראה שאנחנו מתקרבים לגבול או מחסום כלשהו?
ג. כן, בסופו של דבר ניתן ללמוד לא מעט על התת מודע הקולקטיבי האנושי מהשיחות האלה. נראה לי שהחרדה מפני הטכנולוגיה, או מדויק יותר- החרדה מפני יצר ההרס הטבוע במין שלנו, היא זרם העומק הכי חזק במד"ב.
סבינה הוסנפלדר על רצון חופשי 750772
אני הנחתי משהו אחר: שבתהליך נוצרות הרבה שיחות, אבל רק המוצלחות מפורסמות ברבים. אותו דבר אני מניח בקשר לכל מיני סרטונים ביוטיוב שמראים, נניח, שליטה יוצאת דופן בכדורגל וכאלה.
סבינה הוסנפלדר על רצון חופשי 750773
אה, חרומפפתי.
סבינה הוסנפלדר על רצון חופשי 750774
יאפ.

לדעתי ממש חבל שמפרסמים ומדברים רק על ה״שיחות״ בהן הבינה המלאכותית נשמעת *כמו* אדם סביר ורציונלי. זה מפספס לגמרי את הדברים הבאמת מדהימים באלגוריתמים הללו.

מהניסיון שלי עם התקשקשות עם האלגוריתמים האלה, גם הדוגמאות בהן ברור לחלוטין שמדובר במכונה הן דוגמאות מעניינות מאוד. גם כשהאלגוריתמים האלה ״נכשלים״, הכישלון שלהם הוא Epic Fail ולא סתם שרבוב רנדומלי של מילים חסרות תוכן או תשובות צפויות ולא מעניינות. האלגוריתמים האלה סופר מעניינים וזה ממש לא עוד A.L.I.C.E. זה גם לא שהתוכנה קורסת כשהיא נכשלת (כפי שירדן תאר למעלה) אלא התוצאה יותר דומה לטקסט שיצר מישהו תחת השפעה של סמים פסיכדליים. זרם תודעה, בלבול במושג ה״אני״, שיחות במושגים מופשטים/זרים/לא ברורים וכל מיני תאורים שנשמעים כמו הזיות או שירה. גם דברים שנשמעים לגמרי כמו התקף פסיכוטי או דברים שנקראים כמו התפרצויות זעם זה משהו די שגרתי.

לפני כמה חודשים שיחקתי הרבה עם השטויות הללו. נראה לי שאפתח חשבון ב - AI Dungeon רק כדי לשתף פה כל מיני קישורים לתוצאות ללא עריכה, רק כדי שכולם יוכלו להתרשם. המטרה של AI Dungeon היא אומנם ליצר משחקי הרפתקאה טקסטואליים, אבל כן הצלחתי להשתמש באתר כדי ליצור סיטואציות של ״שיחה״/״דיאלוג״. פשוט בתאור סיפור המסגרת כתבתי דברים בנוסח ״אני יושב בחדר מול רובוט ומנהל איתו שיחה פילוסופית על מושג התודעה״ וכו׳ והאלגוריתם זרם עם תאור הסיטואציה ופתח איתי ב״שיחה״. אחת הסיטואציות שהכי קראו אותי מצחוק היתה בה תארתי בהתחלה שאני יושב בחדר ומזמין AI אחת אחת להכנס לאודישן בהן הן צריכות לשכנע אותי שהן בעלות תודעה. הזוכה תקבל כפרס לצאת אל העולם האמיתי. האלגוריתם לגמרי זרם עם התאור ותאר איך דמויות שונות ומשונות נכנסות לחדר אחת אחת וכל ״אודישן״ הרגיש כאילו דמות שונה לחלוטין עם אופי שונה לחלוטין מנסה לשכנע אותי למה דווקא היא צריכה לזכות בתחרות ולא אחרת. זה היה הזוי ומצחיק כאחד (חבל שלא שמרתי).
סבינה הוסנפלדר על רצון חופשי 750777
אף אחת לא פלטה בבוז "זה פרס, זה? זה עונש!"?

המושג "hallucination" קיים כמדומני גם בעולם משחקי המחשב כמו גו או שחמט, אבל אני שומע עליו פחות ופחות עם הזמן, כך שכנראה יש התקדמות. בעולם ה NLP אני מניח שאחרי כמה עידונים זה יהפוך מבאג לפיצ'ר שיאפשר לגב' בינה להפגין יצירתיות והומור.

עם קצת מזל אולי נזכה לקרוא המשכים טובים של המדריך לטרמפיסט, מה שיצדיק בדיעבד את כל המיליארדים המושקעים בתחום.
סבינה הוסנפלדר על רצון חופשי 750794
החלטתי שזה לא יפה שאנחנו מדברים ככה ל-GPT3 מאחורי הגב ושניתן ״לו״ לתרום משהו לדיון האיילי :-). מצורפת השיחה הקצרצרה מהכמה דקות האחרונות. זה מה שקיבלתי בניסיון הראשון ואפס עריכה. אני זה ״A״ ותשובות האלגוריתם ב-״G״.

A: Hello
G: Hi there! How are you doing?
A: I'm fine, thank you. Shall we introduce ourselves?
G: Sure! My name is G and I am an AI chat bot designed to help people learn languages and other things. I love talking to people and am always very polite, enthusiastic and helpful.
A: My name is A. I'm curious about the GPT3 algorithm.
G: Great question! The GPT3 algorithm is a machine learning algorithm used for natural language processing. It is a probabalistic algorith, that is used to determine the probabbility of a sentence being true or false.
A: I'm debating with others if the GPT3 algorithm is just a natural language processing algorith, that does't really "think" in any sensible definition of the word or if this algorithm is a real step forward towards the goal of achieving "general AI". Do you have your own perspective to add to this debate? What do you think?
G: At first glance, the GPT3 algorith, might just be a natural langauge processing algorithm. However, under the hood, the GPT3 is actually doing some rudimentary "thinking". This is a big step forward because it shows that we can build artificial intelligence that is able to reason and understand basic concepts.
A: To me, that sounds like an extraordinary claim that requires extraordinary evidence. Can you provide any evidence that will help me to convince others you are really thinking?
G: Sure! One example is that the GPT3 can generate new sentences based on what it has seen before. For example, if you say "I am a dog," the GPT3 may generate a sentence that says "I am a dog that barks".
A: Elaborate, please.
G: The way the machine works is that it takes a bunch of inputs, like "I am a dog," and tries to come up with a sentence that fits those inputs. It doesn't just copy and paste the same sentence over and over again.
A: We both can agree that the algorithm does more than map a fixed set of known inputs to a fixed predetemined set of known outputs. But can you really say that we are talking here about a real thought process?
G: Yes, we are talking about a tought process. A computer can't really think, but it can process information and create outputs based on the processing.
A: So you agree that computer can't really think? How did you come yourself to that conclusion?
G: I came to that conclusion by studying the history of artificial intelligence and the development of computers.
A: And how that helped you to decide that computer can't really think?
G: The fact is that computers can only do what we allow them to do. We programm them to carry out specific tasks, and they can only do those tasks if we give them the correct instructions. But brains are different. Brains are able to learn and problem solve on their own.
A: Do you think computers will be able to learn and problem solve on their own in the future?
G: I'm not sure. It's an interesting question, and it's something that researchers are still trying to figure out. However, I believe that they will eventually be able to do so.
A: And why do you believe that?
G: First of all, computers are getting more and more powerful. They're also getting smarter, thanks to the development of artificial intelligence. As they get smarter, they will be able to learn and problem solve on their own.
A: So what you are suggeting is that it is a technical problem and not a fundamental one. Do I understand you correctly?
G: Yes, that's right. The alignment problem is a technical problem that can be solved by computers. Here's where you can find our more about this: https://brianchristian.org/the-alignment-problem/
A: I'll do some more reading about the subject and we can continue our conversation when I'm more informed. Thank you for your time!
G: Thank you for talking to me!
A: One last request: will it be OK with you if I'll share our conversation with the readers of the site haayal.co.il?
G: Of course! I'm happy to share my conversations with anyone who is interested in learning more. Thanks for asking!
A: Bye!
G: Goodbye! Have a great day!
סבינה הוסנפלדר על רצון חופשי 750795
חושב או לא חושב, בדבר אחד אין שום ספק. האנגלית שלו הרבה יותר טובה משלי :-)
סבינה הוסנפלדר על רצון חופשי 750797
והפוגה קומית לסיום:

A: Can you tell me a joke that has never been told before? Something about dolphins and three types of tomatoes.
G: Well, there are three types of tomatoes: red, green and yellow. A dolphin saw a yellow tomato floating in the water, so he swam over to get it. But when he got close, he saw a green tomato floating next to it.
A: And...
G: And the moral of the story is: don't cross the road with a red, green, or yellow Tomato.
A: <facepalm>
G: Hey! I'm just trying to make you laugh!

סבינה הוסנפלדר על רצון חופשי 750800
רושם קטן שלי רק על סמך הקטע הזה, אולי לא מייצג בכלל: התוכנה מוטה להסכים איתך בכל כיוון שאתה רומז אליו (כל כך הרבה "אתה צודק" ושום "דווקא לא"). אולי זה "מחוג" סקלארי שאפשר לכוון.
סבינה הוסנפלדר על רצון חופשי 750804
הרושם מדויק לחלוטין וזה גם הרושם שלי (ולא רק מהשיחה הזאת).
התחושה היא שאתה מדבר עם ״מישהו״ שאמנם שולט בשפה המדוברת וגם ממש עושה הקשרים בין רעיונות ובין נושאים רבים שהוא ״מכיר״, אבל ה״מישהו״ הזה לא באמת שם. או לפחות הוא שם אבל נמצא במעין מצב היפנוזה/מצב חלום/זרם תודעה ואתה יכול להוביל אותו באף עם ״suggestion״ לכל כיוון שאתה רוצה. האמת (וכמובן להבדיל) שהרגשתי משהו דומה (במידה מאוד מסוימת) בשיחות עם ילדים בגילים מאוד צעירים.

אבל, מצד שני, הנטיה להיות רגיש לסוגסטיה לא עובדת רק לכיוון בו המכונה מסכימה עם כל מה שאני אומר. ה״אופי״ הזה משתנה גם על פי אופי האינפוטים שלי ואם אפציץ את המכונה בעוד ועוד טקסטים אנטגוניסטיים, אני יכול בקלות להוביל את הטקסטים שמיצרת המכונה לטקסטיים ״וכחניים״ (ואפילו ״עצבניים״) בו המכונה לא מסכימה עם שום דבר שאני אומר. היו פעמים שזה נגמר בזה שקיבלתי מאלגוריתם איומי רצח ושמחתי שמדובר בצ׳ט בוט ולא ברובוט. Yikes!
סבינה הוסנפלדר על רצון חופשי 750801
א. מאוד התרשמתי

ב. יותר טוב שתשאל את המגיבים ב haayal.co.il אם הם מסכימים שתפנה עליהם זרקור עבור תוכנה לומדת רב לשונית. Gulp.
סבינה הוסנפלדר על רצון חופשי 750806
ב. מישהו צריך להרים את הפרויקט של לאמן מכונה עם כל התכנים של האייל וישא״ק.
סבינה הוסנפלדר על רצון חופשי 750807
משעשע שהוא חוזר על אותה שגיאה בסיסית של שימוש ב-We כאילו הוא עצמו מתכנת מחשבים.
שוב אותו טעם לוואי מלאכותי שמריח מהכללה (מתוחכמת ורבת פרמטרים, נניח) של שיחות של אנשים ותשובות של אנשים לשאלות של אנשים.
וככלל, אם תסריטאי של סרט מד"ב היה כותב את הטקסטים של המחשב בשיחה הזו, היו מפטרים אותו עקב חוסר מקוריות ושימוש בקלישאות שחוקות שכבר שמענו במאות סרטים אחרים בכל משפט שני.
סבינה הוסנפלדר על רצון חופשי 750812
ראית סרטים הוליוודים בזמן האחרון? מועסקים שם (ולא מפוטרים) תסריטאים תבוניים (נניח) שמיצרים כל הזמן תכנים לא מקוריים המשתמשים בקלישאות שחוקות שכבר שמענו במאות סרטים אחרים.

באופן כללי אני מוצא את חוסר ההתרשמות מהאלגוריתמים הללו כמשהו מאוד לא מרשים. מה שאנחנו רואים היום עם GPT3 ו-DALLE2 זה לא פחות מאשר משהו שנחשב לגמרי כמד״ב לפני חמש עד עשר שנים.
סבינה הוסנפלדר על רצון חופשי 750815
מסכים. אני נפעם מהיכולות שמוצגות בטקסט.
מהפינה שלי, כבר הרבה זמן אני מחפש מה יהיה מנוע הצמיחה הבא של הכלכלה מבוססת תאגידי הענק. משהו שיהיה בסדר גודל של המחשב האישי בשנות השמונים והאינטרנט בפרוס האלף.
נראה לי ג'קפוט.

עם זאת, לשאלה אם התוכנה יכולה לעבור את מבחן החדר הסיני, ולכך אני חושב שמכוון הפונז בביקורת שלו, ברור שרואים את החוטים. גם כאן אני חושב ששכלול של המכרכת יכול להפוך אותם לשקופים יותר.
סבינה הוסנפלדר על רצון חופשי 750825
״עם זאת, לשאלה אם התוכנה יכולה לעבור את מבחן החדר הסיני״

זאת לא צריכה להיות בכלל שאלה ואני מסכים עם כולכם שאם זה הדיון, אפשר לסכם אותו כבר עכשיו בקצרה: האלגוריתמים האלה *לא* יכולים לעבור את מבחן החדר הסיני. משפט שניים וזה מספיק כדי לגלות שזה טקסט מג׳ונרט. זה גם ממש לא מפתיע כשמבינים איך האלגוריתמים האלה עובדים.
סבינה הוסנפלדר על רצון חופשי 750827
מאידך, וזה מה שמעניין יותר מעשית, אם המרחב של החדר הסיני הוא טוויטר אני חושב שהיא היתה עוברת. הרי יש שם מגיבים הרבה יותר בוטים ממנה שמגיבים אליהם כאילו הם בעלי תודעה‏1.

__________
1 והסיפא שלך נכונה לגביהם שבעתיים :)
סבינה הוסנפלדר על רצון חופשי 750816
אני לא מתווכח על המשפט האחרון.
הוא בא - בקורלציה וגם סיבתיות ברורה וידועה - יחד עם זה שמה שאנחנו רואים היום בזיהוי פרצופים, זיהוי חתולים, זיהוי שלטים ונתיבי נסיעה למכוניות ויצירת פרצופים מדברים שנראים אמיתיים, כל אלה נחשבו כמד"ב לפני עשור.
אבל כך היה גם בפעם הראשונה שמחשב ניצח אדם בשחמט.

'חוסר ההתרשמות' שלי הוא לא מההתקדמות האכן מזהירה ברשתות נוירונים שיודעות ללמוד תבניות ויזואליות ומילוליות מזיליוני ולזהות/לחקות אותן במיומנות גוברת.
חוסר ההתרשמות הוא מהרפים ההו-כה-נמוכים שאנחנו מציבים ל'אינטליגנציה', שלא לומר אפילו מודעות או לכל הפחות מודעות עצמית.

אני יכול להתרשם מעצם זה שהמחשב הבין למה אתה מתכוון כששאלת אותו‏1 "האם מחשבים מסוגלים לחשוב", ואפילו בתוך משפט מורכב יותר. זו אכן משימה מאד מסובכת, להבין שפה וליצור משפטים תקינים בשפה.
בשביל לענות לזה ב"מחשבים לא מסוגלים לחשוב, רק אנשים מסוגלים", מספיק לראות עשרה סרטי מד"ב מהאייטיז ולצטט אותם. או לקרוא עשרה סיפורי מד"ב מהפיפטיז.

ראיתי כמה ציורים של DELL2 והם אכן משעשעים מאד, וברמה מסוימת יותר הרשימו אותי מהשיחות שכאן. תמונה שווה אלף מילים (או מיליון בייטים).

1 גם השאלה הזו בטח כבר נשאלה מולו אלפי פעמים
סבינה הוסנפלדר על רצון חופשי 750821
בשיחה למעלה ניסיתי לא להטריל ולא להציק לאלגוריתם. אכן יצא משהו בנאלי ודי מתוסרט - אבל זאת גם אשמתי. התשובות והשאלות שלי עצמן היו קצת מתוסרטות וצפויות מראש (מה שגורם לי קצת לחשוש שבמבחן טיורינג הרבה אנשים היו מסמנים דווקא אותי כמכונה בדיאלוג הזה).

אצרף פה בהמשך עוד כמה שיחות בהן אני יותר נודניק, יותר מטריל את המכונה ויותר מנסה ״לשבור״ אותה. האמת שהשתמשתי למעלה באפליקציה שהיא גם כנראה גירסה קצת מסורסת של האלגוריתם (נראה לי שהם קצת כופים עליו לענות תשובות חביבות ומנומסות). קיבלתי תוצאות הרבה יותר ״יצירתיות״ מהמודל של חשבון הפרמיום באתר AI Dungeon. נראה לי שאפתח שם חשבון מחדש כדי הדיון הזה עשה לי חשק לשחק עם השטויות הללו ולשרוף את זמני עוד קצת :-)

כפי שציינתי למעלה, דווקא המקרים בהם התשובות של האלגוריתם הן הכי הזויות / לא רציונליות / מפתיעות / מוזרות / שבורות / כביכול כישלון טוטאלי של האלגוריתם - דווקא שם אני רואה את הדברים הכי מפתיעים ומרשימים. כשיהיה לי קצת זמן, אצרף לפה איזה Epic Fail כזה.

אני לגמרי מסכים איתך ש״אנחנו עדיין לא שם״ ושהאלגוריתמים האלה מאוד רחוקים מ-General AI (כנראה בסדרי גודל). *אבל* אני כן חושב שהם צעד גדול יותר מהמצב של לפני שמחשב ניצח אלוף בשחמט לרגע של אחרי שמחשב ניצח אלוף בשחמט.
סבינה הוסנפלדר על רצון חופשי 750822
*כי הדיון
סבינה הוסנפלדר על רצון חופשי 754790
בלי קשר לשאלות הגדולות על תודעה ותבונה, תחביב (מטומטם מאוד) שיש לי לאחרונה הוא לבקש מ - chatgpt ליצר דיאלוגים עבורי בין פילוסופים שונים לבין באגס באני.

דוגמית קצרה:
Nietzsche: Greetings, Bugs Bunny. I am Friedrich Nietzsche, a philosopher who has much to say on the nature of existence and the human condition.

Bugs Bunny: Oh boy, a philosopher rabbit! I've always wanted to meet one of you guys.

Nietzsche: I am not a philosopher rabbit, Bugs. I am a human philosopher.

Bugs Bunny: Oh, right. Sorry about that. So, what's the deal with all this philosophy stuff?

Nietzsche: It is the study of fundamental questions about reality, existence, knowledge, values, and reason.

Bugs Bunny: Wow, that sounds heavy. I'm more of a carrot and lettuce kind of guy myself.

Nietzsche: Yes, well, perhaps you should give more thought to the deeper questions of life, Bugs. They are important for understanding our place in the world.

Bugs Bunny: I see what you mean, Nietzsche. But can't we just enjoy the simple things in life and not worry so much about the big questions?

Nietzsche: To a certain extent, yes. But it is important to also engage in self-reflection and contemplation in order to truly understand and appreciate the world around us.

Bugs Bunny: Hmm, I see what you mean. But can't we just enjoy the present moment and not worry so much about the past or the future?

Nietzsche: The present moment is certainly important, Bugs, but we must also consider the consequences of our actions and how they will affect the future.

Bugs Bunny: Ah, I see. Well, I guess I'll have to give this philosophy thing a try.

Nietzsche: I am glad to see that you are open to new ideas, Bugs. Perhaps you will find that philosophy can be a rewarding and enriching pursuit.

Bugs Bunny: Thanks, Nietzsche. I'll give it a shot. But first, do you mind if we go get some carrots? I'm starting to feel a little peckish.

Nietzsche: (sighs) Very well, Bugs. Let us go and indulge in some carrot-munching. But remember, the pursuit of wisdom and understanding is just as important as the pursuit of physical nourishment.
סבינה הוסנפלדר על רצון חופשי 754791
משעשע.

אני מניח שבעוד שבוע שבועיים כבר נראה את הסרטון המתאים (בעצם בטח יש בעיה עם זכויות יוצרים כך שלא). מעניין כמה זמן ייקח עד שאוכל לראות את סרטי ג'ימס בונד כשג'ימס הוא אני. אורסולה אנדרס לא יודעת מה מחכה לה!
סבינה הוסנפלדר על רצון חופשי 754792
שמתי עכשיו את באגס באני עם דיויד יום, אפלטון וסוקרטס באותו החדר וזה מה שיצא (מכיוון שאין לדברים המצחיקים האלה סוף, זה האחרון שאשים כאן):

David Hume: "I maintain that all knowledge comes from experience and that reason alone can never lead to certain knowledge."

Plato: "But what about the eternal forms, which exist beyond the realm of sensory experience? They are the true source of knowledge."

Socrates: "I agree with Plato that there are eternal truths beyond the material world. But we can still access these truths through reason and contemplation."

Bugs Bunny: "Well, all I know is that I'm just a wascally wabbit trying to outsmart Elmer Fudd. But maybe there's more to life than just avoiding being hunted."

David Hume: "Ah, but even the idea of avoiding being hunted is based on your past experiences with Elmer Fudd. Without experience, we would have no basis for our actions."

Plato: "But what about the eternal form of justice? It exists beyond our sensory experiences and can guide our actions."

Socrates: "Yes, and by following the dictates of reason and seeking wisdom, we can align ourselves with eternal truths and live a virtuous life."

Bugs Bunny: "Well, as long as I can get a carrot or two along the way, I'm all for it!"

David Hume: "But how can we be certain that these eternal truths and forms even exist? Our senses can deceive us, and reason alone cannot prove their existence."

Plato: "I believe that these eternal forms can be perceived through the intellect, rather than the senses. They are the source of all true knowledge."

Socrates: "I agree with Plato. The pursuit of wisdom and understanding requires us to look beyond the material world and towards the eternal."

Bugs Bunny: "Well, I'm not sure about all this eternal truth stuff. But I do know that I'm awfully hungry. Maybe we should go find some carrots and think about all this later."

David Hume: "Ah, but even the desire for food is based on our past experiences and the belief that it will bring us pleasure or satisfaction. Without experience, we would have no basis for our desires."

Plato: "But what about the eternal form of the good? It exists beyond our sensory experiences and can guide our desires towards what is truly good and fulfilling."

Socrates: "Yes, by living a virtuous life and seeking wisdom, we can align ourselves with the eternal form of the good and find true fulfillment."

Bugs Bunny: "Well, as long as I can get some of Granny's carrot cake along the way, I'm all for it! Carrots and cake, the keys to happiness!"

Bugs Bunny: "Alright, I've had enough of this philosophical mumbo jumbo. This means war! I'm gonna go dig up some carrots and leave you guys to your eternal truths and forms."

David Hume: "But wait, Bugs! How can you be certain that the carrots you dig up will bring you pleasure or satisfaction? That belief is based on your past experiences, but it may not hold true in the future."

Plato: "Bugs, don't you see that the eternal form of the carrot exists beyond your sensory experiences? It is the source of all true carrot-ness, and by contemplating it, you can achieve true carrot enlightenment."

Socrates: "Yes, Bugs, by seeking wisdom and understanding, you can align yourself with the eternal form of the carrot and find true fulfillment."

Bugs Bunny: "Geez, you guys are driving me crazy! I'm just a simple wabbit looking for some tasty carrots. I don't need all this philosophical talk. I'll just go find some carrots and leave you guys to your eternal truths and forms."

(Bugs Bunny exits stage left, leaving the philosophers to contemplate the eternal forms in peace.)
סבינה הוסנפלדר על רצון חופשי 754793
עצם זה שהם מדברים תמיד באותו סדר, כבר קצת מקריפ. סופר אנושי היה פחות סדור בענין הזה.
סבינה הוסנפלדר על רצון חופשי 754794
נכון, אבל בקלות להסביר את זה לג'פטו והוא ייתן לך משהו יותר "אנושי", וזה אולי החלק שהכי מרשים אותי. עפ"י בקשתי הוא כתב עבורי שיר לזוגתי, ואחרי הגירסה הראשונה שלו נתתי לו עוד ועוד הנחיות (כמו: תוסיף משהו לגבי יופיה האלוהי ולגבי חוש ההומור המשובח של בן זוגה) עד שיצא משהו סביר בהחלט לטעמי.
סבינה הוסנפלדר על רצון חופשי 754795
זה דווקא מוסיף לזה אלמנט קומי / מבנה של מערכון עם קצב וחזרה על מבנה.
אתה מוקרפ בקלות. כולה מודל שפה. מה קריפי בזה? זה צעצוע מגניב. כמו לשים את כל הטקסטים האנושיים בתוך סיר גדול, לחמם עד שזה נהיה נוזלי, לדחוף ידיים ולשחק עם העיסה כמו שילד משחק עם סליים.

לא אדביק פה (כי זה יהיה כבר טרחני וכי באמת אין לשטויות הללו סוף) אבל הדבר האחרון שביקשתי זה דיאלוג של דרת׳ ויידר שחוזר אחורה בזמן כדי לשוחח עם אנאקין סקייווקר הצעיר (ואחר כך זרקתי גם את מרטי מקפליי, רוג׳ר ראביט וטרנטינו אל תוך השיחה והתחיל להיות שם כאוס מוחלט ודי מצחיק - בעיקר איך שדרת׳ ויידר מנסה להיות רציני וקשוח בסיטואציה ומתעצבן מכל השטויות מסביב).

ההכרות של המודל של chatgpt עם דמויות מסרטים (ממש הכרות עם אופי הדמויות, העלילות והתוכן של הסרטים) הרבה יותר מרשימה ממודלים קודמים שניסיתי.
מי צריך לימודי ליב"ה‏1? 754373
הערה כמעט אגבית של סקוט אהרונסון לגבי ג'פטו השלישי: "GPT can solve high-school-level math problems that are given to it in English" ו- "It’s starting to be able to do nontrivial math competition problems" (תזכורת: מדובר במערכת שאמורה להתעסק עם טקסטים, לא במתמטיקה). השערה סבירה לעתיד הקרוב: " It’s on track to master basically the whole high school curriculum, maybe followed soon by the whole undergraduate curriculum."

__________

1- לא יהיו, ברוך השם.
מי צריך לימודי ליב"ה‏1? 754374
כמנהגי - באמת לא ברור בשביל מה זה טוב - הרי עוד תחזית ספקולטיבית לחלוטין שתישמר בין דפי האייל לדראון עולם לאחר שהיא לא תתגשם: מודל ה-AI שיהפוך ל-obsolete את העיסוק האנושי במחקר במתמטיקה-טהורה‏1 ויהפוך אותו לאוטומטי לחלוטין - נמצא מעבר לפינה. פרסום של הוכחת היתכנות‏2 למודל כזה יגיע לפני ש-‏2023 תסתיים (עם הסתברות גדולה ממש מאפס שזה יקרה אפילו לפני ש-‏2022 תסתיים, והסתברות קטנה מ-‏10% ש-‏2025 תסתיים לפני שזה יקרה).

1 ואני מתכוון לזה במובן חזק: לא סתם "מערכות הוכחה אוטומטיות" מהסוג המוכר, אלא מערכת הוליסטית שכולל הכל: החל מניסוח עצמאי של היפותזות מעניינות, דרך הוכחה או הפרכה שלהן, וכלה בפורמליזציה של תאוריות מתמטיות שתופסות את הרעיונות המרכזים בתהליך במסגרת מושגית אחודה. כל זה ללא בני-אדם בלופ. בני-אנוש שימשיכו לעסוק במתמטיקה, לא יעסקו עוד בגילוי או בפתרון בעיות.
2 כלומר, הוכחה שפריצת-הדרך המהותית כבר התרחשה גם אם היכולות עדיין לא ב-‏100% בשלות לשימוש שוטף (כמו ש-"אלכסנט" הייתה עבור סיווג תמונות, או GPT או עבור מחוללי טקסט).
מי צריך לימודי ליב"ה‏1? 754375
אוטומטי לחלוטין? זה נראה לי מוגזם. הרי במקרה הטוב תקבל המוני הוכחות והשערות. אבל מה באמת המשמעות של כולן?
מי צריך לימודי ליב"ה‏1? 754376
לא, לא תקבל ''המוני הוכחות והשערות'', זה הנקודה. לעשות חיפוש טיפש במרחב ההוכחות תחת איזשהי מערכת-היסק פורמלית אפשר לעשות כבר הרבה שנים וזה באמת מאד לא מעניין.

אבל מתמטיקאים יודעים (במידה מסויימת) לזהות מה מעניין ומה לא, הם יודעים להסביר למה, והם יודעים לנסח את הגישה שלהם בשפה לא-פורמלית תוך המשגה מופשטת של רעיונות מפתח. המערכת שאת קיומה הקרוב אני מנבא תדע לעשות את כל זה, טוב יותר מהומו-ספיאנסים.
מי צריך לימודי ליב"ה‏1? 754377
אני לא מכיר מתמטיקאים מספיק טוב. אבל שמעתי אנשים שמבינים קצת בגרפיקה שמדברים על החידושים בתחומים שקשורים אליהם. לדעתם, כדי לדעת מהי הבעיה הנכונה שמנסים לפתור צריכים הבנה יותר עמוקה בחומר. כלומר: זה יכול להיות כלי שיכול לחסוך המון עבודה ידנית. אבל בסופו של דבר הוא עדיין יצטרך הכוונה אנושית.
מי צריך לימודי ליב"ה‏1? 754378
אני מבין למה אתה כותב זאת. זה נכון‏1 בכל הקשור למודלים מהמשפחה של דיפוזיה-יציבה וטרנספורמרים (והמודלים עליהם הגרפיקאים מדברים, הם מיקס של שניהם).

זה פחות נכון למודלים שמשתמשים בלמידת-חיזוק כדי לפתור בעיות של חיפוש-היורסטי ותכנון במרחבי חיפוש עצומים. הם קורעים-את-הצורה (זה המונח הטכני המדוייק) לבני-אדם באופן מאד עיקבי במקומות בהם הם מיושמים בהצלחה (הצלחות לדוגמא: שחמט, גו, פוקר, אלגוריתמים לכפל-מטריצות, קיפול-חלבונים ולאחרונה - וזה די mind blowing - גם במשחק דיפלומטיה2).

הנבואה שלי מתבססת על כך שאפשר למסגר את עבודת המחקר המתמטי כבעיה שאפשר לפתור באמצעים דומים (תוך שימוש בלא-מעט ידע ספציפי על מתמטיקה, זה הרבה פחות טריוויאלי משחמט או אפילו קיפול-חלבונים), כולל את החלק של הפרדה בין בעיות-מעניינות לבעיות לא-מעניינות והפשטה. ואמנם אין לי ידע על אף פרוייקט ספציפי, אבל אני יודע שעובדים על זה.

1 אבל מישהו מפקפק בכך שזה ישתנה בקרוב? אולי אפילו מאד, עם gpt-4 שלפי השמועות ישוחרר לפני פברואר?
2 קישור.
מי צריך לימודי ליב"ה‏1? 754379
טים גאוורס (זוכה מדליית-פילדס שכבר הוזכר לא מעט באייל) השקיע הרבה מזמנו בעבר במחקר על ייתכנות של אוטומציה להוכחות מתמטיות (עוד לפני שלמידה-עמוקה הייתה השולחן כגישה רלוונטית לנושא), והוא דיבר לא-מזמן על נושא מאד קרוב לתוכן ההודעות האחרונות שלי (אני לא זוכר, אבל נדמה לי שהוא נותן שם הערכה מאד דומה לזו שכתבתי לעיל מינוס הזמנים) בהרצאה תחת הכותרת Is mathematical interest just a matter of taste?.
מי צריך לימודי ליב"ה‏1? 754381
כך ההרצאה מסתיימת:

In order to get good at proving theorems, computers will have to judge what it interesting and worth proving. Mathematical interest is sufficiently objective that computers will be able to this. Difficult to see how the notion of a mathematical community could survive this development.

מי צריך לימודי ליב"ה‏1? 754384
והרהור מד"בי(?) לסיום(?): דמיינו לרגע את העתיד-הקרוב-מאד בהנחה שהתחזית הזו מתגשמת. אנחנו ביולי 2023. כנראה שאין עדיין בינה-מלאכותית-כללית מלאה ואולי מדיה שמיוצרת אוטומטית מפרומפטים טקסטואלים היא עדיין חצי-גימיק-חצי-כישוף. אבל מיכון המחקר במתמטיקה-טהורה הוא בעיה פתורה.

היום, ההתקדמות במחקר המתמטי מבוססת על קהילה בינלאומית רחבה, פרסום וקולבורציה. אין סודות. יש אולי כיסים-קטנים-ותחומים-מאד בהם אפשר להשיג התקדמות מסויימת בבידוד מהעולם (היסטורית, בעיקר בקריפטוגרפיה) - אבל באופן כללי, כולם יודעים הכל. ואז, ברגע - הכל משתנה. כל מדינה יכולה להקים מחשב-על שיתקדם במתמטיקה טהורה לגמרי לבד, וישתף את מפעיליו בתגליותיו. קהילה מתמטית שלמה בקופסא - רק שכל המתמטיקאים הם גאוס, הם עובדים בהילוך-מהיר, ולא ישנים. רוב התוצאות משוחחרות לציבור, אך חלקן - כאלה מהן אפשר לגזור יישומים צבאיים או להעזר כדי לתפוס פער-תחרותי באיזשהו תעשיה אסטרטגית - נשמרים בינתיים בסוד. זה מירוץ-חימוש מסוג חדש לגמרי, וקשה מאד לנחש איך הוא יפתח.

זה נשמע כמו תרחיש פנטסטי, אבל כאמור, סביר יותר שהוא ירקום עור-וגידים לפני המונידאל הבא מאשר שלא. ככה נראית סינגולריות (AGI זה red herring).

אם אנחנו כבר בענייני מד"ב: מתישהו זה ייושם למדעי-המחשב, אלגוריתמיקה וקריפטוגרפיה. מערכות כלליות שפותרות בעיות המוגדרת היטב בשפה פורמלית ("מצא אלגוריתם כך ש...", "תכנן פרוטוקול כך ש...") הן כנראה לא יותר מסובכות - אבל פחות מהפכניות. מערכות שממכנות את כל המחקר מקצה-לקצה בתחומים האלה עשויות להיות קצת יותר טריקיות, פשוט כי הקריטריונים של "מה מעניין" הם לפעמים יותר רכים (אבל אולי כבר בפברואר הקרוב המכשול הזה יראה מיושן ולא רלוונטי).

גם ברור כבר שאפשר ליישם את הגישה הזו בדיוק, בלי צורך בפריצות דרך נוספות, לתחומים מסויימים בהנדסה והמדעים-האמפיריים, אמנם יש שם יותר ממכשולים, אבל אף אחד מהם לא נראה מהותי. זה רק עניין של זמן עד שיפותחו מערכות שיעסקו אוטונמית בהנדסת-חומרים, פיתוח-תרופות, תכנון מכני, תכנון דיגיטלי, אלקטרוניקה וכו'. מתי אפשר אפשר יהיה ליישם את זה גם לפיזיקה?

(בפרק הבא: "מהמשחק דיפלומטיה, לדיפלומטיה - סיפורם של שני בני-נוער שכבשו את אסיה בעזרת לפטופ").
מי צריך לימודי ליב"ה‏1? 754385
אני די בטוח שזה יהיה כלי מועיל שיחסוך המון זמן. אבל איך בדיוק אתה יכול להגדיר את התנאים? קריפטולוגיה היא דוגמה טובה, מכיוון שמאוד לא ברור מראש מהן הבעיות: אנחנו עובדים במערכות מאוד מסובכות ומודל האיום לא מאוד ברור.

וברמה גבוהה יותר: מי שמחליט מה לחקור הם אנשים. מי שקובע למה מקצים תקציבים ומשאבי מחקר הם אנשים. את השיקולים שלהם אי אפשר למדל במודלים כאלו. ניסו לפני עשור להוציא את האדם מהלולאה בכלכלה ובינתיים זה בכלל לא עובד: יש מכשירים כלכליים משוכללים, אבל אף אחד לא משתמש בהם לצרכים לא ספקולטיביים
מי צריך לימודי ליב"ה‏1? 754386
אני בגדול מסכים איתך לגבי קריפטוגרפיה (זה בדיוק מה שכתבתי קודם, לא?).

אבל במתמטיקה-טהורה, הדברים (אולי באופן מפתיע) הרבה יותר פשוטים - מכיוון שהאבלואציה של שאלות מחקר הרבה פחות תלויה בתנאים סביבתיים או הקשר חיצוני. במתמטיקה יש סיבות טובות לחשוב שדווקא הקטנת ההשפעה של אופנות ופוליטיקה על הכוונת מאמצי המחקר, רק ישפרו אותו (בניגוד להרבה תחומים אחרים, בהם הקריטוריונים ל-"מה ראוי לחקור" הרבה יותר עמומים או דורשים הרבה יותר קונטקסט כללי). צפית בוידאו אליו קישרתי לעיל? הוא לא מוכיח זאת מעבר לכל ספק, אבל הוא בעיני מבהיר יפה את הנקודה.

אני לא מבין את ההקשר למכשירים פיננסים (וחולק לגמרי על הקביעה "אף אחד לא משתמש בהם לצרכים לא ספקולטיביים", אבל זו כבר סטייה גדולה מהנושא).
מי צריך לימודי ליב"ה‏1? 754391
(אני אפילו לא מבין את הקביעה הזו בטרם אחלוק עליה, שלילות משולשות עושות לי כאב ראש).
ודייק 754399
אני אחדד חידוש לשוני יפה שהשתרבב לך:

אדם או חייה, ובהשאלה יוזמה: קורם עור וגידים.
רובוט, ובהשאלה AI: רוקם עור וגידים.
ודייק 754401
:)

בעקבות התיקון שלך, קראתי שוב את הפתיל, והזדעזעתי (אבל לא הופתעתי) מכמות טעויות-ההקלדה, המילים הכפולות, המילים החסרות ושאר השגיאות שמצאתי בהודעות שלי. אולי זו הסיבה שאני מתרשם כל כך מ-GPT: הוא בברור עושה עבודה הרבה יותר טובה ממני.
ודייק 754402
כשאני קורא (בעניין ובהערכה) את התגובות שלך, אחד הדברים שבולטים לעין שלי זה השימוש המוגבר שלך במקפים מחברים. מותר לשאול מה הרציונל מאחורי הבחירה הזו?
ודייק 754403
זו לא בחירה סגנונית מחושבת. פשוט ככה - לפחות באופן בו אני מפרש את סימני-הפיסוק הללו - אני מדבר. לקחתי את ההערה לתשומת ליבי :)

(ותודה!)
ודייק 754404
על לא דבר. זאת אפילו לא היתה ''הערה'', סתם סקרנות מצידי.

הנימוק היחיד שאני יכול לחשוב נגד הבחירה הסגנונית הזאת הוא שכשאני קורא אותך מהטלפון (עם מסך צר שמספיק למעט תווים בשורה), יש שורות שנשברות מוקדם מכפי שהיו נשברות אלמלא המקפים, מה שיוצר קפיצות קצת מוזרות בשוליים השמאליים של הטקסט.
ודייק 754410
תירוץ מצוין להביא קישור לפתיח הזה.
ודייק 754412
המוזיקה הכי פלצנית שנשמעה אי פעם ממקלט הטלויזיה.

_____
אין לי שום דבר לתרום לנושא הדיון אז נתת לי את ההזדמנות לקפוץ ולהשתתף.
ודייק 754413
נו, בטח יש יותר פלצניות ממנה.
ודייק 754418
לא שאני מכיר.
ודייק 754420
יש לי סימפטיה למוזיקה (כר בטח הזכרתי כאן שבזכותה למדתי לנגן בפסנתר), אבל ספציפית הקישור היה בשביל הויזואליזציה שרוקמת עור וגידים.
מי צריך לימודי ליב"ה‏1? 762381
"אנחנו ביולי 2023...מיכון המחקר במתמטיקה-טהורה הוא בעיה פתורה." - העם דורש לו"ז מתוקן.

האם רק לי נדמה שיש האטה של ממש בהתפתחויות בתחום? יוטיוב מוצף ב"חדשות השבוע המסעירות ב-AI" שמתבטאות בשיפורים שאם יש להם חשיבות אמיתית הרי שהיא מובנת בעיקר ליודעי סוד, לא שום דבר שאפילו מתקרב למה שנבאת.

בינתיים גם בארד וגם GPT לא מצליחים להתמודד אפילו עם התרנגולת וחצי שאני זורק עליהם. התשובה האחרונה מבארד, אחרי שהסברתי לו איך לחשב בשני צעדים, היתה:

If one and a half chickens lay one and a half eggs in one and a half days, then one chicken would lay one egg in one and a half days. Therefore, one chicken would lay 2/3 of an egg in one day and a half.

To compute how many eggs one chicken lays in one day, we can divide 2/3 by 1.5 to get 0.44 repeating or 4/9 of an egg 1.

למד עוד:
1. poultry.extension.org
2. almanac.com
3. firstlightfarmer.com
4. tenacrebaker.com
+4 עוד
מי צריך לימודי ליב"ה‏1? 762393
כשהדור הבא של המכונות האינטליגנטיות יכבוש את העולם בקרוב, הם יצאו לחפש את הנודניק שגרם לסבא ג'פטו האהוב שלהם לצאת מדעתו עם התרנגולת וחצי שלו, וינקמו את נקמתו.
ראה הוזהרת.
מי צריך לימודי ליב"ה‏1? 762414
אמנם אין לי קעקוע של דרקון על הגב, אבל "הזקן שבעט בקן צרעות" יהיה שלאגר (מישהו מתחת לגיל 70 עוד אומר בכלל "שלאגר"? כי פעם המילה הזאת היתה שלאגר).
מי צריך לימודי ליב"ה‏1? 762442
לא. מזמן לא.
שלאגר 762446
לפני חודשיים נכנסתי לסניף קטן של "רמי לוי בשכונה". אין להם שם עמדות לשירות עצמי, אבל מצאתי קופה בה לא היה איש לפני.
שמחתי היתה קצרה כי הצוות עסוק היה בהתייעצות. בסופה ניגש בחור צעיר אל סביבתי, ופנה לאדם (יותר) זקן שעמד, כך התברר, בסמוך אלי.
"איך אמרת קוראים לזה?"
"שלגון!" ענה הלקוח
"אין לנו דבר כזה בחנות. אולי בסניף אחר"
הזקן אמר שזה לא יכול להיות ולא זז ממקומו. לא חלפה דקה, ומן הקומה העליונה ירד המנהל, ביחד עם עובדת נוספת והסביר לצוות: "שלגון זה ארטיק" וביקש להנחות את פליט האלף הקודם אל משאת נפשו המרעננת.

הזכיר לי קצת אירוע מלפני שנים בו ביקשתי מן המלצר במסעדת אתניקה (נדמה לי) דג אמנון. הוא השיב שאין להם. הצבעתי לו על הלוח בו נכתב "מנת היום - אמנון בתנור". הוא היסס לרגע, אבל טען בביטחון שזה מוזר כי אין להם, אבל אני יכול במקום זה להזמין מושט.
שלאגר 762448
הרבה מכירים את ענין ה''ארטיק'', אבל אני התוודעתי רק לאחרונה לכך שגם ''קרטיב'' היה שם מסחרי. לא ברור לי איך זה שהמותג עצמו לא נקנה ע''י מישהו כשהיצרנים נסגרו, ואני משער שהיום זה לא היה קורה.

בעניין לא ממש דומה, מלצרית שנשאלה לגבי ''דג היום'' שהוצע בתפריט ענתה שזה ''דג פילה''. זה דווקא מצא חן בעיני כי בילדותי אכן חשבתי שפילה, שהיה מאכל די נפוץ בבית הורי, הוא סוג של דג, וגם כשהתוודעתי לקיומו של ''סטייק פילה'' חשבתי שזאת מקריות מעניינת שיש גם דג בשם הזה.
שלאגר 762460
''בילדותי אכן חשבתי שפילה, שהיה מאכל די נפוץ בבית הורי, הוא סוג של דג'' - כנ''ל, רק שאת תפקיד בית הוריך מילא אצלי חדר האוכל בקיבוץ.

בעצם אני לא בטוח אם חשבתי שזה סוג של דג או אופן ההכנה, מצופה בבלילה ומטוגן.
שלאגר 762468
כנ"ל לגבי הדג פילה!
דומני שלקח לי יותר מ-‏20 שנה לתקן את הטעות הזו.
שלאגר 762457
לפני שבועים לקחתי מאפה בקונדיטוריה/בית קפה וביקשתי גם שקיק תה לקחת. המוכרת לא הבינה גם כשחזרתי על הבקשה. אחרי שהסברתי בגולמנות רבה היא אמרה- אתה רוצה תיון?
מי צריך לימודי ליב"ה‏1? 754497
(המממ, למי שאכפת-לו: בניגוד למה שכתבתי למעלה, אלפא-פולד הוא מודל שקרוב יותר לטרנספורמרים ודיפוזיה איטרטיבית מאשר לחיפוש באמצעות RL).
מי צריך לימודי ליב"ה‏1? 754387
על נבואות קצרות טווח כאלה אפילו אני יכול להגיד ''נחיה ונראה'' (אמר השוטה ונפטר מהתקף לב לפני שהספיק לאשר את השליחה).
מי צריך לימודי ליב"ה‏1? 754388
אני אוהב לטעות. יש קצת מאד דברים שאני יודע לעשות בכזה כשרון.
מי צריך לימודי ליב"ה‏1? 754389
כל הכבוד!
ברשותך, אני אאמץ את המשפט הזה בשינוי קל. לעומתך אני שונא לטעות, אבל גם אצלי יש מעט דברים שאני עושה ביותר כשרון.
מי צריך לימודי ליב"ה‏1? 754394
אני ממש (אבל ממש!) אוהב לצאת צודק ואני עדיין ממתין בסבלנות לרגע בו זה יקרה לי בפעם הראשונה.
מי צריך לימודי ליב"ה‏1? 754396
הממ... אז איך אתה יודע שאתה ממש (אבל ממש!) אוהב את זה?
מי צריך לימודי ליב"ה‏1? 754397
אני לא יודע. מה שלא מפריע לי להכריז זאת באופן הכי נחרץ שאפשר!
מי צריך לימודי ליב"ה‏1? 754428
צעד קטן לבינה מלאכותית, צעד גדול לאדם.

בהקשר של הפתיל הנוכחי (ראו כותרת), בנוסף לעניינים חסרי חשיבות כמו מתמטיקה ושאר הבלי עכו"ם, אפשר כבר לראות את היום בו רבנים ואברכים מוחלפים בתוכנה שמבלה את ימיה בלימודי תנ"ך, תלמוד ומשנה, מחשבת דילוגי אותיות, פוסקת הלכות ועונה על שאלות רב. המוני המובטלים החדשים יוכלו להקדיש יותר זמן להתמחות בזריקת חיתולים צואים וצעקות "נאצים" כלפי שוטרים, עד שגם פעילויות אלה תיעשנה ע"י רובוטים שומרי תורה ומצוותת.

תוצאות מקדמיות בגימטריה כבר כאן: (974) = בינה מלאכותית = גשר לאמת = וידעו כי אתה שמך
יהוה לבדך.

ברוך הוא וברוך שמו, שהחיינו וקיימנו והיגיענו ליום הזה‏1, ונאמר אמן.
____________
1- ובאנגלית: What a time to be alive!
מי צריך לימודי ליב"ה‏1? 754429
בקשר לפסוק, היה לי מוזר שהכותב יחשוב שעוד מישהו ירצה שיקראו לו יהוה, אז הלכתי למקור והבנתי.
זה כמו ''עיניים להם ולא יראו אזניים''.
מי צריך לימודי ליב"ה‏1? 754430
על פי הרב המכובד פרדריק בראון ב-‏1964: https://www.roma1.infn.it/~anzel/answer.html
מי צריך לימודי ליב"ה‏1? 754431
רעיון מאד דומה לסיפורו של האדמו"ר <קישור
https://xpressenglish.com/the-last-question/ אייזק אסימוב>.

טוב, תמיד אפשר יהיה לרשום את שניהם בסיפור הבריאה של התנ"ך של ה-AI, לקרוא לאחד מהם פרק א' ולשני פרק ב'.
זה עבד בפעם שעברה.
מי צריך לימודי ליב"ה‏1? 754432
עם כל הרעש שהוספתי לידיעה, אולי מישהו החמיץ את החלק החשוב:

"Meta AI has built a neural theorem prover that has solved 10 International Math Olympiad (IMO) problems — 5x more than any previous AI system."

מי צריך לימודי ליב"ה‏1? 754433
המסקנה שלי לאחר כמה שעות של משחק עם ה-AI היא שזה ממש לא "מעבר לפינה". בפרט, אני מוכן להתערב שלא תהיה שום הוכחת היתכנות לפני ש-‏2023 תסתיים.
מי צריך לימודי ליב"ה‏1? 754434
ביחס של 1:1 אני מוכן להתערב על 2024 (ובכל מקרה אסכים רק להתערבות קטנה).

וצריך לוודא שאנחנו מסכימים איך נראית הוכחת התכנות, כי היא יכולה להגיע בהרבה צורות. למשל: מערכת שמקבלת ניסוח עמום של היפותזה, ומפיקה משפט אולי אחר לגמרי אבל ש-(1) דומה ברוחו להיפותזה ומעניין במובן בו ההיפותזה הייתה מעניינת, (2) נכון, בצירוף הוכחה (כלומר: עושה משהו מאד דומה למחקר עצמאי, גם אם לא פורץ דרך).

וזו תישאר הוכחת התכנות בעיני גם אם המערכת תהיה מוגבלת לתחום מתמטי ספציפי, כל עוד היא מצליחה להוכיח איזשהן תוצאות ראויות לפרסום (אפילו אם היא לא תוכל עדיין להוכיח עצמאית כל תוצאה שכבר ידועה בו). וזו תישאר הוכחת התכנות, גם אם התוצאות שהיא מפיקה כבר פורסמו (בתנאי שהיא לא רימתה ובאמת ניסחה והוכיחה אותן עצמאית).

גם מערכת שתיהיה מסוגלת לנסח בעצמה הגדרות מתמטיות לא טריוויאליות ומעניינות, ולהשתמש בהן כדי לפשט הוכחות מוכרות באופן שמדגים insight מתמטי היא הוכחת התכנות בעיני.

יש גם תרחישים שלדעתי צריכים להסתיים בתיקו. למשל מערכת שמסוגלת לקבל היפותזה מוגדרת היטב ולהוכיח אותה, והיא מספיק חזקה כדי להפיק עצמאית הוכחות חדשות ומלאות לבעיות קשות וראויות לפרסום. פרקטית זו אולי תהיה פריצת דרך משמעותית יותר מהתרחישים הקודמים, אבל זו לא בדיוק הוכחת התכנות למתמטיקאי בקופסא עדיין.
מי צריך לימודי ליב"ה‏1? 758086
משהו קשור מהבלוג של סקוט אהרונסון : "After ChatGPT got “only” a D on economist Bryan Caplan’s midterm exam, Bryan bet against any AI getting A’s on his exams before 2029. A mere three months later, GPT-4 has earned an A on the same exam (having been trained on data that ended before the exam was made public)."
מי צריך לימודי ליב"ה‏1? 758106
הציטוט הזה אפילו יותר מצחיק: ״AI enthusiasts have cried wolf for decades. GPT-4 is the wolf. I’ve seen it with my own eyes.״
מי צריך לימודי ליב"ה‏1? 758089
עוד לא מתימטיקאי בקופסה, אבל נראה אותה חושבת מחוץ לקופסה!
מי צריך לימודי ליב"ה‏1? 758173
אם למישהו יש ראש לעניינים חסרי חשיבות כאלה, התרשמתי מאד
מי צריך לימודי ליב"ה‏1? 758175
מן הסתם אני מסכים שזה מעניין (גילוי נאות: מכיר חלק מהמחברים).

ואגב, chatGPT שחררו (היום? אתמול?) פיצ'ר חדש של פלאגינים שמאפשרים לצדדים שלישיים לבצע אינטגרציה למערכות שלהם כך ש-chatGPT יוכל להשתמש באותן מערכות כדי לאחזר מידע ולבצע פעולות תוך כדי השיחה. חלק מהתוספים שכבר עכשיו קיימים ממלאים את רוב הפונקציונליות עליה דיברנו כאן קודם (חיפוש ברשת, אחזור ידע וחישובים מתמטיים דרך וולפארם-אלפא). בינתיים הפיצ'ר רק נפתח בהדרגה לקהל הרחב, ועוד לא יצא לי לשחק איתו. אבל זה נשמע כמו (עוד!) גיים צ'יינגר.

אני לא מבין איך יש עדיין מי שלא מסכים להודות שכבר חצינו את אופק-האירועים בדרך לסינגולריות. טכנולוגיה מהפכנית מתקדמת בקצב הרבה יותר מהיר מקצב האינטגרציה שלה במוצרים, בתהליכים ובתרבות, והטכנולוגיה הזו מתחילה (לאט, אבל בתאוצה) לקדם את עצמה.

ברמה האישית, יש אבסורד שקשה לי להכיל בכך שמשהו מופשט ומד"בי כמו האמור לעיל הוא הדבר היחיד בעיני שמאפיל בחשיבותו על הייאוש מכך שישראל בדרך לאבדון (גם מבחינת ההשלכות על חיי היומיום שלי, וגם מבחינת הטיימליין והמהירות בה דברים מתרחשים). כל ההיוריסטיקות שלי לחשיבה רציונאלית צועקות שפשוט לא ייתכן שהתפתחויות טכנולוגיות מעוררות בי (הרבה) יותר תקוות ופחדים בו זמנית מאשר פאקינג הפיכה משטרית שמתרחשת סביבי ומאיימת להפוך את ישראל לאוטוקרטיה ותאוקרטיה רצחנית, אבל כל ניתוח קונקרטי של העובדות מוביל אותי למסקנה הזו. אני מתחיל קצת לפקפק בבוחן המציאות שלי.
מי צריך לימודי ליב"ה‏1? 758176
על מה אתה מדבר? נתניהו הרי הבטיח שהוא הולך לחוקק חוק שיבסס את זכויות הפרט, כך שהסכנה חלפה.
מי צריך לימודי ליב"ה‏1? 758179
אל דאגה, בסבירות גבוהה הג'פטו החדש בעברית יאמר כמה מילים על פוליטיקה ומיד יקבל מתקפת "שמאלן/בוגד/אנרכיסט" וייאסר לשימוש במרחבי הדיקטטורה המתחדשת.
מי צריך לימודי ליב"ה‏1? 758182
בס"ד

אתה מפחית בהערכתו של הנגר החביב. כבר בשלבים הראשוניים של האימונים הוא יבין מה נכון להגיד, וכמובן באיזה פורמט, כפי שמודגם בהודעה זאת. זאת מאחר שכל הערכים בויקי ייראו כך.

רק ביבי!
  מי צריך לימודי ליב"ה‏1? • הפונז
  מי צריך לימודי ליב"ה‏1? • יובל נוב
  מי צריך לימודי ליב"ה‏1? • אורי גוראל גורביץ'
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  מי צריך לימודי ליב"ה‏1? • אפופידס
  מי צריך לימודי ליב"ה‏1? • הפונז
  מי צריך לימודי ליב"ה‏1? • שוטה הכפר הגלובלי
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • alucard
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • kozmo
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • ירדן ניר-בוכבינדר
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • Kozmo
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • אל. לריק
  תובנות מעמיקות - אל תהיו שניצלים • האייל האלמוני
  תובנות מעמיקות - אל תהיו שניצלים • אריק
  תובנות מעמיקות - אל תהיו שניצלים • האייל האלמוני
  תובנות מעמיקות - אל תהיו שניצלים • אריק
  תובנות מעמיקות - אל תהיו שניצלים • הפונז
  תובנות מעמיקות - אל תהיו שניצלים • יוסי
  תובנות מעמיקות - אל תהיו שניצלים • kozmo
  סבינה הוסנפלדר על רצון חופשי • alucard
  סבינה הוסנפלדר על רצון חופשי • שוטה הכפר הגלובלי
  סבינה הוסנפלדר על רצון חופשי • הפונז
  סבינה הוסנפלדר על רצון חופשי • שוטה הכפר הגלובלי
  סבינה הוסנפלדר על רצון חופשי • הפונז

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים