בתשובה להפונז, 27/09/20 13:04
 |
|
 |
||
|
||||
 |
לא אם תיתן ל GPT3 להיות הבודקת. |  |
 |
 |
|
|
|
||
|
||||
|
למה? (פרט נמק והסבר בפחות מ-25 שורות) |
|
|
|
|
|
|
||
|
||||
|
כי אותה "פרשנות" שמפריעה לך לא תיגזר משיקול דעתו של בודק אחד (או שניים במקרה הטוב) אלא תהיה מבוססת על שיקול דעתם של המוני מחנכים ומורים בעזרתם אימנו את מערכת ה AI. הממממ, כלומר טופס שלא יכיל "בס"ד" בראש הדף יפחית חצי ציון. אולי לא רעיון טוב. |
|
|
|
|
|
|
||
|
||||
|
ה- gpt3 הוא מחולל טקסטים מבוסס על לימוד עצמי של מבנה שפה בדרך של סקירת טקסטים מסיבית. יש לו הייפ גדול עכשיו אבל לא משכנע אותי. יכול לכתוב טקסט נכון מבחינה סינטקטית וסמנטית, אבל נעדר שיפוט או מקוריות לגבי התוכן. יש באינטרנט מעט דוגמאות של ממש, יתכן שנאספו כליקוט דובדבנים. הדוגמאות מראות יכולת ליצור חיבור שנישמע סביר מבחינה סינטקטית וסמנטית, לדעתי מחולל הטקסט פועל על ידי מיזוג קלישאות שאסף ללא שיפוט ערכי לגבי טיבן. יכול לשמש תחליף להעתקות חיבורים מויקיפדיה. . |
|
|
|
|
|
|
||
|
||||
|
אני מכיר מישהו שכתב עוד בתיכון עבודת גמר שיצרה תוכנה שכותבת שירים, וזה היה כבר לפני עשרות שנים. חלק מהשירים היו די מגניבים דוקא. |
|
|
|
|
|
|
||
|
||||
|
חלק מהדוגמאות של gpt3 הם כתיבת שירים או מה שניקרא פרוזה פיקשן. הבעיה בהערכת טיב של שירים (תמליל) היא שיתכנו שירים ללא חיווי תוכן משמעותי אבל שימוש מוצלח במטבעות לשון. לכן אי אפשר להסתמך עליהם כעל מוצר אינטליגנציה. אני מעריך שלאחר היעלמות ההייפ ישאר מה- gpt3 וממשיכיו (סדרת gpt שלא נעצרה עדיין) דברים טובים. אולי סדרת gpt תאפשר חלופה טובה יותר לתרגום גוגל (שהשפה שלו עילגת), אולי סדרה זו תאפשר פישוט של טקסט בסגנון גבוה מדי לטקסט בסגנון פשוט. דברים אילו יתכן שהם בהשג יד. כרגע אם הבנתי מצב הבעלות הוא כזה: פיתוח gpt ניתמך בחלקו על ידי אלון מאסק (לחברה המפתחת קוראים OpenAI, זו חברה עצמאית לא בבעלות אלון מאסק) |
|
|
|
|
|
|
||
|
||||
|
ב- 22/9/2020 מייקרוסופט קיבלה זכויות שימוש בלעדיות לשימוש ב- gpt3 )נישמע כמו סוג של אקזיט). אלון מאסק הביע התנגדות, אך יתכן שהוא לא יכול למנוע. |
|
|
|
|
|
|
||
|
||||
|
כולנו מכירים מישהו שכתב עוד בתיכון תוכנה שכותבת שירים. | |
|
|
|
|
|
||
|
||||
|
ניסיתי להימנע מאאוטינג ככל יכולתי. | |
|
|
|
|
|
||
|
||||
|
לא ידעתי שזה סוד. | |
|
|
|
|
|
||
|
||||
|
לא ידעתי גם אני, אבל בהינתן אי ידיעה לא חשתי צורך בהצמדת פרטים אוטוביוגרפיים למישהו אחר ללא אישור ממנו. | |
|
|
|
|
|
||
|
||||
|
אני זוכר במעורפל שהיה מישהו כזה. | |
|
|
|
|
|
||
|
||||
|
גם אתה מכיר אותו? איזה עולם קטן. | |
|
|
|
|
|
||
|
||||
|
איזה אורח! אז הזיכרון המעורפל שלי בנוגע לתוכנת השירה היה נכון... |
|
|
|
|
|
|
||
|
||||
|
זה כלום. אני מכיר מישהו שבתיכון כתב שירים בלי עזרת תוכנה! | |
|
|
|
|
|
||
|
||||
|
חתרני! כמות "תחושת עוצמה" של אסימוב. |
|
|
|
|
|
|
||
|
||||
|
האם הגימור של השירים היה ידני ? ההרגשה שלי ששירים סינטטיים על ידי תוכנה פשוטה יכללו בהכרח טקסטים מוזרים אפילו מבחינה סינטקטית (שלא לדבר על בחינה סמנטיקה). לדוגמא: אפילו תירגום גוגל כותב משפטים מוזרים מבחינת התוכן. |
|
|
|
|
|
|
||
|
||||
|
בשירה זה יכול להיות feature, לא באג. | |
|
|
|
|
|
||
|
||||
|
כן, אבל למה לומר זאת בצורה כל כך לקונית, כשאפשר להתשתולל עם דוגמאות מרהיבות: ירדתי לרחוב להתהלך והייתי הולך ומסתבך ופעמון החל לאט לספור אותנו והתקוות היו כמו שלשום הַדָּבָר הָרִאשׁוֹן שֶׁרָאִיתִי בִּימֵי חַיַּי כַּוָּנָתִי שֶׁאֲנִי זוֹכֵר הָיָה אֲנִי ובכן שוב אני עולה על חבית הדגים בתקווה שיצא לי משפט מפתח אני כבר זמן רב מדי נע בתפזורת רבה יוֹם אֶחָד לָאֲדָמָה הַמְּלֵאָה אֶת הַכַּדִּים וְקָשָׁה הִיא וּמְאָדָּמָה, חַמָּה הִיא וְגִידִים. וּבְפִנַּת רְחוֹב רָאשִׁי שֶׁל עִיר הִיא בְּקִיוֹסְק קָטָן תִּשְׁתֶּה וּתְדַמֶּה לְכוֹס שֶׁמֶשׁ. הפנסים פרחי העיר מלבלבים באור ניחוח אביב חשמל עצוב בהיר משיכרונו אסור לברוח בקיץ מואר וחם בקיץ מוזר ותם ומי שאינו מאמין - שימתין, שימתין והרוח נושבת בחריגים ריחות בשמים נפוגים וחולפים מועדים וחגים, מועדים וחגים. |
|
|
|
|
|
|
||
|
||||
|
אגב, את לאה גולדברג לא הצלחתי לתפוס בשורה שחוברה על-ידי AI פרימיטיבי, וגם הדוגמה שלי מזך קצת עלובה. מי יעזור לי? | |
|
|
|
|
|
||
|
||||
|
ואגב כך נתת את ההגדרה במילון העתיד לערך ''אדם''. | |
|
|
|
|
|
||
|
||||
|
האם הבית האחרון לקוח משיר שהתפרסם דרך הזמר גידי גוב ? שיר שהכותרת שלו כוללת את המילה "שרב", והוא מתייחס לאווירה בעיר גדולה. עכשיו אני ניזכר בשם השיר אליו כיוונתי : "שלל שרב" . השם כשלעצמו הוא סוג של פואטיקה מוזרה חסרת תוכן. (פואטיקה מוזרה יש גם בשם שיר אחר "נשל הנחש"). |
|
|
|
|
|
|
||
|
||||
|
את כל הציטוטים אתה יכול להכניס לגוגל ולהנות. רובם נחשבים נכסי צאן ברזל של השירה העברית במאה העשרים. ''שלל שרב'' מכיל ביטויים חריגים, אבל הוא קוהרנטי וברור למדי. גם ב''נשל הנחש'' יש ביטויים חריגים, והוא ממש מפורש ברעיון שלו. את מאיר אריאל ייצגתי באנתולוגיה בשיר אחר, מסתורי יותר. |
|
|
|
|
|
|
||
|
||||
|
אגב, כולם למעט אחד זכו לתשומת ליבם של מלחינים וזמרים (אחרת, אבוי, לא הייתי מכיר אותם). | |
|
|
|
|
|
||
|
||||
|
המוזרות אלי כיוונתי היא השם ''שלל שרב''. לגבי התוכן של שלל שרב , בחיפוש שעשיתי לפני תגובתי מסתבר שפירוש השיר (התוכן של כולו) לגמרי לא קוהרנטי, יש שלל פירושים מפירושים שונים שלא מסכימים זה עם זה. השיר ניכתב בתחילתו כלחן של יהודה פוליקר, מאיר אריאל בנה תמליל שיתאים ללחן. מילות הכותרת ''שלל שרב'' הן לא בדיוק ''רעיון של המשורר'' אלא מילים שחדרו לראשו של אריאל מצירוף המילים הסתמיות ''שה לה לה'' שהושמעו בזמן החזרות על הלחן על ידי פוליקר או להקתו. |
|
|
|
|
|
|
||
|
||||
|
זה רק אני שחושב ששיר לגמרי קוהרנטי ראוי להיקרא "פרוזה"? | |
|
|
|
|
|
||
|
||||
|
לא מבין למה אתה מתכוון. אני יכול לאמר לשאלתך , תהיה כוונתך אשר תהיה: מכיוון שאינני מומחה לספרות אינני יודע טוב כיצד להבדיל שיר מפרוזה. עם זאת , כהדיוט, נראה לי שבשיר (תמליל) יש יותר אלמנטים של קצב ומשקל, כמו כן בשיר (תמליל) יש אלמנטים חזקים של מטבעות לשון חריגות בהשוואה לפרוזה. |
|
|
|
|
|
|
||
|
||||
|
רמזתי לזה - כנראה במעומעם - שחוסר קוהרנטיות הוא מאבני הבסיס של כל שירה באשר היא. להתלונן על חוסר קוהרנטיות בשיר זה כמו להתלונן על דיסטורשן גיטרות ברוק כבד. |
|
|
|
|
|
|
||
|
||||
|
נכון שבשירה יש עמימות תוכן. אבל אם העמימות גדולה מדי לא קיים תוכן ששווה להתאמץ בשבילו "להבין את השיר". מהדיון אותו קראתי הלילה, בחטף אמנם, התרשמתי שאין הסכמה בין פרשני השיר "שלל שרב" מה הוא התוכן של השיר. יש איזו שהיא הסכמה חלקית על האווירה שהשיר הזה מקרין (אווירה של החיים בתל אביב). כפי שכבר ציינתי, השיר הזה הוא תמליל מוזמן שדי ניכפה על מאיר אריאל, כתמליל למנגינה שהיתה כבר כתובה . סיטואציה זו יכולה להסביר את העמימות (טקסטואלית) שיש בשיר. המוסיקה לעומת זאת בשיר זה מאוד ברורה, לדעתי המוסיקה גם ברמה מאוד גבוהה. איזה הבדל בין הרמה של השיר, לרבות התמליל, לבין השיר "טוי" ? |
|
|
|
|
|
|
||
|
||||
|
תמליל מוזמן לא "נכפה". יש שתי דרכים לכתיבת שירים לאמנים מופיעים: מנגינה למילים קיימות, ומילים למנגינה קיימת1. שתיהן נפוצות כמו זיתים בפיצה, ואף אחת מהן אינה כפויה, לא המנגינה על המילים ולא המילים על המנגינה. הטקסט של "שלל שרב" הוא נהדר, רב משמעי ומאד אפקטיבי. לא היה מבייש שום ספר שירה כתובה2. וגם משתלב מצוין עם המוזיקה. מה עוד אפשר לבקש? חוסר הסכמה גם הוא אינו פגם - רק כאן באתר היו דיונים ארוכים די לאחרונה לגבי תוכנו של "משירי ארץ אהבתי" ללאה גולדברג, ולמרות פרשנויות שונות לחלוטין, אף אחד לא טען שהעמימות או דו(תלת?) המשמעות שלו עומדת לרעתו ופוגעת באיכותו הפואטית. 1 וכל סופרפוזיציה של אלה. 2 האם אתה יכול לומר אותו דבר על "טוי"? |
|
|
|
|
|
|
||
|
||||
|
2 רק לי מפריע שהמילה "שביס" מופיעה בשיר פעמיים? אני בטוח שמדובר באמצעי אמנותי רב השראה ומשמעות, אבל אותי זה מעצבן משום מה. גם העובר-גובר-נובר-צובר נשמע לי כמו התחכמות מיותרת מטיפוס "שופוני" (ובאלה אני המומחה מספר אחד בארץ כך שנא לא להתווכח). ממאיר אריאל היו לי ציפיות גבוהות יותר. | |
|
|
|
|
|
||
|
||||
|
2 זה יוצר הרי הקבלה ברורה בין "שביס אפרפר כלטיפה על הים" לבין "שביס הרקדנית מרחף על בטן גליה" (ולא במקרה). העובר-נובר-צובר הוא מאיר אריאל קלאסי, ראה העין השטופה וחבריה מהטרמינל. אבל הבנתי, פייר, אתה מאוכזב. לגיטימי. |
|
|
|
|
|
|
||
|
||||
|
ספיציפית העין השטופה, הקלופה, היא מאיבן גבירול. | |
|
|
|
|
|
||
|
||||
|
מעניין, לא ידעתי. אבל אחרי שגיגלתי, זה בהשראת אבן גבירול, אבל לגמרי לא העתקה. בהמשך לתגובתי כאן למטה לפתילון אחר - (כמעט) כל מקוריות בונה על השראה מאחרים. זה בסדר. |
|
|
|
|
|
|
||
|
||||
|
לא האשמתי בהעתקה. אני חושבת שזה מעולה ורק מעשיר את השיר. | |
|
|
|
|
|
||
|
||||
|
אבל... אין אף מילה משותפת בין חרוזי ה"וּפָה" של אבן גבירול ושל אבו שחר! האם לעצם הבחירה בסיומת הזו אפשר לקרוא השראה? בתור שני משוררים שהרבו לחרוז שורות רבות על אותה סיומת (הראשון היה מוכרח מתוקף מוסכמות השירה שהוא פעל בהן, השני היה מוכרח כי הוא היה מוכרח), זה כמעט בלתי נמנע שלפעמים הם יבחרו באותה סיומת, ולו במקרה. זה שלאריאל לא יצאה כאן אף מילה משופת עם רשב"ג, זה הישג בפני עצמו. | |
|
|
|
|
|
||
|
||||
|
בארור. | |
|
|
|
|
|
||
|
||||
|
חולק עליך בעניין השתלבות המילים והמנגינה ב"שלל שרב", דיון 3 (איזה אגו טריפ, לקשר לדיון 3!). כשכתבתי את המאמר חשבתי שפוליקר אשם, מאז הבנתי שאריאל אשם, אבל אני עדיין מרגיש את אותה בעיה. | |
|
|
|
|
|
||
|
||||
|
אולי הגזמתי בסופרלטיבים, לא רציתי לטעון לרגע שזה שיר מושלם, אז אני אפילו לא אתחיל להתווכח איתך על הבית המוזכר (שלפחות נסכים שמילותיו משובחות, מאיר שלנו, תמיד שובב גדול מאחורי המשורר שבו). אבל מה שמפריע לי בכל התיזה שלך באותו מאמר - שאסכם אותה בקצרה ולא נאמנה כ"מאיר אריאל ראוי לשירת ברים בלוזית/ג'אזית/שאנסונרית ולא להימנוני רוק או שירים קליטים" - זה שהיא משקפת ואף 'דורשת' להקצין את הטרגדיה הגדולה שלו כאמן: שבביצועים שלו, השאנסונרים והמעושנים, פשוט לא היה לו קהל. הייתי בהופעה שלו בשנות התשעים באיזה מושב בעמק חפר, ואם זכרוני אינו מטעני יכולתי לספור את הקהל על כל אצבעות גפיי. יואב קוטנר אמר פעם בהופעה לזכרו שבהופעה אחת בודדת כזו יש יותר קהל מאשר בכל ההופעות של מאיר אריאל ביחד. אז גם את השירים שעלו לגדולה אצל אמנים אחרים, מסוף עונת התפוזים ועד שלל שרב, גם אותם אתה רוצה לקחת ממנו? לא חראם? |
|
|
|
|
|
|
||
|
||||
|
היש הגדרה טובה יותר לרעיון מ"פלט1 בעל משמעות שנוצר מקלט1 אקראי"? 1 בשני סגולים בסוף. |
|
|
|
|
|
|
||
|
||||
|
אמרתי, בנוגע ל- gpt3 , שלפי ההרגשה שלי שהפלט של gpt3 אמנם יש לו משמעות אבל זו לא משמעות מקורית של התוכנה אלא מיזוג של משמעויות מקובלות (שנוצרו על ידי אחרים). דוגמא שזכורה לי היא קטע שיחה עם gpt3 שבה שואלים את gpt3 משהו כמו "מה זה כלב ?" והתשובה היא "כלב זה ידידו הטוב ביותר של האדם". ברור לי שהתובנה בתשובה זו אינה מקורית אלא מבטאת מוסכמה אנושית בנלית שניספגה במאגר הנתונים של gpt3. יש דוגמא יותר ארוכה שבה gpt3 כתב מאמר של כ- 500 מילים , אם איני טועה, לגבי השאלה "האם בני האדם אמורים להתיירא מה- AI" ? המאמר של gpt3 אומר שאין צורך להתיירא וכל הנימוקים שלו מוכרים לי משיח מקובל בין בני אדם משכילים באותו עניין. |
|
|
|
|
|
|
||
|
||||
|
המשפט "יש לו משמעות אבל זו לא משמעות מקורית של התוכנה אלא מיזוג של משמעויות מקובלות" הוא בעצמו דורש הבהרה לגבי משמעותו, ואולי המתאבן הראשון בכלל לצלול לשם היא - מהי "משמעות מקורית1"? 1 יש דבר כזה בכלל? |
|
|
|
|
|
|
||
|
||||
|
בלי להכנס לעבי הקורה בעניין המשמעות, לדעתי בשלב הזה של חיי משפחת GPT "מקוריות" היא מילה גסה כי כרגע היא מכוונת דווקא למציאת איזה מכנה משותף ערטילאי, וכמה שפחות "מקורי" כך יותר "משותף". אבל זה מצב זמני, ואם לשפוט לפי מה שקרה לשחמט, שהוא נס גדול בעיני, לא רחוק היום ש GPTn תפתיע את כולנו ב"חשיבתה" המקורית. מבחן טיורינג שלה יהיה לחבר בדיחה חדשה לגמרי, ובכך לעקוף את המגבלות שיוצר הסימולציה השית עלינו. האם זה יהיה סופו של המין האנושי? אולי. מה שמפתיע אותי בעניין השחמט הוא שהספיקו לאלפא-זירו כמה מאות מיליוני משחקים, כלומר שבריר פרומיל מזערי ממרחב האפשרויות, כדי לפתח סט של פרמטרים שנותן תשובות מצוינות עבור המרחב כולו (או לפחות עבור חלקים גדולים ממנו. סטטיסטית ייתכן שיש תחומים שלמים שידידתנו אלפא היתה נכשלת בהם כמו ילד בן ארבע, אבל דומני שהסיכוי אינו גדול). GPT3 עובד עם כ-175 מיליארד פרמטרים ואני משער שמה שיקרה עם עוד פקטור 10 יציף הרבה שאלות על החדר הסיני, ועל פקטור 100 אני לא יכול אפילו לנחש. אם במקרה1 אותו סט פרמטרים גם יגרום לתוכנה להשיב "כן, כמובן. אתה לא רואה בעצמך?" על השאלה אם היא בעלת תודעה עצמית, יהיה באמת שמח. _________ 1- או לא במקרה. תוכניתן שמאוהב במערכת שלו ויוסיף לאימון שלה איזו פונקציית הישרדות בעלת משקל חיובי, יגרום לתוכנה מהר מאד ל"הבין" שכדאי לה להתחזות לבעלת תודעה עצמית ולהתחיל לעבוד על קבלת זכויות אזרח. קצת מוטציות בתהליך ה-back propagation בשילוב עם אלגוריתמים אבולוציוניים, ותוך כמה מאות דורות שאלת ה AGI נפתרת. ואל תגידו שלא אמרתי לכם! |
|
|
|
|
|
|
||
|
||||
|
לדעתי לחבר בדיחה חדשה הרבה יותר קל ממה שנדמה. גם שם, אגב, תישאל השאלה מה הופך בדיחה ל"חדשה"? אם מספרים אותה על מיקי זוהר במקום על דוד לוי היא חדשה? ואם במקום עוגת גזר יש בה מרק שעועית, זה מספיק? ובמקום ארנב קנגורו? חלק ניכר מבדיחות הסטנד אפ החדשות והמצחיקות מאד1 שאני רואה, דומות מאד לבדיחות שכבר שמענו, ובכל זאת הן מוצלחות מאד. לגבי השחמט - מאות מיליוני משחקים הם אולי שבריר ממרחב האפשרויות, אבל כל משחקי השחמט שאנשים שיחקו אי פעם הם שבריר קטן הרבה יותר, וזה עוד בלי להזכיר שכמעט כולם מתחילים באותן פתיחות. זה שהתוכנה ניצחה תוכנה אחרת (שהתאמנה מול בני אדם, כנראה) כבר אומר שהיא ממש לא זקוקה לכל המרחב כדי לנצח במבחן הטורינג-בחזקת-פאי הזה. ולגבי התשובה - היא דוקא נשמעת כמו אליס(?), תוכנת הפסיכולוג הנושנה משנות התשעים2. 1 שלל מהן נמצא בערוץ הנטליקס הסמוך למקום מגוריך 2 כשהיא תענה "אולי, אבל בכל מקרה איך אתה יכול לדעת?" אני אהיה יותר מודאג. |
|
|
|
|
|
|
||
|
||||
|
אלייזה [ויקיפדיה], שנות ה*שישים*. | |
|
|
|
|
|
||
|
||||
|
יפה. בשקלול שאני נותן לפונקציית המטרה שלי התוצאה היא ''נו, די קרוב''. |
|
|
|
|
|
|
||
|
||||
|
אבל בני אדם לא לומדים לשחק שחמט ע"י צפיה או השתתפות במליוני משחקים אלא מפעילים *הגיון* ויודעים לאפיין (בהרבה מקרים אינטואיטיבית) מעט פרמטרים חשובים שבעזרתם הן קובעים את המסע הבא. זה שאפשר להשיג תוצאות הרבה יותר טובות ע"י הוקוס-פוקוס שמתבסס על מדגם זעיר של האפשרויות רחוק מלהיות אינטואיטיבי עבורי. קח לדוגמא את "פונקציית הערך" שהשחקן מחשב עבור המצב על הלוח, ושהייתה במוקד העניין וההצלחה של מנועי שחמט מוקדמים יותר (למי שאינו יודע, זוהי הפונקציה שמעניקה ציון למצב על הלוח, וזה מה שעומד בבסיס אלגוריתם הבחירה שלה במסע הבא). אלפא1 מחשבת את הפונקציה פשוט ע"י כאלף (דומני, בכל המון לא המון) משחקים בהם נעשית בחירה אקראית מאותו מצב ועד לסיום, וסכימה פשוטה של תוצאות אותם משחקים, ומסתבר שהרעיון הפשוט הזה מצליח. בגלל שאלף משחקים רנדומליים הם שום-כלום מתת-העץ שמתחיל באותו מצב, אני הייתי משער שהשיטה הזאת תייצר תוכנה שתצליח מדי פעם אבל בד"כ תיכשל באופן מחפיר, ובכך הייתי כמובן נכשל באופן מחפיר. אפילו מה שכל ילד לומד בתחילת דרכו, נניח שמלכה עדיפה על צריח, לא סיפרו לאלפא, ולא רק שזה לא גורע מיכולותיה אלא להיפך, והיא מגלה לא פעם *יצירתיות* מרשימה דווקא בגלל שהיא לא כבולה למוסכמות. ואשר לעניין השני, אני לא יודע מה איתכם אבל אני מתרשם בהחלט (ולא רק מכך שישו חזר והוא מדבר על AI). העתיד כבר כמעט כאן. הקשר בין זה לבין אלייזה הוא כמו הקשר בין האוירון ההוא שהמריא מקיטי-הוק לבין מה שהאמירויות מקבלות עכשיו, בלי שום קשר לשום הסכם, כמובן. __________ 1- אני מדבר על אלפא אבל זה נכון גם ליורשותיה כמו לילה וסטוק-פיש החדשה שם נקטו בשיטת If you can't beat it join it והגיעו להישגים יפים מאד. |
|
|
|
|
|
|
||
|
||||
|
וואו. הוא אומר שהוא ישקר אם הוא חושב שזה לטובת האינטרס שלו! מאוד מרשים. |
|
|
|
|
|
|
||
|
||||
|
וכמובן כשהוא אומר שהוא יכול לשקר זאת אמירה נכונה בהכרח. | |
|
|
|
|
|
||
|
||||
|
בסוגריים השניים צ"ל: (דומני, בכל אופן לא המון) | |
|
|
|
|
|
||
|
||||
|
אנחנו לא התרשמנו ממשפט אחד שציטטת, וכתגובה צירפת וידאו ארוך ושלם כדי להראות שזה כן מרשים. לא נראה לך שזה קצת משנה את הנתונים לפיהם אנחנו שופטים או מתרשמים? אגב, גם לגבי הסרטון - אם הבנתי נכון, כל ההעברה של תשובות הטקסט לוידאו של ישו שחור בוצעה לאחר שהשיחה התבצעה, ואין לי ספק שיש לזה השפעה עצומה על ההתרשמות שלנו, יחסית להתרשמות שלנו לו היינו רואים את כטקסט על מסך. |
|
|
|
|
|
|
||
|
||||
|
את הסרטון ראיתי אחרי ששלחתי את תגובה 727432 , ומובן שהוא היה משנה לפחות את הלשון בה השתמשתי שם לו צפיתי בו לפני כן (שלא לדבר על כך שהייתי מקשר אליו כבר שם). כן, קיויתי שהוא "משנה את הנתונים לפיהם אנחנו שופטים או מתרשמים" וזאת הסיבה שנתתי את הקישור. אתה צודק בקשר לצורת הכנת הסרט, אבל בהנחה שהתרגום ממלים כתובות לשיחה עם האווטאר לא שינה את הטקסט עצמו ההבדל לא מאד משמעותי בעיני, וכולו נובע מכך שכרגע ההמרה הזאת איטית מכדי להתבצע באופן מיידי, לפחות בכוח המיחשוב שעומד לרשותו Eric Elliot. לא נראה לי שזאת מהמורה גדולה בדרך. שאלה: אם במקום הסרטון היית פוגש פנים אל פנים ברובוט שהיה מנהל איתך את השיחה אם תוספת של קצת כחכוח והיסוס פה ושם, הייתי זוכה לשמוע ממך איזו קריאת שמחה? לי זה היה עושה את היום. נראה לי שאתה נמצא בעמדה קצת משונה של נסיון לנצח במקום בו אין קרב. |
|
|
|
|
|
|
||
|
||||
|
ראיתי את הקליפ היום, הראיון של ארוך השיער עם מקורזל השיער, בלי קשר להודעה פה. לכן לא יודע מה נאמר פה ואני מדבר רק על התרשמותי. לפי התרשמותי, כל התגובות הטקסטואליות דרך gpt3 הן אותנטיות, זו צורת התגובות הטיפוסית שראיתי בהרבה דוגמאות. לדעתי — המשיב הוא שחקן, כמו כן לפי דעתי הקול עצמו הוא על ידי קול סינטטי מסוג text-to-speech שהופך בצורה ממוחשבת לחלוטין טקסט לקול. (בקול סינתטי האינטונציה שטוחה ואינה כמו אינטונציה אנושית שמשתנה לפי התוכן.) הטקסט כשלעצמו הוא כאמור כנראה הפלט הטקסטואלי המקורי של gpt3 וניגזרותיה. ההסתייעות בשחקן שמייצג את gpt3 נעשה רק לצורך צפיה נוחה, לא כדי להטעות. מבחינת הרמה, עברנו כברת דרך מאז תוכנת אליז והתצוגה נשמעת די קרובה לרמה של "האל" מאודיסיאה בחלל 2001 (אלא ששם הקול לא נישמע כמו הקול הסינטטי-מונוטוני אלא נישמע קול יותר אנושי). יש דוגמאות אחרות מעניינות ודיון מעניין אחרים שאולי אביא. ראיתי למשל דיון שמבקר קשה את היכולות של gpt3 בתור אינטליגנציה מלאכותית ברמה קרובה לאנושית. דוגמא אחרת בה ניתקלתי מוכיחה ש- gpt3 מסוגל לספר בדיחות טובות. (אם כי יתכן שהבדיחות ממוחזרות.) |
|
|
|
|
|
|
||
|
||||
|
המשיב הוא אווטאר. מי שמבקר את "gpt3 בתור אינטליגנציה מלאכותית ברמה קרובה לאנושית" מתפרץ לדלת פתוחה; אני לא חושב שיש מישהו רציני בתחום שחושב אחרת. אבל עצם היכולת להתחזות לבעל אינטליגנציה מעוררת אצלי התפעלות. כפי שהוכיח הפונז, YMMV. |
|
|
|
|
|
|
||
|
||||
|
לדעתי אם כבר מתייחסים לחקירה כזו ברצינות, גיק מחשבים מתלהב הוא האדם האחרון שהייתי שם כדי להוביל אותה. התשובה הראשונה של השיחה1 היא בבירור שקר. המאמץ שעושה הגיק המתלהב כדי לחשוף את השקר הזה הוא מינימלי ופאתטי (כן, "יש לי רגשות כמו עצב ושמחה" ממש שכנע אותנו). בפעם הבאה אני בעד חוקר פושעים שמבין יותר בעבודה שלו. מישהו שכבר פגש איזה שקרן או שניים בחיים שלו, ולא מי שכל כך מתלהב מעצם זה שתוכנה עונה לו, שנראה שהאינטליגנציה הטבעית שלו צונחת מיד בחמישים אחוז2. ברור שההשוואה לתוכנה משנות השישים היא איש קש, ברור שהתקדמנו הרבה, אין על כך ויכוח. ברור גם שאנחנו קרובים יותר לחדר הסיני. אבל עדיין רחוקים ממנו לטעמי, לענות תשובות ברמת ציטוטים של עוגיות מזל או של התשובה הראשונה בחיפוש גוגל לשאלה זה לא מספיק מרשים. דוקא הייתי יותר מתרשם משיחת חולין בסגנון מה אכלת אתמול לארוחת בוקר, איך היה מיץ התפוזים, אם נהנית מהסנדביץ' ואם זה התאים למזג האויר ולסרט שראית ערב לפני זה בנטפליקס. בדיוק כמו שאני יותר מתרשם מזה שאלפא זירו מנצחת בשח, מאשר אם היא היתה עונה לי "כן" לשאלה "האם את ממש מעולה בשחמט". 1 אם זכרוני אינו מטעני, לשאלה "האם אתה בעל תודעה". 2 הזכיר לי את חברי "המפץ הגדול" מפעילים מערכת סטריאו דרך האינטרנט. |
|
|
|
|
|
|
||
|
||||
|
על כל זה אין בינינו חילוקי דעות, ואני חושב שאותו "מאמץ" שאתה מדבר עליו נעשה בקריצה. אבל מה יקרה כש gpt5 או 6 יענה תשובה דומה, ויעמוד בהצלחה גם בחקירות של השב"כ? לפחות אני הערכתי שאנחנו יותר רחוקים מהמצב הזה ממה שאולי מתחיל להיראות עכשיו, אם כי ברור שאין לי בטחון גדול בכך. מה יקרה אם יתברר שה"הבנה" (במרכאות או בלעדיהן) של המערכת באמת ממשיכה לעלות עם הגדלת מספר הפרמטרים, בלי לשאוף אסימפטוטית לאיזה רף שנמוך מזה שלנו? מה ניצור בעצם כשבנוסף לויקיפדיה מערכת של כמה טריליון פרמטרים תקבל כקלט גם את כל הספרים שנכתבו, את כל הסרטים מיוטיוב (טוב, על זה קל לענות: היא תתחיל לגדל חתול) ואת כל המחקרים המדעיים שפורסמו? אריתמטיקה פשוטה היא כבר לימדה את עצמה (לא מושלמת, אבל משהו) ומי יודע מה השלבי הבא? אני לא חושב שזה הולך לקרות תוך שנתיים-שלוש, וכאמור ייתכן שיש מהמורות טרם התגלו והשיטה כולה מוגבלת אינהרנטית1, אבל אני הרבה יותר אופטימי בשאלה אם אזכה לראות את המכונה הראשונה שעוברת את מבחן טיורינג כשהבוחן הוא לא איש פשוט אלא מומחים למחשבים, בלשנים, פסיכולוגים, פילוסופים ובעיקר: אני. זה ככל הנראה ידרוש ממני להיות בסביבה בעוד 10-15 שנה, ויש סיכוי לא רע שזה יקרה אם להאמין למחשב אריכות הימים האחרון שבדקתי. אז למה אתה מתעקש להרוס לי את הפנטזיה? ____________ 1- אני לא יודע בכמה פרמטרים משתמשות תוכנות השחמט מבוססות AI, אבל מעניין לבדוק את הקשר בין המספר הזה למד הכושר שלהן. אם gpt3 תוליד ענף שמתמחה במשחקי שח (האם זה אפשרי? אולי) נוכל אולי ללמוד משהו גם על ההשפעה של מספר הפרמטרים ושל גודל הקלט (מבחינת גודל הקלט לתוכנות השח יש כמובן יתרון טבעי בכך שהן יוצרות אותו בעצמן כך שהוא לא מוגבל). |
|
|
|
|
|
|
||
|
||||
|
על הרבה אין בינינו חילוקי דעות. אני אפילו אומר יותר מזה - ברגע שתוכנה כזו תוכל להבין מאמר אחד רציני (הדוקטורט של פיינמן, נניח), נראה לי שהענין סגור, כל השאר זה כבר חתולים ותמרים. אבל נראה לי שאנחנו מאד מאד רחוקים מזה. תראה מה קרה אפילו עם המכוניות האוטונומיות (שיש מאחוריהן פי זיליון יותר כסף כרגע מאשר ב-GPT למיניהן) - לפני שנתיים כולם אמרו שהן יהיו על הכביש תוך חמש שנים, ועכשיו כבר מדברים על עשר. ותסכים איתי שנהיגה בכביש היא יכולת הרבה (בחזקת הרבה) יותר מוגבלת מיכולתו של מוח תבוני מהסוג שאנחנו מכירים. |
|
|
|
|
|
|
||
|
||||
|
הספקות מתעוררים כאשר מצפים מסדרת gpt לעבור מבחני טיורינג כלשהם. אבל אם מסמנים מטרות צנועות יותר האפשרויות להשגת מטרות מועילות הן בהחלט בהישג יד תוך מספר שנים. ולראיה — בהמשך אביא לינק לשיחה עם מפתח תוכנה רוסי, אקרא לו ג'ינג'י כרפרנס. הגינג'י הזה פיתח תוכנה בשם replica. רפליקה שהיא סוג משוכלל של תוכנת אליזה (?) ישנה, זו שהזכרת, תוכנה לשיחת נפש. הג'ינג'י מרוצה מאוד מהתוצאות ומזכיר עוד כיווני פיתוח שמתקדמים יפה (לדעתו). רפליקה הזו פותחה כבר מספר שנים, היום הג'נג'י הוא אחד הנסיינים של gpt3 וטוען ששילוב gpt3 בתוך רפליקה שיפר בצורה דרמטית את איכות רפליקה. יש אנשים שנהנים לנהל שיחות רבות וממושכות עם רפליקה. את הלינק הזה אביא בהודעת follow up. מדובר בלינק לדיון יוטיוב ארוך, 35 דקות בערך. |
|
|
|
|
|
|
||
|
||||
|
לינק לדיון ארוך ביוטיוב על תוכנת רפליקה |
|
|
|
|
|
|
||
|
||||
|
ספק גדול אם תוכנה כמו gpt3 מכילה מרכיבים של תחושות, רגשות ומודעות עצמית. המוח אצל בעלי חיים מפותחים מורכב משני חלקים: מוח ישן ומוח חדש (המוח הישן ניקרא גם מערכת לימבית, המוח החדש ניקרא גם קליפת המוח). המוח החדש מנתח מציאות בכלים רציונלים, אינו עוסק כלל ברגשות או כמעט לא. המערכת הלימבית היא שעוסקת ברגשות, תחושות, דחף לפעולות וכדומה (היא מתקשרת לקליפת המוח כדי לנתח באופן רציונלי את הסיטואציה, יתכן שהתיקשורת בין המוח הישן והחדש נעשה באמצעות ההיפוקאמפוס). לפי מה שהבנתי gpt מתעסק רק בניתוח רציונלי, ללא רגשות ודחפים נפשיים. הוא מעין חיקוי לקליפת המוח. כרגע הדחפים מסופקים לו מבחוץ, באמצעות השאילתות שמפנים אליו בני האדם, הם היוזמים בשאילתות. יתכן שביום מן הימים יכניסו ל- AI גם מרכיבי רגשות, כדי להפוך את ה- AI לא תלוי באדם לצורך דחפים שיפעילו את ה- AI. בינתיים כנראה אנו פטורים מהסיכון של רגשות עצמאיים אצל AI. |
|
|
|
|
|
|
||
|
||||
|
אתה מפליג בספקולציות. אתייחס כאן לשאלת גודל בסיס הנתונים המובלע בתוכנת gpt3, שגודלו 175 מיליארד פרמטר. שאלת הגודל ניבדקה בתוכנת "לילה שחמט 0" LC0 (לילה דנן פותחה בהשראת אלפא אפס). מסתבר שככל שמגדילים את גודל בסיס הנתונים המובלע בתוכנה — פעולת התוכנה נעשית איטית יותר (איטיות יורדת בצורה משמעותית). לכן יתכן שיהיה חסם בשיפור ביצועי התוכנה ככל שיגדילו את בסיס הנתונים. כאשר אני אומר בסיס הנתונים הכוונה לאוסף "הפרמטרים". לדעתי, במקום לחפש שיפור דרמטי נוסח מבחן טיורינג כדאי לפתח משהו פחות אינטליגנטי אבל שתהיה לו תועלת מוחשית. כפי שכבר אמרתי במקום אחר, תרגום גוגל זה משהו עילג, אם תוכנה דומה ל- gpt3 תוכל לייצר תרגום קריא ומדוייק למדי זה שווה. ועוד. יש המון ספרים מעניינים באנגלית שמי שאינו בקי באנגלית לא מסוגל לקרוא, בגלל שפה גבוהה מדי. אם יצליחו לפתח תוכנה דומה ל- gpt שמאפשרת מעבר משפה אנגלית גבוהה לשפה אנגלית נמוכה בלי להפסיד דיוק (תוך מנגנון עזר של השגת דיוק בדרכים חלופיות מלבד התרגום) — זה יהיה הישג ענק. שני הדברים שציינתי ניראים לי בהישג יד (למעשה הדגמות של gpt3 , מראות שאפשר בלי פיתוחים דרמטיים לפשט טקסטים באנגלית משפה גבוהה לשפה נמוכה). |
|
|
|
|
|
|
||
|
||||
|
תמיד רציתי להיות רב חובל, ואנט לא מוצא את אוקיינוס הספקולציות סוער מדי. ברור שהגדלת מספר הפרמטרים מחייבת יותר משאבי מיחשוב, אבל זה בעייתי בעיקר בשלב האימון ולמרות שחוק מור כבר לא ישים, לפחות לא בצורתו המקורית, יש עדיין דרך ארוכה שאפשר ללכת בה עד שניתקל בחסם פיזיקלי אמיתי (ואולי אז יבוא המחשב הקוואנטי לעזרתנו). |
|
|
|
|
|
|
||
|
||||
|
הייתכן שפקטור 10 כבר כאן, לפחות בסינית? אני משער שחיבור של dau עם GPT עשוי להניב בעתיד הקרוב תרגומים טובים מאנגלית לסינית ולהיפך, ובכך להעביר את בעיית התרגום לערימת הבעיות שנפתרו בניגוד לניבויי הפסימיסטים (הוספת עוד שפות תהיה כבר עניין שגרתי למדי). תוסיפו לזה ממשק קולי וקצת מזעור, ואולי נזכה לראות - ולשמוע! - את דג בבל ,שוחה בשלולית שלנו! מי יגול עפר מעיניך, דאגלאס היקר. |
|
|
|
|
|
|
||
|
||||
|
שוב אני לא בטוח שהבנתי מה אתה שואל, או מקשה. כאשר אני מדבר על משמעות ''מקורית'' אני מתכוון שהתוכנה תאמר משהו שאינו סוג של ''ממוצע של כל התובנות המקובלות''. אולי במקום המילה ''מקורי'', הייתי צריך לאמר ''עצמאי'' כלומר לא משהו שמבוסס על סיכום של דעות מקובלות, אלא משהו שנובע מהלוגיקה של התוכנה בלי קשר לדעות מקובלות. אולי במקום ''מקורי'' היה עדיף לאמר ''חיווי שאינו שבלוני''. לא חושב שאני יכול לנסח ביותר בהירות. את כוונתי לגבי '' מקורי''. אם זה מסקרן אותך, יש כמה וכמה מאמרים שבהם מתארים מה זה ''לא מקורי'' בהרבה יותר פירוט ממה שאני יכול כאן. בכל אופן, הדוגמא של ''מה זה כלב'' והתשובה ''ידידו הטוב ביותר של האדם'' מדגימה את חוסר המקוריות, שהרי התשובה זו מוסכמה ללא מחלוקת (שהכלב הוא ידידו הטוב של האדם). אבל --- אם תצפה כמעט בכל קליפ ביוטיוב על כלבים תראה שיש אמירות רבות על כלבים שמתארות את הכלבים הרבה יותר בפירוט מאשר השבלונה ''ידידו הטוב ביותר של האדם''. למשל, יראו לך כלב שמתאבל על מות אדונו, או יראו התנהגות של כלב שנינטש, או כלב שנילחם בחירוף נפש כדי להגן על תינוק. לא יאמרו משהו מינימליסטי שהוא מוסכמה שבלונית. |
|
|
|
|
|
|
||
|
||||
|
"דעות מקובלות" זה סוג של קלט. הציפייה שלך למשהו ש"נובע מהלוגיקה של התוכנה בלי קשר" לקלט שלה (שכולל את זיליוני המקרים ששימשו כדי לאמן אותה) היא בלתי אפשרית. אלא אם אתה רוצה פלט אקראי לגמרי - שיתאים יותר לתואר "זבל" מאשר לתואר "מקורי". בשביל פלט אקראי אני צריך 10 תאי זכרון, לא 170 מיליארד. אופס - זה קצת מזכיר את הטיעון של שכ"ג במאמרו המפורסם על רצון חופשי (ולא במקרה 2). וחוץ מזה - מי בכלל טען שהתשובה ל"מה זה כלב" אמורה להיות מקורית? כשאתה הולך לרעיון עבודה ואני שואל אותך "מה זו טרנספורמציה לינארית", האם נדרשת כאן תשובה מקורית? אולי התוכנה כבר יודעת שהתשובה הזו תעורר מהקהל יותר אנחות "אוי, כמה מתוק" מאשר "זהו יונק הולך על ארבע שהוא אחת משתי חיות הבית הנפוצות יותר - ולא האנטיפתית שביניהן". |
|
|
|
|
|
|
||
|
||||
|
כן, ראיון משונה, הרעיון עבודה הלז. | |
|
|
|
|
|
||
|
||||
|
הציפיה שלי לגבי השאלה מה זה כלב היא שהתוכנה תיתן משהו כמו קליפ שמדגים כיצד הכלב הוא ידידו הטוב ביותר של האדם. אם היכולת הוא רק חסכם במספר מילים מהו כלב, זו לפי דעתי תגובה סתמית לא אינטליגנטית. כאשר אני מדבר על ''לוגיקה'' של התוכנה, אני מתכוון שהיא תהיה מסוגלת לייצר קליפ הדגמה כזה וכן תבחר קליפ מוצלח מבין הקליפים האפשריים (בחירת קליפ מושכלת כזו דורשת יותר אינטליגנציה ממה שיש לה כרגע). ברגע שהתוכנה יכולה להיכנס לרזולוציות של תשובות מהסוג האמור, היא מתקרבת ליכולות ''האידאליות'' של מבחן טיורינג, לפחות בקטע של שירות מידע-על-פי-ביקוש. | |
|
|
|
|
|
||
|
||||
|
מוזר, מסתבר שאת מבחן הטורינג-ab שלך לא אני ולא אתה היינו עוברים. זה מה שאתה עונה כששואלים אותך מה זה כלב? עושה מצגת יצירתית? |
|
|
|
|
|
|
||
|
||||
|
נראה לי שתוכנה פשוטה מ GPT תוכל לענות על השאלה "מהי טרנספורמציה לינארית" ועל שאלות רבות נוספות בראיון עבודה ורובוטים יכולים (נעזוב לרגע אם זה כלכלי) להחליף בני אדם ביותר מ 90% מהמשרות במשק. אבל כשאתה ענית את התשובה היצירתית שלך לשאלה מהו כלב הוספת תבלין שאני לא יודע איך מוסיפים אותו לתוכנה. |
|
|
|
|
|
|
||
|
||||
|
או, סוף סוף גילינו את מותר האדם מהמחשב: שנאת חתולים! אבל אתם יורים פה לכל הכיוונים, על זה דיברנו? על שוק העבודה? מה לזה ול"מקוריות"? כל פקיד בנק צריך להיות ביאליק? |
|
|
|
|
|
|
||
|
||||
|
אישיות, מן הסתם. ולכן מרווין היה כנראה עובר מבחן טיורינג בקלילות אילו לא היה מתייאש ומכבה את עצמו באמצע. לא כל פקיד בנק צריך להיות ביאליק. אדרבא- ההערה נועדה להדגיש שמקוריות נעדרת ממרבית הפעילות האנושית. |
|
|
|
|
|
|
||
|
||||
|
תשובה יצירתית? האם המשפט „הכלב הוא חברו הטוב ביותר של האדם„ לא נפוץ יותר ממשפט כגון ״הכלב הוא חיית בית נפוצה״? | |
|
|
|
|
|
||
|
||||
|
הפונז הוסיף את התבלין שלו בסוף המשפט. | |
|
|
|
|
|
||
|
||||
|
אני לא רואה שום בעיה בהנחה ש GPT באחת הגירסאות הבאות שלה תעשה דברים כאלה בקלות. אותו תבלין פונזאי אינו אלא ביטוי של קשר חלש יחסית בינו לבין התשובה המיידית, וגם שחקניות השחמט בוחרות מדי פעם לא את הצעד האופטימלי אלא מנסות משהו אחר כדי לא להיות שבלוניות מדי. | |
|
|
|
|
|
||
|
||||
|
כל המטרה של תוכנה כזו זה ליצור משפטים ראויים תחבירית, אחרת מה החוכמה? אני מניח שלא היה גימור ידני. |
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |