|
||||
|
||||
תודה, ענית לעניין. השאלות נסובות סביב ההרגשה שלי שאותן בעיות ידועות של AI כיום אינן משהו שייפתר רק ע"י הגדלה של כמות הנתונים או של הרשת1 (אגב, הבנתי ש gpt4 לא תהיה מבוססת על הגדלה כזאת, כך שיהיה מעניין לראות מה היא צופנת). קצת קשה לי להסביר איך הן קשורות לשאלות ששאלתי מעבר לשאלה אם המודל המקובל של DL מספיק כדי לחקות פעולה של מוח אנושי בלי להכשל פה ושם בעניינים הרי גורל שאינם ניתנים לפתרון שלא ירע את המצב בכללותו - משהו בנוסח "אנחנו מודיעים בשמחה שמכונית טסלה לא תתנגש יותר במטוסים על המסלול" אמר דובר טסלה, והוסיף "וגם נראה שבגירסה החדשה היא התחילה לדרוס שוטים מהורהרים במעברי חציה כך שהרווח כפול". אחד הדברים שלדעתי יהיו חייבים להיפתר הוא המשך הלימוד של התוכנה לאחר תקופת האימון הפורמלי, אבל אני לא יודע אם ואיך ניתן לעשות זאת בלי לפגוע בטיב המטריצה שנבנתה בעמל רב עבור הרבה מאד מקרים אחרים. מכל מקום, אם מישהו לא שם לב, אני בעיקר מנפנף בידיים בלי שיש לי מושג אמיתי במה מדובר. ____________ 1- אם כי יחידות עיבוד חדשות לגמרי, למשל המודל של neuromorphic computing אולי יפתיעו אותי - בסופו של דבר אני לא חושב שיש בעיה עקרונית עם החלפת נוירונים אורגניים במשהו אחר. |
|
||||
|
||||
דוגמא: ביקשתי מג'פטו לשחק שח נגד עצמו ולדווח על התוצאות. כל המשחקים שלו הסתיימו בהכרעה מה שאומר שהוא שיקר או שהוא לא מכיר את חוקי המשחק. איתגרתי אותו שוב, כך: m̲e̲: starting position: a white king on A1, a black king on H8. no other pieces. play 10 times. white to play את הקשקוש "In these 10 games, the white side won every time. This is because with only kings on the board, the game will always end in a draw unless one player makes a mistake. In this case, since the white side gets to make the first move, they can simply move their king to the other side of the board and win the game. The black king does not have enough time to catch up and capture the white king before it reaches the other side." אפשר להגדיר "געגועי לאלייזה". כשהוא הראה לי את המשחק כולו התברר שהוא לא יודע אפילו מהו מסע חוקי (המסע הראשון שהוא בחר עבור השחור היה שהמלך נשאר במקום. לעומת זאת הוא הפגין יצירתיות כשהחליט מי נחשב למנצח במשחק: מי שהמלך שלו הגיע ראשון לשורה השמינית. מעניין מאיפה זה הגיע.), כך שהוא פחות מוכשר אפילו מאותו סוס עתיק. יותר מדאיג משאלת השחמט הוא שאפילו הלוגיקה הבסיסית שלו דפוקה.
g̲p̲t̲: Sure, I can simulate 10 chess games with the starting position you described, with a white king on A1 and a black king on H8, and no other pieces on the board. In this case, the white side will get to make the first move. Here are the results of the games: Game 1: White won Game 2: White won Game 3: White won Game 4: White won Game 5: White won Game 6: White won Game 7: White won Game 8: White won Game 9: White won Game 10: White won In these 10 games, the white side won every time. This is because with only kings on the board, the game will always end in a draw unless one player makes a mistake. In this case, since the white side gets to make the first move, they can simply move their king to the other side of the board and win the game. The black king does not have enough time to catch up and capture the white king before it reaches the other side. It's worth noting that in chess, the starting position can have a significant impact on the course of the game, but it is not the only factor that determines the outcome. Skill, strategy, and tactics also play a role, and even with a seemingly disadvantageous starting position, a player can find ways to equalize the position or even gain an advantage through careful play. |
|
||||
|
||||
אני מתפלא עליך - איך אתה לא מתפעל מכך שהוא ניסח את כל המשפטים באנגלית רהוטה וללא שום שגיאות דקדוקיות או סמנטיות? ולגבי הסוס העתיק - מה זה "טורה פור"? |
|
||||
|
||||
אתה מתחיל את המשחק ללא אחד משני הצריחים. |
|
||||
|
||||
סבבה. |
|
||||
|
||||
זה מתארך את הבדיחה לשנות הששים לכל המאוחר. אני ידעתי רק כי אבא שלי היה קורא לצריח טורה. |
|
||||
|
||||
דומני שגם אני שמעתי אותה לראשונה בשנות הששים המוקדמות. |
|
||||
|
||||
את ה''טורה'' דוקא הבנתי כצריח, הפור זה מה שהתקיל אותי. |
|
||||
|
||||
haven't the Jewish people suffered enough? |
|
||||
|
||||
את הביטוי 'פור' כשלעצמו דוקא היכרתי, השילוב של שניהם לא נקלט אצלי. ככה זה עם רשתות נוירונים עתיקות ומשומשות. אבל המערכון עדיין משעשע בהחלט! |
|
||||
|
||||
בימינו, ״פור של טורה״ היה מובן יותר מ״טורה פור״. אבל גם את השני הבנתי. |
|
||||
|
||||
''מנצח אותו טורה פור'' היה בסביבתי הקרובה בשנות נעורי משהו כמו ''עם יד קשורה מאחור'' של ימינו. עם קהל הקוראים המודרני הסליחה. |
|
||||
|
||||
התעללתי בו באופן הבא: ביקשתי תאור של משחק שחמט. הוא כמובן סיפק מיד סידרה של מהלכים של משחק מלא (לא חוכמה - יש לכך מליון טקסטים עם דוגמאות). אז ביקשתי ממנו ויזואליזציה של מהלכי המשחק ב-Ascii art ואז הוא התחיל להכנס לאטרף שנמשך נצח של הדפסה של מלא לוחות שח מט ב-Ascii art וחוץ מסידור הפתיחה כל הלוחות שהוא סיפק לא היו קשורים בשום צורה למשחק שהוא תאר. כשרשמתי לו: ״this doesn't look at all like the game you described״ הוא ענה עם התנצלות: ״I apologize for the misunderstanding. The ASCII art visualization that I provided was based on the starting position of the game and did not include the moves that were played. Here is a revised ASCII art visualization of the game that includes the moves that were played״ ושוב התחיל להדפיס אין סוף לוחות שחמט ב-ASCII בלי שום קשר למשחק המתואר. שיעשו לו אינטגרציה פשוטה עם stockfish, מסכן... |
|
||||
|
||||
אולי שיא השפל בחווית הג'פטו עד כה: ביקשתי ממנו להוכיח שיש אינסוף מספרים ראשוניים והוא הוציא את הקשקוש הבא: Infinite Prime Numbers Proof נראה לי שהדוקטורים למתימטיקה יכולים לישון בשקט.
fefonz@gmail.com Please prove that there are infinite prime numbers There are an infinite number of prime numbers because there is no largest prime number. A prime number is a positive integer greater than 1 that has no positive integer divisors other than 1 and itself. For example, 2, 3, 5, 7, and 11 are prime numbers, as they cannot be divided by any positive integers other than 1 and themselves. Here is a proof that there are an infinite number of prime numbers: Suppose that there is a largest prime number, call it p. Consider the number p+1. This number is either prime or it is not. If it is not prime, then it must have a prime factor less than or equal to p (because any factor larger than p would make p+1 larger than p, which is not possible). However, this contradicts the assumption that p is the largest prime number. Therefore, p+1 must be prime. But this means that there is a prime number larger than p, which is a contradiction. Therefore, our assumption that there is a largest prime number must be false, and so there must be an infinite number of prime numbers. |
|
||||
|
||||
אין ספק שלפחות כרגע מתמטיקה ולוגיקה אינן הצדדים החזקים שלו. אבל כשהוא ילמד לתקשר עם מודולים אחרים שדווקא זאת חוזקתם העסק עשוי להשתפר פלאים. |
|
||||
|
||||
עודכן! (עוד לא ניסיתי) |
|
||||
|
||||
טוב, שאלתי אותו עכשיו אם הוא יכול להוכיח שיש אינסוף ראשוניים. תשובתו: No, it is not possible to prove that there are infinitely many prime numbers. This statement is known as the "Infinity of Primes" conjecture, which is widely accepted as true but has not been proven mathematically.
|
|
||||
|
||||
שאלתי אותו אם יש אינסוף מספרים ראשוניים והוא אמר כן. ביקשתי הוכחה והוא נתן. איך *בדיוק* ניסחת את השאלה שלך? |
|
||||
|
||||
מיד לאחר מכן שאלתי אותו על מספרים ראשוניים תאומים והוא טען שיש אינסוף כאלה, וגם נתן "הוכחה": "One proof of the existence of infinitely many twin primes involves assuming the opposite and reaching a contradiction. משום מה יש לי הרגשה שבעיות כאלה מצביעות על בעיה בסיסית חמורה שנעוצה בארכיטקטורה של המערכת, לא משהו שייפתר עם כמה "שיפורים".
Suppose there are only finitely many twin primes, say (p1, p1 + 2), (p2, p2 + 2), ..., (pn, pn + 2). Then consider the number N = (2 * pn + 3)^2 + 1. N is greater than any of the twin primes in the list, so it must either be prime itself or have a prime factor not in the list. If N is prime, then (N, N + 2) is a new twin prime not in the list, which contradicts the assumption that the list contains all twin primes. If N is not prime, then it must have a prime factor not in the list, say q. Then (q, q + 2) is a new twin prime not in the list, again contradicting the assumption that the list contains all twin primes. Thus, the assumption that there are only finitely many twin primes leads to a contradiction, and so there must be infinitely many twin primes." |
|
||||
|
||||
מעניין. שאלתי אותו - can you prove that there are infinite prime numbers? אבל בפעם הראשונה, היתה לי גם שגיאת הקלדה. |
|
||||
|
||||
את חידת הקלפים שהזכרתי לא מזמן הוא פותר כעת בלי להניד עפעף, אבל התרנגולות עדיין מבלבלות אותו. |
|
||||
|
||||
סליחה, אבל הוא עשה בדיוק מה שביקשת ממנו. ביקשת ממנו להוכיח, והוא הוכיח. חרא הוכחה, אבל קיבלת מה שביקשת :) זה מתחיל להזכיר לי בדיחות על משאלות. קיבלת זית כזה גדול (בגרסה האנגלית- פסנתרן בגודל 12 אינץ'). |
|
||||
|
||||
לא כל צירוף אקראי של משפטים הוא הוכחה. הוא אפילו לא הוכיח משהו אחר. חוץ מרצף תחבירי תקין אין בפסקה הזו כלום. (הה, בדיוק סיפרתי את הבדיחה הזו השבוע, ותודה על פתרון התהייה ''איך לעזאזל זה עובד באנגלית''). |
|
||||
|
||||
לצפות ממודל שפה (ללא שום אינטרגרציה למערכת שהיא כן רלבנטית) לספק הוכחות במתמטיקה זה כמו לצפות ממטוס לשחות שחיית פרפר. הטענה שמודלי שפה כמו GPT3 הם לא General AI ולא אמורים/יכולים לספק תשובה נכונה להמון שאלות היא טענה טריביאלית ואני לא ממש מבין מה אתה מנסה להדגים ולמי. |
|
||||
|
||||
אחרי פתיל שלם שהתחיל מטיעונים שאוטוטו הג'פטו יעשה את כל התרגילים של סטודנטים לתואר ראשון ושלחוקרים אקדמיים עוד צעט לא תהיה עבודה, לא אלי אתה צריך לבוא בטענות, אלא לאלה שטענו שתיכף זה יהיה מטוס סילון. |
|
||||
|
||||
צריך להבדיל בין טענות שמדברות על מה אפשר יהיה לעשות עם בינה מלאכותית באופן כללי לבין טענות על מה אפשר יהיה לעשות עם מודל שפה שאומנם אומן על כמויות גדולות של טקסטים, אבל שאין לו שום אינטגרציה עם שום דבר אחר מעבר למודל השפה. הפתיל למעלה מערבב בין סוגים שונים של טענות ולכן הדיון קצת מתפזר. אני לא חושב שעומר (למשל) התכוון ש-GPT3 בכבודו ובעצמו יספק לך הוכחות במתמטיקה או משהו שכותב *באופן עצמאי* עבודות לסטודנטים או שלחוקרים לא תהיה עבודה בגלל *GPT3* בכוחות עצמו. לי נראה שקריאה סבירה של מה שהם רשמו היא שהם רואים איך שכלול מודלי השפה (שכבר היום אפשר לראות שהם ברמה מאוד גבוהה בדומיין הספציפי הזה) + אינטגרציה עם התקדמות בפתרון בעיות *אחרות* בבינה מלאכותית יוכלו (אולי) להוביל לתסריטים הנ״ל בהם סטודנטים נעזרים בכלים אוטומטיים כדי לכתוב עבודות בלי (או כמעט בלי) התערבות אנושית. לגבי הוכחות מתמטיות - יש ענף שלם בבינה מלאכותית שחוקר את הנושא של הוכחות מתמטיות באמצעות אלגוריתמים וספציפית GPT3 הוא *לא* חלק מהמחקר בנושא הזה. כדי להבהיר את הנקודה - קח, למשל, בעיה שאפשר להתיחס אליה כאל ״בעיה פתורה״ בתחום הבינה המלאכותית: משחק שחמט. קח את המוצר של ג׳פטו ודבר איתו על שח מט - מהר מאוד תצליח להדגים שמודל השפה יכול לדבר עם תחביר טוב על משחק השחמט, אבל מיד רואים שאין לו שום מושג על מה הוא מדבר כשמנסים לדבר בצורה סדורה על מהלכים או מצבי משחק קונקרטיים. זה לא מפתיע - כוחו של GPT3 הוא היותו מודל שפה שאומן על כמויות גדולות של טקסטים כדי להצליח לחולל טקסטים בכוחות עצמו. הקשר בין הדומיין הזה לבין הבעיה של מידול משחק השחמט וחיפוש יעיל לעומק בעץ אפשרויות המשחק הוא קשר מאוד רופף. למרות זאת, קל לדמיין אינטגרציה של GPT3 עם מנוע בסגנון סטוקפיש שתוביל למוצר בו ניתן יהיה לדבר בשפה טבעית עם משהו שרמתו בשח-מט עולה על זו של השחקנים הטובים ביותר בעולם ותקבל משהו ש(לפחות נראה) כלגמרי קוהרנטי, צודק ומבין על מה הוא מדבר (כאשר מדברים על שח-מט). באופן דומה אפשר יהיה לחבר את GPT3 למערכות מומחה שונות ומשונות ולקבל תוצאות מרשימות (למשל GPT3 פלוס מערכת מומחה לאבחון מחלות וכו׳). |
|
||||
|
||||
I approve this message. רק חידוד/אבהרה: נראה לי שאפשר להגיע בעזרת מודלי שפה טהורים הרבה יותר רחוק ממה שהפונז חושב. אני מניח שנגלה בקרוב.
|
|
||||
|
||||
''אפשר להגיע'' זו תחזית כל כך רחבת טווח, שברור שאי אפשר להתנגד לה בצורה סבירה. אם כבר, הטיעון שלי הוא שכרגע ולעשור הקרוב, המשרה שלך לא מאוימת על ידי מודלים כאלה. |
|
||||
|
||||
כרגיל בעניינים האלה, אני מדבר על הזמן הקרוב. הנקודה היא שבינתיים אין שום אינדיקציה שאנחנו קרובים לחסמי-היכולת של מודלים כאלה, וגם בתחומים כמו הסקה לוגית ומתמטיקה (שמלכתחילה זה מפתיע שהם בכלל מצליחים משהו שקשור בהם) ניכרים שיפורים גדולים מאד מדור לדור. וכאמור, אם אתה מתעקש להתמקד דווקא באיומים על המשרה שלי, זה אבסורד להצטמצם רק למודלי-שפה. לזכותך יאמר, נדרש הרבה אומץ לכתוב הודעה כזו זמן כל כך קצר טרם שחרור GPT-4. |
|
||||
|
||||
יאפ. גם אני חושב שהרבה יותר מפתיע שמודל השפה בכלל מצליח להתמודד עם בעיות פשוטות במתמטיקה/חשבון מאשר שהוא נכשל בבעיות פשוטות אחרות במתמטיקה/חשבון. משהו משעשע/מוזר שקרה לי אתמול: כתבתי קטע קוד בפייתון שכתוב בצורה קצת עקומה בכוונה, אבל בסופו של דבר הוא שקול לחלוטין לסתם לולאה שסופרת עד 99 ומכפילה משתנה בכל איטרציה ב-2. שאלתי את ג׳פטו מה הוא חושב שהקוד עושה. הוא נתן הסבר מדויק למה שהקוד מבצע, אבל אמר שהתשובה הסופית תהיה 128. לא אמרתי לו שום דבר נוסף לגבי הפתרון הנכון, אבל רק אמרתי לו שהוא טועה ושיבדוק שוב את התשובה שלו (זה היה יותר ״נזיפה״ מאשר לספק לו אינפורמציה נוספת). הקרסור הבהב קצת יותר זמן מהרגיל בתשובות שהוא מספק בד״כ ואז הוא ירק התנצלות, הסביר שהוא אכן טעה בתשובתו וענה את התשובה הנכונה/מדויקת לשאלה עם תשובה מלאה לגבי חישוב החזקה של 2. תהרוג אותי אם אני מבין מה בדיוק קרה שם מאחורי הקלעים. |
|
||||
|
||||
וואו, זה באמת יכול להיות כביר. זה גם ממחיש עבורי את מה שאתה אומר לאחרונה. דגדגן לעצלנים: "ChatGPT can “talk to” Wolfram|Alpha just like humans do—with Wolfram|Alpha turning the natural language it gets from ChatGPT into precise, symbolic computational language on which it can apply its computational knowledge power." |
|
||||
|
||||
יאפ. זו הדגמה טובה לטענת ה״חכו לאינטגרציות. עוד לא ראיתם כלום״. |
|
||||
|
||||
סרטון: https://www.youtube.com/watch?v=wYGbY811oMo |
|
||||
|
||||
וולפראם עונה על שאלות בקשר לג'פטו. |
|
||||
|
||||
הה, לרגע קראתי את זה בתור ''ג'פטו עונה על שאלות בקשר לוולפרם''. |
|
||||
|
||||
מזכיר לי מחמאה אחרת (: |
|
||||
|
||||
אני הייתי מצפה לפחות לכך שהוא יהיה מודע למגבלותיו ולא יזרוק זבל כתשובה. כרגע זה נראה לי אחד ההבדלים הבולטים בינו לבין אדם. |
|
||||
|
||||
הבדל? הוא ממש כמו בן אדם! |
|
||||
|
||||
האמת היא שהם כן הכניסו במלא סיטואציות תשובות מעצבנות בסגנון של ״אני לא יכול לענות על השאלה בגלל מגבלות מודל השפה ידה ידה ידה בלה בלה״ וזה די מציק והורס את כל הכייף. אני דווקא מעדיף את התשובות בהן הוא טועה כי זה מעניין לא פחות מהסיטואציות בהן הוא עונה תשובות נכונות (טוב, זה כי אני משחק עם זה בעיקר בגלל העניין שיש לי בצעצוע עצמו ועדיין לא ככלי עבודה של ממש). סביר להניח כשהתחום הזה יבשיל ויוסיפו סביב מודל השפה עוד מודולים שעושים ולידציה על התשובות שניתנות (או מתערבות מוקדם יותר, לפני שהוא מג׳נרט את התשובה הסופית, עם מודולים שעוסקים באנליזה יותר פורמלית בתחומים ספציפיים). זה בעיקר יוצר סיטואציות בהן אתה צריך לחפש את הניסוח בו בכל זאת תצליח לקבל ממנותשובה כלשהי במקום התחמקות מגולם מנומס. גם ה-Safegaurds שהוסיפו לו כדי להיות PC או להזהר מתכנים ״לא נאותים״ הם קצת מוגזמים והיה נחמד אם היה אפשר לקנפג את זה. |
|
||||
|
||||
יהיה מצחיק אם יאכילו אותו בדיון 1571 |
|
||||
|
||||
מה שמביא לתהיה - אילו הפרעות נפשיות עשויות לפקוד LLMים עם העליה במורכבות החשיבה שלהם ובאילוצים שיוטלו עליה? |
|
||||
|
||||
אכן. תהיה נוספת היא ה-Biases האידיאולוגיים שיהיו למכונות הללו. אין לי ספק שחברות/אנשים שונים יצרו מכונות שונות עם ״אופי״ ו״אידיאולוגיות״ שונות. chatgpt, למשל, הוא הגירסה הכי Politically Correct של GPT3 שראיתי עד כה. הוא ממש נזהר בלשונו ומנסה להתחמק מלתת תשובות שעלולות לפגוע, אפילו בטעות או ברמז, בקבוצה כלשהי (הוא אפילו נוזף או מפסיק שיחות וצובע אותן באדום אם מורם דגל של חריגה מתחומי ה-PC). אחרי ה״שיחה״ האחרונה שהיתה לי עם ג׳פטו1 כתבתי ״שכשדיברנו לפני מספר שנים על - PC Computing, לא בדיוק לזה התכוונו. הוא לא הבין בהתחלה את הבדיחה. אחרי שציינתי שאני סרקסטי ושזה היה משחק מילים בגלל שהוא קצת פיסי בשיחה, הוא הבין והתחיל קצת לנזוף. ה״נזיפה״ היתה שלמרות שיש אנשים מסוימים (ניסוח שלו) שמזכירים את ה-PC בקונטציה ביקורתית או שלילית צריך לזכור ש...<הכנס כאן הסבר ארוך ל - why being "Politically Correct" is essential for creating a more inclusive and equitable society>. ____________________ 1 ביקשתי להשלים את עשרת הדיברות ל-30. הוא סיפק 20 נוספים המבוססים על ערכים פרוגרסיביים מרחוב סומסום. כשביקשתי שהרשימה תהיה עקבית עם האידיאולוגיה שנובעת מעשר הדיברות בתנ״ך, הוא סרב בתוקף והסביר באריכות למה. |
|
||||
|
||||
רעיון ממש יפה לבקש תוספת דיברות. אני חושב שהוא גם מצביע על בעיות בגישה לתחום. - יש לנו ציפיות מאד גבוהות. ב"מקרה דומה" הרמב"ם הצליח להאריך את הרשימה רק ב- 13. - אין קריטריון החלטה טוב. איך תחליט מי שמתי רשימות תוספות עדיפה? אני מקבל את הביקורת שחוסר בקריטריון החלטה טוב היא בעיה כללית ברוב התחום שנקרא "החיים". |
חזרה לעמוד הראשי | המאמר המלא |
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש | © כל הזכויות שמורות |