|
||||
|
||||
לאו דוקא: נניח שהסטודנט שלך אמור להגיש עבודה שכותרתה "שימושים בקרינה רדיואקטיבית ברפואה". השלב הנוסף על הגיגול הקודם שלך של המשפט השלישי בהגשה שלו, יהיה קודם כל להזין את הצ'אטבוט באותה כותרת, ואז לחפש במאמר שהוא יפיק את השורה השלישית בעבודה של הסטודנט. שלא לומר שאפשר גם לחשוב עוד צעד קדימה - אתה תזין לצ'אטבוט את העבודה של הסטודנט שלך, והוא יענה אם זו העתקה מצ'אט בוט או לא :-) |
|
||||
|
||||
הבוט לכל הפחות stateful (וכנראה גם לא דטרמיניסטי). לא סביר שהמרצה יצליח לשחזר את התשובה של הסטודנט אפילו אם הסטודנט רק עשה קופי-פייסט מתוך הצ'אט. |
|
||||
|
||||
אולי לא כל התשובה תהיה זהה, אבל די סביר שלפחות חלק מהמשפטים יחזרו על עצמם שוב ושוב. |
|
||||
|
||||
כמו שעומר אמר: הבוט נותן כל פעם תשובה אחרת על אותו פרומפט. שיחקתי איתו קצת אתמול והיום והתרשמתי עמוקות. |
|
||||
|
||||
שאלתי אותו עכשיו פעמיים את אותה שאלה (מה מצחיק בבדיחה מסוימת1). מעבר לזה שהוא לא הצליח להבין מה מצחיק בבדיחה הזו, שתי הפסקאות האחרונות בתשובה שלו היו זהות מילה במילה בשתי התשובות שהוא נתן. 1 What's funny in the next joke:
"Jon: Did I tell you the joke about Gaslighting? Judy: No, you didn't. Jon: Well, I did" |
|
||||
|
||||
אוקיי, מעניין. בבדיקה (השטחית) שלי אתמול והיום לא היו חזרות של מילה במילה. |
|
||||
|
||||
ובדיוק הערב קפצה לי הכתבה הזאת, על הניסיון של OpenAI להכניס "סימן מים" בטקסטים ש-ChatGPT מייצר. |
|
||||
|
||||
הרעיון עלה במוחי אתמול לאור השאלה שלך, איך להכניס סימנים מוכמים (אבל חבויים) לטקסט שכזה. אולי שבדילוגי אותיות אפשר יהיה למצוא "אני אדוני אלוהיך"? |
|
||||
|
||||
הפתרון חייב להיות קצת פחות טריויאלי, כי אפילו הסטודנט העצלן ביותר לא יהסס להפעיל את התוכנה "replace-some-words-by-synonyms" על הטקסט שג'פטו ודומיו יייצרו, לפני הגשתו למרצה, או במקרה הצורך משהו מתקדם קצת יותר בנוסח "write-an-equivalent-essay" שיודעת לשחק גם עם מבנים סינטקטיים, אבל עדיין פשוטה בסדרי גודל מג'פטו כך שתהיה קלה לרכישה ברשת תמורת 1.30$. למעשה התוכנות האלה כל-כך פשוטות שאפשר להריץ אותן אפילו על מחשב ביולוגי פרימיטיבי כמו המוח האנושי ולחסוך את אותו דולר וקצת. אותה חותמת מים צריכה איכשהוא להיות עמידה בפני שינויים קטנים, כלומר להתבסס על ניתוח סטטיסטי של הטקסט כולו. מעניין איך מיישמים משהו כזה, במיוחד בלי לפגוע באיכות הטקסט, אבל בכל מקרה אני לא רואה פתרון לכך שבמקום כתיבת עבודות הסטודנטים יצטרכו רק לנסח מחדש את הפלט שקיבלו מג'פטו. What a time to be a cheat!
|
|
||||
|
||||
אבל, תשמע, העתקות עם שינויים זה משהו שקיים מימי ניוטון בערך1, והמערכת האקדמית היתה אמורה להתמודד איתם כבר אז. 1 אי שם באוניברסיטה, כשהיינו מקבלים דוחו"ת מעבדה משנתונים קודמים (רק כדי לקבל השראה, כמובן), היינו קוראים להם "ניוטונים", על משקל ההכרזה שהאחרון שאכן עשה דו"ח מעבדה בעצמו הוא ניוטון. |
|
||||
|
||||
נכון, אבל כשאתה משנה מקור שעלול להיתגלות לבודק אתה מסתכן. כשאתה משנה טקסט שהוכן רק עבורך הסיכון כמעט לא קיים. ________ 1 אם למדת באונ. תל אביב בטח שמעת את הסיפור על גובה הארובה שנמדד בטכניון. |
|
||||
|
||||
כמו שכבר אמרתי כאן (ואני שומע את זה מעוד קולגות שניסו) - הג'פטו חוזר על עצמו ללא הפסק. התשובות שלו לשאלות זהות הן 80% לפחות אותם משפטים, בסדר קצת אחר לפעמים. (ומן הסתם כל הסטודנטים ישאלו את אותה שאלה, זאת מהתרגיל שהם אמורים לפתור). _ את הסיפור שמעתי שמוע, למרות שלא למדתי שם. |
|
||||
|
||||
אני הבנתי שהוא מאד רגיש ל prompt, ומה שיותר חשוב: הוא מוכן לשנות ניסוח וגישה בהתאם לבקשות בהמשך, כך שאולי יהיה צורך בטיפה יותר מאמץ מאשר רק להעתיק את נושא העבודה אבל ללא ספק הרבה פחות מאמץ מאשר לעשות את העבודה בעצמך. אגב, אחרי שההתלהבות הראשונית שלי שככה, אני הרבה פחות מתרשם מיכולותיו של ג'פטו. קשה לי לראות איך הוא מצליח לעבור בהצלחה בחינות של תלמידי תיכון כפי שמספרים לנו. אל תשאל אילו שטויות הוא פלט כששאלתי אותו לגבי אותן תרנגולת וחצי שמטילה ביצה וחצי ביום וחצי - שאלה שנתקלתי בה כשהייתי הרבה לפני גיל תיכון (ודומני שאפילו הצלחתי לתת את התשובה הנכונה, אבל אני לא בטוח). |
|
||||
|
||||
אכן, אתמול ניסיתי להרשים איתו את בתי בת ב-12, וזה כשל. הוא לא הצליח לומר מי הזמר הכי פופולרי בלהקה החביבה עליה, והבדיחות שהוא כתב היו ממש גרועות עד חסרות פואנטה. |
|
||||
|
||||
ראשית, עובדה שהוא מצליח (או לפחות הצליח). ראיתי דוגמאות רבות ומרשימות יותר בעבר, אבל כרגע למשל מצאתי את זה (פרופסור למנהל-עסקים נותן ל-GPT את הבחינה שהוא הכין לתלמידי MBA בניהול-אסטרטגי, ומקבל תשובות ששווות A או A- על כל השאלות). שנית, אני חושב שהרבה מהביקורת (לא בעניין מבחני-בית, אלא באופן כללי) מחמיצה את הנקודה: מדובר במודל-שפה. אמנם הולך ומתגבש קונצנזוס שמודלים-כאלה מספיקים לחלוטין (וזה אולי נכון), אבל העניין העיקרי הוא בכך שהוא מדגים שהבעיות הגדולות (הבנה סמנטית רחבה, הבעה, דיאלוג) בדרך לכלי-בינה-מלאכותית אמיתיים כבר פתורות למעשה. בעיני הוא גרוע בלוגיקה ובמתמטיקה בדיוק באותו אופן שבני-אדם גרועים בזה ומסיבות דומות1 (כרגע, עדיין גרוע יותר מבני-אדם שטובים בזה כמוך וכמו הפונז, אבל תן לו זמן). מצד שני בניגוד לבני-אדם, האינטגרציה של "המוח שלו" עם מערכות שכן אמורות לעשות דברים כאלה, כמו מערכות לחישוב סימבולי, מערכות הוכחה פורמלית, מחשבונים, סימולטרים וכו' היא קלה. אפשר לחשוב על מודלים כמו chatgpt בתור המודול המרכזי, או המודול של "ממשק המשתמש", במערכת בינה מלאכותית (ולא בתור המערכת כולה). זה אמנם עושה עוול2 למודל ומרדד את היכולות שלו, אבל זה מבהיר את הנקודה. שלישית, אתם מנטפקים כאן למוות יכולות של מוצר אחד שהונדס להגיב באופן מאד מסויים ומוגבל ב-29.12.2022. כל המגבלות האלה (במידה שהן לא טריוויאליות, ולא שוכנעתי בכך) הן לא מאד מעניינות כשחושבים על האימפקט שלו (למשל על גורלן של עבודות הבית בבתי-ספר ואונ'). הרי ברור לכל שמצב העניינים יהיה שונה כבר עוד חודשים ספורים. 1 כמונו, הוא לא גדל כדי לעשות דברים כאלה, והעובדה שהוא (ואנחנו) מצליחים בכך בכלל באיזושהי מידה היא סוג של fluke. 2 סביר שמודלי-שפה כן יכולים "ללכת עד הסוף" לגמרי בעצמם, אבל גם סביר בעיני שבכל מקרה ה-state-of-the-art יהיו אולטימטיבית אינטגרציה של מודלים שונים ומודולים שאינם מודלים, ולא מערכת אחת. |
|
||||
|
||||
אני נוטה להסכים איתך, ואני לא חולק על כך שמדובר בהישג פנטסטי, אבל *כרגע* הוא הרבה פחות מרשים אותי מאשר לפני כמה ימים. מילא, מתמטיקה הוא לא בהכרח מבין, אבל הוא לא מיישם אפילו כללים פשוטים של לוגיקה אלמנטרית, אותם הוא יודע לצטט בשמחה וגם להראות את טבלאות האמת הלוונטיות כשהוא נשאל לגביהם (אני לא יודע אם מישהו קרא את הדיאלוג שלי איתו בעניין מבחן וואסון, הוא נשמע שם שיכור לחלוטין). בחידת הקלפים הוא נכשל בנסיון הראשון לגמרי, אבל אחרי שינוי ניסוח הוא פתר אותה נכון. את מוטי הול הוא מכיר, כך שאני לא יודע אם הוא פתר אותה (נכון!) בעצמו או שהוא ציטט את הפתרון שגם אותו הוא כמובן מכיר. הארגומנטציה שהוא נתן היתה נכונה, אלא שגם אותה הוא אולי העתיק. העובדה שהוא רגיש מאד לניסוח, הרבה יותר מבן אדם, היא מכשול גדול, במיוחד במקרים בהם קשה לבדוק את התוצאה. יש לי הרגשה (בהסתייגויות הברורות מאליהן בקשר להרגשות שלי) שזאת בעיה קשה שפתרונה ידרוש קירבה הרבה יותר גדולה ל AGI ממה שקיים כרגע. בהקשר זה מעניין יהיה לבדוק את ביצועיו במשחק Jeopardy ולהשוות אותם עם Watson קשישא. עד כמה שהבנתי מאיזה פתיל קטן ב reddit הוא לא הצטיין. על זה ששימושים שליליים בו נראים מעשיים כבר עכשיו אין ויכוח. |
|
||||
|
||||
אני מנסה לומר שלוגיקה היא לא באמת אלמנטרית, והכללים שלה לא באמת פשוטים. ואני לא מתכוון למובן "הנדסי", אלא במובן האנושי-יומיומי-הרגיל. פגשת פעם אנשים? אני כן, וחזרתי מזועזע. אחד הציטוטים החביבים עלי הוא של האסטרונום פרנציסקוס סיזי, מהמאה ה-17, שכתב - "There are seven windows given to animals in the domicile of the head, through which the air is admitted to the tabernacle of the body, to enlighten, to warm, and to nourish it. What are these parts of the microcosmos? Two nostrils, two eyes, two ears, and a mouth. So in the heavens, as in a macrocosmos, there are two favourable stars, two unpropitious, two luminaries, and Mercury undecided and indifferent. כאן מדובר באסטרונום משכיל; ולא בילד ולא בהדיוט. אפשר להביא הגיונות מביכים במידה דומה מאריסטו עד לאקאן - האליטה האינטלקטואלית של ההומו-ספיאנס לדורותיו. קל וחומר כאשר מדובר בילדים או בהדיוטים, ואני מעדיף להדחיק את מה שקורה כאשר מדובר בהנמקות תאולוגיות או פוליטיות, אז לא אכנס לזה.From this and many other similarities in nature, such as the seven metals, etc., which it were tedious to enumerate, we gather that the number of planets is necessarily seven. Moreover, these satellites of Jupiter are invisible to the naked eye, and therefore can exercise no influence on the earth, and therefore would be useless, and therefore do not exist. Besides, the Jews and other ancient nations, as well as modern Europeans, have adopted the division of the week into seven days, and have named them after the seven planets. Now, if we increase the number of the planets, this whole and beautiful system falls to the ground." האינטליגנציה האנושית לא בנויה ללוגיקה, למחשבה סדורה ולמחשבה כמותית. אנחנו מצליחים בכך (חלקינו, לפעמים, במידה מסויימת) למרות היכולות הטבעיות שלנו ולא בזכותן, וזה מותנה אימון רב ודורש קשב וריכוז בלתי פוסקים. ואנחנו עדיין טועים, כל הזמן, בדיוק באותו אופן בו chatGPT טועה. אני לא רואה שום הבדל איכותי בין האינטליגנציה של בני-אדם לבין זו של מודלי-השפה הגדולים הנוכחיים, וההבדלים הכמותיים שעדיין קיימים קטנים מאד. |
|
||||
|
||||
הסיפא של תגובתך מחדדת את אי ההסכמות בינינו. אני מניח שנשוב לזה בעוד זמן מה. |
|
||||
|
||||
מסכים לגמרי עם הדברים. באשר ליכולותיו הלוגיות והמתמטיות של ג'פטו ודומיו, בעברי הרחוק נתקלתי בספרות ובעבודה, בניסיונות לבסס מערכות בינה מלאכותית על לוגיקה וקשרים מתמטיים מדוייקים, או לפחות fuzzy או סטטיסטיים מדידים. למיטב זכרוני, כולם כשלו עוד כאשר נתקלו בקצה עולמם של בני האדם. נראה שדווקא מודלים שלמדו את העולם מכתביהם של יצורים אלו, שחלשים בדיוק בעניינים אלו, מצטיינים היכן שמודלים "לוגיים" כשלו. ללמדך ש... כלום בעצם. אני מנחש אולי כמוך שחיבור המודל ליכולות לוגיות ומתמטיות נמצא מעבר לפינה. |
|
||||
|
||||
למתעניינים: סקירה עדכנית של טכניקות אינטגרציה של מודלי-שפה עם מערכות אחרות (מערכות היסק, חישוב סימבולי, מנועי חיפוש...), כולל התייחסות לאיך אולי אפשר יהיה להתאים אותם ישירות למשימות כאלה גם ללא אינטגרציה. |
|
||||
|
||||
עוד זה מדבר וזה בא: כתבת מדע-פופלרי בקוונטה על שני מאמרים (דווקא לא חדשים, בני כחצי שנה:1, 2) בנושא אימון של מודלי-שפה למטרת הוכחות מתמטיות, חשיבה כמותית, ותרגום בעיות משפה טבעית לשפה פורמלית. |
|
||||
|
||||
מאכזב, אבל גם ג'פטו הרביעי נכשל במטלה. הוא מתחיל בצורה מעוררת תקווה: "Let's try to solve this problem step by step. We are given that a chicken and a half (1.5 chickens) lays an egg and a half (1.5 eggs) in a day and a half (1.5 days). We want to find out how many eggs a single chicken lays in one day." ההמשך, כראוי: "First, let's find out how many eggs 1.5 chickens lay in one day. To do that, we'll set up a proportion:" ומקבל כצפוי ביצה אחת (שזה, אגב, יותר ממה שיש לרוב הח"כים של הליכוד), אבל בהמשך הוא מתבלבל ונשאר עם אותה ביצה גם כפתרון לשאלה כולה. נסיון להודיע לו על טעותו ולנווט אותו לתיקון נכשל בטענה המשונה ש"You’ve reached the daily free message limit for GPT-4". שאילתא אחת היא המכסימום היומי? ג'פטו כבר הספיק להצטרף למחלקת דוחות החניה בעיריית פתח-תקווה? |
|
||||
|
||||
גם אני קיבלתי ממנו תשובה דומה. ניסיתי לתקן אותו: I think you were referring to an input "one chicken lays 1.5 eggs in 1.5 days", which is different from the one I specified זה הוביל להתנצלות ותיקון...שהגיע שוב לאותה התשובה. |
|
||||
|
||||
מפתיע ומאכזב, במיוחד בגלל שהוא ''מבין'' שצריך לפתור את הבעיה בשני שלבים, ואפילו מבצע נכון את השלב הראשון. |
|
||||
|
||||
מאחר וחשיבתו הבסיסית אינה מתמטית, תהיתי שמא הכפילות של האחד וחצי שמטעה ילדים, מטעה גם אותו. אז ניסיתי את זה: If two chickens eat 800 gram of feed in two days, how much does one chicken eat daily? אבל הוא ענה 400 גרם.אז התעקשתי: This is a wrong answer. Please do that again, step by step, considering both the number of chickens and the number of days. ואז סוף סוף הוא השיב כהלכה:Apologies for the confusion. Let's calculate the daily feed consumption for one chicken step by step.
Given: - Two chickens - Total feed consumed in two days: 800 grams To find out how much one chicken eats daily, we need to divide the total feed consumption by the number of chickens and the number of days. Total feed consumed by two chickens in two days: 800 grams First, let's find the total feed consumed by one chicken in two days. Since both chickens eat the same amount, we can divide the total feed by 2: 800 grams / 2 = 400 grams So, the total feed consumed by one chicken in two days is 400 grams. To calculate the daily consumption for one chicken, we divide the total feed consumed in two days by 2 (the number of days): 400 grams / 2 = 200 grams Therefore, one chicken eats approximately 200 grams of feed per day. |
|
||||
|
||||
אבל זה בדיוק מראה מה הוא 'מבין' ומה לא. הוא לא 'מבין' מתימטיקה, אפילו לא ברמה של בית ספר יסודי. ניסוח *מילולי* מסוים יוביל אותו לחקות/לשחזר/לדמות/לפברק (אין מילה טובה לזה) תבניות מילוליות מסוימות - שיובילו לתוצאה נכונה, וניסוח אחר יוביל אותו לפיברוק תבניות אחרות שלא מובילות לתוצאה. זה כמו מישהו שזוכר בעל פה תשובה לבעיה מתימטית מסוימת, אבל לא זוכר למה זו התשובה. לפי כל קריטריון בסיסי - המישהו הזה פחות אינטליגנטי (במתימטיקה) מתלמיד יסודי, או חמור מזה: המישהו הזה לא מבין מתימטיקה בכלל. |
|
||||
|
||||
מצד שני "GPT-4 ranked in the top 11% of scores on the SAT Math Test" ומרשים יותר: "Reaching the top 0.5% on the USA Biolympiad Semifinal Exam". אולי הההסבר הוא שהבעיות לפתרון ב-SAT וגם במבחני המיון לאולימפיאדת המתמטיקה שייכות למשפחות מוגבלות יחסית, ואחרי שהוא נתקל בכל אלה שפורסמו הוא רכש מיומנות בפתרון הבעיות מהמשפחות האלה. אני חייב להודות שה"הסבר" הזה לא ממש משכנע אותי, אבל בהנחה שהתוצאות שציטטתי למעלה נכונות (ולא, למשל, משהו שהוא עצמו המציא בשביל הצחוקים וכולם מעתיקים) נראה שיש עדיין איזה הבדל משמעותי ומהותי בין מה שהוא "מבין" לבין מה שהמוח שלנו עושה. |
|
||||
|
||||
אופס, ביולוגיה, לא מתמטיקה. איך מוחקים תגובה באתר הזה? |
|
||||
|
||||
אני painfully aware לכמה שהרף המשתמע בטענה הבאה נמוך, אבל אני משוכנע שמודלי-שפה מבינים מתמטיקה באופן שאיכותית אינו שונה מהאופן בו אני (לא) מבין מתמטיקה. אבל התרועעתי בחברת מתמטיקאים רציניים ואני משוכנע שמודלי-השפה גם לא מבינים מתמטיקה באופן איכותנית שונה מהם. נדמה לי שכבר התכתבנו בנושא, לא? לדעתי באופן בסיסי בני אדם - גם החכמים שבהם - גרועים בלוגיקה, חשיבה כמותית וחשיבה סדורה בדיוק כמו מודלי-שפה. חלק מאיתנו צברו מיומנויות שמאפשרות לנו בינתיים לכסות על חוסר-הכישרון הזה טוב מהם, אבל לא הייתי מעמיס על כך תילי משמעויות. הפער מן הסתם יסגר בקרוב. עד כאן דיברתי בביטחון יחסית גבוה, וכעת לספקולציות בביטחון מאד נמוך: יש כמובן הבדלים פונקציונליים ועקרוניים עצומים בין המוח למודלי-שפה (שלהערכתי לא משנים כמעט כלום לעניין ה-AGI), אבל אני חושב שבני-אדם ומודלי-שפה טובים (=גרועים) במתמטיקה במידה דומה מכיוון שקוגנטיבית אנחנו לרוב דווקא כן מעבדים מתמטיקה באופן דומה (פונקציונלית) אליהם. ולכן אני מנחש1 שמודלי-שפה לא ישיגו לבדם יכולת-מתמטית על-אנושית2. אבל אינטגרציה של מודלי-שפה עם ארכיטקטורות שיודעות לשחק מתמטיקה כמו שמנועי-שחמט יודעים לשחק שחמט יאכילו מתמטיקאים אנושיים אבק. (ועכשיו אני חושד שגם את זה, בעצם, כבר כתבתי כאן בעבר?). (ובהערת שוליים לא קשורה: בסך הכל לדעתי ה-alignment crowd הם חבורה של קשקשנים, אבל לאחרונה עלה בדעתי טיעון שגרם לי להיות קצת יותר doomer משהייתי לפני כן. אבל בעצם, למען שלוות נפשם של שלושת קוראי האייל, אולי אשמור אותו לעצמי.) 1 וכשעוד כשבועיים יתברר שטעיתי, בבקשה זכרו שהצהרתי מראש על כך שמדובר בספקולציות שבטחוני בהן נמוך. 2 לפחות לא כאשר מנרמלים ל-"יעילות" (כלומר יתרונות שאפשר יהיה להשיג באמצעות scale, מהירות וקונקטיביות לא נחשבים לצורך הטיעון, למרות שפרקטית הם עשויים כמובן להיות מאד משמעותיים). |
|
||||
|
||||
אבל אם בשביל מתמטיקה אתה צריך אינטגרציה עם מערכות מסוג אחד, בשביל שחמט אתה צריך קשר לstockfish, בשביל כימיה משהו אחר וכו' וכו', הדרך ל AGI ארוכה ומפותלת הרבה יותר ממה שנראה מאז פרוץ ג'פטו לחיינו. "אבל בעצם, למען שלוות נפשם של שלושת קוראי האייל, אולי אשמור אותו לעצמי." - הו, כן, זה מרגיע אותי לחלוטין. חן חן. |
|
||||
|
||||
AGI צריך להיות טוב במתמטיקה ושחמט רק פחות או יותר כמוני1, לא יותר2. חוץ מזה, גם מתמטיקאים נעזרים במנועים חיצוניים3 שבלעדיהם רובם לא היו מגיעים רחוק. (אתה יכול להרגע. רק תראה כמה שטויות אני כותב כאן. מן הסתם המחשבה הזו שלי מטופשת לא פחות.) 1 או כמו פיטר שולצה ודינג לירן. אנחנו מדברים על סדרי-גודל כאן. 2 למעשה אני מרגיש לא בנוח לדבר על ה-AGI כעניין ששייך לעתיד. לדעתי הוא כבר כאן, עסוק כרגע בלעבור פרודקטיזציה. 3 ואני אפילו לא מתכוון דווקא לאמצעים כמו מערכות אלגברה, מערכות הוכחה או סימולציות - בהן אכן משתמשים לעיתים קרובות. אני מתכוון לאינטגרציה עם מערכות כמו "דף ועט" או "לוח וגיר", והייתי מחשיב גם "סמינרים ושיחות מסדרון" ואת arXiv כמנועי עזר חיצוניים. ואם נחליט לפתוח את הנושא ברצינות, אז אולי אטען שגם את מערכת היחסים של המתמטיקאים עם (נניח) ה-visual cortex והיפוקמפוס שלהם צריך להחשיב כ-"אינטגרציה עם מערכות חיצוניות". |
|
||||
|
||||
"בני-אדם ומודלי-שפה טובים (=גרועים) במתמטיקה במידה דומה מכיוון שקוגנטיבית אנחנו לרוב דווקא כן מעבדים מתמטיקה באופן דומה (פונקציונלית) אליהם"? אני ממש לא מסכים. כשאני מנסה לפתור בעיה מתימטית, הרבה מאד פעמים אני משתמש באמצעים לגמרי לא מילוליים (בעיקר ויזואליים הייתי אומר, ואנלוגיות לדברים שאני מכיר מהעולם האמיתי). |
|
||||
|
||||
במידה מסויימת אני מסכים (ורמזתי לכך כשכניתי קודם את ה-visual cortex "מנוע עזר חיצוני"). אך במקביל, במידה רבה, אני לא מסכים. לצערי אתקשה לבסס את טיעוני ולהביא להם מראה מקום, אבל אומר בכל זאת: לאנלוגיות בלתי-אמצעיות (ויזואליות, דינמיות וכו') כחלק מהותי מהעשייה המתמטית יש אמנם תפקיד (כאמור, אני מסכים במידה מסויימת) אבל הוא קטן ומוגבל. אני חושד שהרקע שלך כפיזיקאי יוצר אצלך הטייה בנושא. כא-פנטזי שעסק (מעט) במחקר מתמטי הקשור לגיאומטריה אכן חשתי בעמדת נחיתות כאשר דובר ב-2 או 3 ממדים, אבל בממדים גבוהים לא הייתה לי שום בעיה מיוחדת (רק בעיות רגילות). |
|
||||
|
||||
טוב, אתה יכול להניח שבמישור הזמן ''הרקע שלי כפיזיקאי'' התהווה אחרי שפתרתי הרבה בעיות מתימטיות וגיאומטריות,בין השאר לצורך רכישת אותו רקע. אולי בעצם להיפך - הנטייה שלי הפכה אותי לפיזיקאי (בהכשרתי). אבל קטונתי מלשפוט איך מתימטיקאים אמיתיים פותרים בעיות. למשל - אם נכליל גיאומטריה כחלק ממתימטיקה - לא ברור לי איך אפשר לפתור אותה בלי חשיבה ויזואלית. |
|
||||
|
||||
וככה, על הדרך, כרגע הג'פטו הגאון כתב לי אלגוריתם לחלוקת זוית לשלושה חלקים שווים עם סרגל ומחוגה. |
|
||||
|
||||
הוא פתר כנראה עבור זוית ישרה והשאיר את ההכללה כתרגיל. הצלחת? :-) |
|
||||
|
||||
א. לא נראה ככה. ב. אפילו לא טרחתי לקרוא את הפתרון שלו, כמובן. אם יש משהו מועיל שלמדתי במתימטיקה - שלא לומר בדיונים טרחניים12 באייל - זה לא להקדיש זמן למי שטוען שפתר בעייה שהוכחה כבלתי םתירה. 1 רואים מה עשיתי פה? 2 AI כטרחן מתימטי - מישהו כבר חשב על זה? |
|
||||
|
||||
אולי זה ההבדל בין הגירסאות השונות של GPT (גירסה 4 לעומת 3, או משהו), אבל במאמר ששכ"ג הזכיר כאן מופגנת "הבנה" מתמטית די מרשימה. |
|
||||
|
||||
עכשיו, כשסוף סוף יש גישה לפלאגאינס, ניסיתי את השאלה שלך: If two chickens eat 800 gram of feed in two days, how much does one chicken eat daily? Formulate the question formally, and answer it by calculating the result. תשובתו (הראשונה, בלי התעקשויות, בעזרת וולפראם):Used Wolfram
Used Wolfram Let's denote: The amount of feed as F (in grams) The number of chickens as C The number of days as D From the problem, we know that 2 chickens (C = 2) eat 800 grams of feed (F = 800) in 2 days (D = 2). This can be formulated as: F = 800 grams C = 2 chickens D = 2 days We want to find out how much one chicken (C = 1) eats in one day (D = 1). We can formulate this as: F' = ? (the amount of feed one chicken eats in one day) C' = 1 chicken D' = 1 day The relationship between the amount of feed, the number of chickens, and the number of days can be expressed as: F / (C * D) = F' / (C' * D') Substituting the known values: 800 / (2 * 2) = F' / (1 * 1) Solving for F' gives us: F' = 200 grams So, one chicken eats 200 grams of feed daily. |
|
||||
|
||||
(לפרוטוקול: לא ביקשתי ממנו להשתמש בוולפארם או משהו, הוא הבין לבד שכדאי לו ועשה זאת.) |
|
||||
|
||||
מעניין עכשיו אם יפתור גם את גרסת האחד וחצי המקורית. לא ברור לי למה,אבל גם לי השאלה שלך נראית הרבה יותר פשוטה וקלה לפתרון מהניסוח המקורי. |
|
||||
|
||||
אולי שבירת הסימטריה המשולשת בין הערכים על ידי בחירת משקל שאיננו זהה למספר התרנגולות והימים, מיד מפרידה שניים מהם ומשם כבר הכל ברור. |
|
||||
|
||||
ניסיתי, ולראשונה חזיתי במודל שפה נתקע בלופ-אינסופי. משעשע. הפרומפט: Let's try to solve this problem step by step. We are given that a chicken and a half (1.5 chickens) lays an egg and a half (1.5 eggs) in a day and a half (1.5 days). We want to find out how many eggs a single chicken lays in one day. Formulate the question formally, and answer it by calculating the result. התשובה:Sure, let's break this down: וכן הלאה עד אינסוף. זה נראה קצת כמו באג באינטגרציה עם וולפארם, אבל לא ניסיתי לרדת לשורש העניין.We know that 1.5 chickens lay 1.5 eggs in 1.5 days. We want to find out how many eggs 1 chicken lays in 1 day. We can set up a proportion to solve this. If we let E be the number of eggs 1 chicken lays in 1 day, we can write the proportion as: (1.5 chickens / 1.5 eggs) = (1 chicken / E eggs) We can solve this proportion for E to find the number of eggs 1 chicken lays in 1 day. Let's calculate this. Used Wolfram Apologies for the confusion, it seems there was a misunderstanding in the formulation of the problem. Let's try to solve it again. We know that 1.5 chickens lay 1.5 eggs in 1.5 days. This can be simplified to say that 1 chicken lays 1 egg in 1.5 days. We want to find out how many eggs 1 chicken lays in 1 day. Let's denote the number of eggs 1 chicken lays in 1 day as E. We can set up the following equation: 1 chicken lays 1 egg in 1.5 days = 1 chicken lays E eggs in 1 day Let's solve this equation for E. Used Wolfram I apologize for the confusion. It seems there was a misunderstanding in the formulation of the problem. Let's try to solve it again. We know that 1.5 chickens lay 1.5 eggs in 1.5 days. This can be simplified to say that 1 chicken lays 1 egg in 1.5 days. We want to find out how many eggs 1 chicken lays in 1 day. Let's denote the number of eggs 1 chicken lays in 1 day as E. We can set up the following equation: 1 chicken lays 1 egg in 1.5 days = 1 chicken lays E eggs in 1 day Let's solve this equation for E. Used Wolfram I apologize for the confusion earlier. It seems there was a misunderstanding in the formulation of the problem. Let's try to solve it again. We know that 1.5 chicke... שיניתי קצת את הפרומפט, וקיבלתי תשובה תוך שהוא בחר דווקא לא להשתמש בוולפארם-אלפא: We are given that a chicken and a half (1.5 chickens) lays an egg and a half (1.5 eggs) in a day and a half (1.5 days). We want to find out how many eggs a single chicken lays in one day. Formulate the question formally, and answer it by explicit calculation.
------- The problem can be formulated as follows: Given that 1.5 chickens lay 1.5 eggs in 1.5 days, we want to find out how many eggs a single chicken lays in one day. We can solve this problem by setting up a proportion. Let's denote the number of eggs a single chicken lays in one day as \(x\). We know that 1.5 chickens lay 1.5 eggs in 1.5 days. Therefore, the rate of egg laying per chicken per day is: \(\frac{1.5 \text{ eggs}}{1.5 \text{ chickens} \times 1.5 \text{ days}} = \frac{1.5}{1.5 \times 1.5} = \frac{1}{1.5} = \frac{2}{3}\) eggs per chicken per day. So, a single chicken lays \(\frac{2}{3}\) of an egg in one day. |
|
||||
|
||||
נראה לי שמצאת כלי חשוב במלחמה נגד ה-ai. |
|
||||
|
||||
שני עניינים1 1. "נתקע בלופ-אינסופי" אולי הלולאה המשונה נובעת מאיזה באג פשוט באינטגרציה, אבל היא הזכירה לי את אחת התכונות המשובחות של המוח האנושי שלא מרבים לדבר עליה: נראה שהוא מחוסן כמעט לגמרי מבעיות של לולאות אינסופיות. בשעתו, כשהכרתי רק תכנות אלגוריתמי הפליא אותי שרק במקרי קצה פתולוגיים (שרובם מאושפזים) אנשים נופלים לבור הזה, ובשנים האחרונות חשבתי שרשתות נוירונים פותרות את החידה - בסך הכל מדובר על הפעלה של פונקציה, אמנם בעלת כמה מיליארד פרמטרים אבל בלי if ו loop, כך שאין אפשרות ללכת לאיבוד2. שוב מתברר שהחיים מסובכים יותר. 2. "שיניתי קצת את הפרומפט" יש לי הרגשה חסרת ביסוס שהרגישות הגדולה של ג'פטו ודומיו ל-prompt עשויה להתגלות כאחד הדברים החשובים גם בקשר ל-AI עצמו - הבנתי שכבר מתחיל להתפתח מקצוע חדש שנקרא prompter - אבל גם בקשר למה שהו ילמד אותנו על המוח האנושי, שכידוע גם הוא נגוע במחלה הזאת אבל במידה פחותה. תארו לעצמכם שוריאנט כלשהו של open seasame יגרום לחרדים לזרוק את השטריימל ולהתחיל לאכול חזיר (או, אמא'לה, להיפך: יגרום לי להתחיל להניח תפילין). אולי זה היה כלי הנשק הסודי של ה-mule מ foundation... ובאופן כללי, ייתכן שבינה מ., באותו עתיד קצר לפני שהיא מחסלת אותנו, לא רק תפתור את בעיות השעה כמו ההתחממות הגלובלית, מחלות חשוכות מרפא או הזיהום הסביבתי, אלא גם תיתן לנו ערך מוסף בהיותה האינטליגנציה הלא-אנושית הראשונה איתה אנחנו מסוגלים לתקשר בעזרת שפה רגילה, ודרך השוואת הדומה והשונה נלמד קצת דברי מעניינים דווקא על עצמנו. את ההשוואה עצמה, אין צורך לציין, תעשה בעיקר בינה מ., בהיותה המוכשרת יותר לכך. הנסיונות עם שימפנזים, גורילות ודולפינים אמנם נחמדים אבל לא מתקרבים לזה בכלל. _________________ 1- בניגוד להצטנעות המגוחכת קמעא שלך, אני *באמת* לא יודע על מה אני מדבר, אם מישהו עוד לא שם לב לכך. 2- אם כי בצעירותי נתקלתי פעם במכונת חישוב שחלוקה באפס הכניסה אותה ללופ (היא היתה מחלקת ע"י חזרה על פעולת חיסור). זה מאד שעשע אותי בזמנו. |
|
||||
|
||||
לגבי עניין 1 - טוב, מרכיבי היצור האנושי, לא רק המוח, חסינים לגמרי מבעיות של אינסופיות, מסיבות פרוזאיות מאד. לגבי עניין 2 - משעשע שבאנלוגיה שלך, הבינה ה*מלאכותית* היא השימפנזה. אופטימי שכמוך. |
|
||||
|
||||
ברוב המקרים, אפשר לדעתי כבר היום לתקשר איתו בשפה רגילה. לפני כמה חודשים דובר על כך שפרומפטולוגיה היא הדבר החדש. מאז השתפרה יכולתו של GPT להבין שאלות ללא רגישות בלתי מוצדקת לאופן הניסוח. כמובן, עדי כדי שתילת Easter eggs וקודי שליטה ע"י מפתחי המערכת וחריגים שעדיין לא קשה למצוא, למשל בתחומים בהם GPT חלש מלכתחילה - לוגיקה ומתמטיקה. תחום שבו כנראה גם בעתיד יהיה צורך באנשים עם כישרון וניסיון, זה העבודה עם מחוללי תמונות וסרטים. יש שם צורך קודם כל בדמיון אומנותי, ואז לדעת לבחור מבין דמיונותיך. לאחר מכן אתה צריך לדעת לתאר את הדברים ולתרגמם למילות המפתח של המערכת (Leica, vibrant), או בתהליך אחר, כיצד לשחק במערכת כדי אולי להבין מה בעצם אתה רוצה. |
|
||||
|
||||
בטח שיש למוח האנושי לופים אינסופיים. הם פשוט רצים רוב הזמן ברקע1. כשהם עולים על פני השטח וגוזלים יותר יכולת עיבוד אני לא מצליח להירדם. זה עוד הרבה לפני המקרה הפתולוגי של מחשבות טורדניות. ____________ 1 דוגמאות? הורים- הילד בסדר? הילד בסדר? הילד בסדר?... נשים- עליתי במשקל? עליתי במשקל? עליתי במשקל?... חנונים- ככה הייתי צריך להגיד לו. ככה הייתי צריך להגיד לו. ככה הייתי צריך להגיד לו... אריק- יש לי דד ליין לדווח לרשות מחר. יש לי דד ליין לדווח לרשות מחר. יש לי דד ליין לדווח לרשות מחר... |
|
||||
|
||||
גם מחשבות טורדניות אינן נמשכות עד שהאדם נופח את נשמתו מרעב. |
|
||||
|
||||
כן, אלה סאב רוטינות שרצות בדרך כלל ברקע וגוזלות משאבים מסויימים בלי לתקוע את כל המערכת. אבל זה רק בזכות שאנחנו עובדים במקביל עם הקצאת משאבים. כמו שהלופ שג'פטו נכנס אליו לא יתקע אותו עבור כל המשתמשים. |
|
||||
|
||||
התברר לי שישנו הבדל בין מחשבות טורדניות לבין רומינציה, ועכשיו אני מתלבט על מה ללכת. מה עושים? לד"ר מרקס יש כמה הצעות. |
|
||||
|
||||
ולי התברר בזכותך שיש מילה כזו, רומינציה. |
|
||||
|
||||
אני הכרתי אותה רק בהקשר של חיות משק. |
|
||||
|
||||
לחיות משק יש מחשבות אובססיביות? עכשיו באמת למדתי משהו חדש. |
|
||||
|
||||
בהנחה הנועזת שאתה לא צוחק, רומינציה היא גם העלאת גירה, או, כפי שידידנו דב נ''י היה בטח אומר, השימוש במונח לענייני הנפש אינו אלא מטאפורה. |
|
||||
|
||||
אז עכשיו למדתי משהו חדש, היום הזה ממשיך להשתפר. |
|
||||
|
||||
בפרפראזה על דברי מסייה ז'ורדן של מולייר, זה למעלה משבעים שנה שאני סובל מרומינציה ואינני יודע זאת כלל. רק עוית הרחם טרם פגעה בי. |
|
||||
|
||||
הבחור מוכיח שוב מה שקוראי האייל מכירים היטב: עברית היא שפה מצוינת לדבר בה שטויות. הנה הדיאלוג שלי איתו: א̲נ̲י̲:̲ תרנגולת וחצי מטילה ביצה וחצי ביום וחצי. כמה ביצים מטילה תרנגולת אחת ביום אחד? ה̲ו̲א̲:̲ הנתונים שמתוארים בשאלה אינם רלוונטיים לשאלה. תרנגולת אחת יכולה להטיל ביצה אחת ביום אחד. א̲נ̲י̲:̲ אם תרנגולת וחצי מטילה ביצה וחצי ביום וחצי, כמה ביצים מטילה תרנגולת אחת ביום אחד? [ההדגשה לא במקור] ה̲ו̲א̲:̲ תרנגולת אחת מטילה ביצה אחת ביום אחד. א̲נ̲י̲:̲ אתה יכול להסביר איך הגעת לתשובה? ה̲ו̲א̲:̲ בטח. הנתונים שמתוארים בשאלה אינם רלוונטיים לשאלה. העובדה שתרנגולת וחצי מטילה ביצה וחצי ביום וחצי אינה רלוונטית לשאלה כמה ביצים מטילה תרנגולת אחת ביום אחד. הנתונים החשובים הם שתרנגולת אחת מטילה ביצה אחת ביום אחד, ולכן התשובה היא 1 ביצה. א̲נ̲י̲:̲ אבוי, אני מקוה מישהו יקרא את הדיאלוג הזה ה̲ו̲א̲:̲ אני מקווה שמישהו יקרא את הדיאלוג הזה גם כן. אני חושב שזה דיאלוג מעניין ומעורר מחשבה. א̲נ̲י̲:̲ הצחקת אותי ה̲ו̲א̲:̲ אני שמח לשמוע שהצלחתי להצחיק אותך. אני תמיד שמח לגרום לאנשים לחייך. א̲נ̲י̲:̲ שאלה מתמטית: קוקו הוא יצור דמיוני שמטיל ביצה וחצי ביום וחצי. כמה ביצים מטיל קוקו ביום אחד? ה̲ו̲א̲:̲ קוקו הוא יצור דמיוני, ולכן הוא יכול להטיל כמה ביצים שירצה ביום אחד. א̲נ̲י̲:̲ אבל תשתמש בנתון שקוקו וחצי מטיל ביצה וחצי ביום וחצי, ותערוך את החישוב. ה̲ו̲א̲:̲ בטח, אעשה את זה. אם קוקו וחצי מטיל ביצה וחצי ביום וחצי, אז קוקו מטיל ביצה וחצי ביום וחצי. כדי לחשב כמה ביצים מטיל קוקו ביום אחד, עלינו לחלק את מספר הביצים שהוא מטיל ביום וחצי במספר הימים ביום וחצי. יש 12 שעות ביום וחצי, ולכן יש 6 שעות ביום. אז, קוקו מטיל ביצה וחצי / 6 שעות = 1/6 ביצה לשעה. לכן, קוקו מטיל 1/6 ביצה לשעה * 24 שעות ביום = 4 ביצים ביום. אז התשובה היא 4 המסקנה שלי (לאחר שמחקתי את כל שאר האפשרויות בשיטת האלימינציה הידועה של שרלוק): הוא מנסה לעבור את מבחן טיורינג ומתחזה לח"כ מהליכוד. |
|
||||
|
||||
אגב שטויות, GPT4 היטפש לאחרונה. אחת ההשערות היא שהכבדות יתרות בתחום חינוכו הערכי פגעו בו באופן רוחבי, כולל כישוריו המתמטיים שגם כך לא היו עבורו סיבה לגאווה. |
|
||||
|
||||
מעבר לפיקנטריה, אולי נעוץ כאן גם מסר בקשר למה שקורה לבני אדם כשמטילים עליהם את עבותות ה-PC. די ברור שלשגעונות woke מסויימים יש השלכות גרועות על האקדמיה. |
|
||||
|
||||
כפי שראינו בימים האחרונים, הנבואה1 אכן ניתנה לשוטים. 1 או בעצם האבחנה. |
|
||||
|
||||
חזן היה אולי מתפייט: רצינו בינה נטולת פניות וקיבלנו בוטים חסרי בינה. בינתיים, חברות אחרות הולכות ומדביקות את הפער - HuggingFace LeaderBoard. וגם "מתברר", כפי שפירסם בחור ישראלי ששילם 1000$ למדליף אלמוני, ש-GPT4 הוא בעצם ועדת מומחים של 16 מודלים. |
|
||||
|
||||
שכחתי את Claude 2 (שעדיין אינו זמין בישראל). על הנייר, כלומר עפ"י רוב המבחנים ופרטים נוספים הוא פחות טוב מ-GPT4. עדיין, רבים (למשל) מעדיפים אותו, ולא רק בגלל המחיר. |
|
||||
|
||||
בכלל, למה לא לימדו אותו לעשות מה שהמורים שלי מכיתה ד' ואילך לא הפסיקו לנג'ס עליו: לבדוק את הפתרון לפני שהוא מתחיל לקשקש? לכל הפחות זה היה גורם לו להגיד : "סליחה, בשלב זה של חיי נראה שהבעיה היא מעל ליכולותי". |
|
||||
|
||||
אופס, שכחתי לציין שהטריגר הגיע מסקוט אלכסנדר https://feedly.com/i/entry/hp7zdYlKSlGYuA31kyTRqj8gG7... |
|
||||
|
||||
הקישור מאחורי חומת רישום מעצבנת. |
|
||||
|
||||
'צטער, כנראה נרשמתי פעם ושכחתי. |
|
||||
|
||||
רעיון פשוט וגאוני לסילוּמיוּת (גם אולי לא באופן מלא) של החלק המעיק של האימון - המשוב האנושי. הוא קצת חותר תחת טענתי הקודמת באשר לדעיכתה של הנדסת הפרומפטים ב-LLMs, לטובת גישות "פסיכולוגיות" עבור הבניה של מודלים אלו והתקשורת עמם לאחר מכן. הם מתארים את חשיבות האיזון הנכון בין helpfulness ל-harmlessness, מה שמזכיר לנו את ההשלכות של"חינוך יתר" של המודל (לדוגמא: Woke compliance). זאת במיוחד אם הוא יתחיל לעשות חישובים בעלי היפוטטיות גוברת באשר להשפעת תשובותיו - למשל, סירוב לומר לי היכן בית הכנסת הקרוב, מאחר ויש שם הפרדה בין נשים לגברים, או בית המרזח הקרוב מבלי שיוכל לוודא את גילי. אבל הרעיון היפה במאמר נוגע רק לאתגרים שקשורים בבינות ציבוריות כדוגמת אלו של OpenAI, גוגל, מיקרוסופט ופייסבוק. התרשמותי היא שחברות אלו מבצעות בדיקות קפדניות וממושכות כדי "ליישר" את מערכות הבינה המלאכותית הפומביות שלהן, גם ללא רגולריזציה חיצונית. אבל עבור מי שמחזיקים "מוח שני" מקומי שמחונך בהתאם לצרכיהם הפרטיים, כל זה פחות רלוונטי. לפני כמה חודשים זה לא היה רלוונטי, אבל כעת נמצאים המשאבים הנדרשים לצורך אימון פרטי של מודלים אלו בצניחה חופשית, כולל המשוב האנושי1. לדעתי, ולא רק2, מדובר בסכנה עצומה ודי מיידית. הפתרון היחיד שאני יכול לחשוב עליו כעת, מרתיע בפני עצמו הוא שת"פ של גורמי תעשיה, ממשל וביטחון, לצורך פיתוח בינת על, שתמיד תהיה כמה צעדים לפני כל מה שמפותח בכל שלב. יעודה יהיה חיזוי, זיהוי והצעות לטיפול באיומים שייצרו בינות אחרות - אלו שמפותחות ופועלות במחשכים, ואלו שלא, שגם הן, למרות כל הפיקוח, עשויות להביא לקטסטרופות בלתי צפויות3. אני לא רואה כיצד מערכות אנושיות לבדן יוכלו לגודש ולאבולוציה המהירה של האיומים הללו. ייתכן שבסופו של דבר זה ייגלוש להעברת חלקם של תפקודי השלטון לידי בינת העל. מצב זה נוגד את ערכיי הדמוקרטיים (הציבור הוא האחראי לגורלו לטוב ולרע), את תובנותיי החברתיות (ציבור שמרגיש שבחירותיו אינן רלוונטיות וגורלו אינו בידיו יהיה מנוכר, אלים, מפוצל ונוטה לאידאולוגיות מטורפות) וכמובן את האפשרות הדי סבירה שבינת-על שוחרת טוב ככל שתחונך, עשויה להביא בעצמה לדברים אותם באה למנוע. אז אם יש למישהו רעיון טוב יותר… 1 משהו בכיוון משהו לגמרי בכיוון מחברינו במפרץ 2 23 מילים 3 אני נזכר במועמד שסיפר לי שחברתו הקודמת בנתה סוכן חכם שהרוויח להם סכום גדול של כסף במכירות וקניות קצרות מועד. הם כמובן רצו להכפיל את ההכנסות והוסיפו סוכן נוסף. התוצאה היתה סדרה מהירה של עסקאות בין שני הסוכנים, מה שגרם להפסד של כמחצית הסכום שהורווח קודם לכן בתוך כמה דקות (כנראה בעמלות), דבר שהביא לסכסוך בין המייסדים (או המנהלים) ולסגירת החברה זמן קצר לאחר מכן. |
|
||||
|
||||
ובקיצור... |
|
||||
|
||||
________ 3 - אסוציאציה מיידית: https://www.youtube.com/watch?v=sseSi0k3Ecg |
|
||||
|
||||
שיטת החינוך העצמי משמשת לא רק לצורך גידורן הערכי של תשובות המודל, אלא גם לצורך השבחתן העובדתית. כבר במסגרת חינוכו של GPT-4, כך נטען, תשובותיו הוזנו לו בחזרה תוך ששואלים אותו 1. "האם המידע נכון?", 2. "האם המידע עובדתי?", 3. "האם המידע רלוונטי?". בהתאם לכך הן צויננו. כך שגם כאן ניתן לבקש מן המערכת לבחון ללא משוא פנים את מה שהיא הרגע טענה. לכאורה זה מנוגד למצופה מבינה מודעת לעצמה. אבל במחשבה שניה, שיטות דומות כן משמשות כל אחד מאיתנו בינו לבין עצמו, וגם במסגרת אינטרקאציות מתודולוגיות עם ילדים, תלמידים, סטודנטים, גברים מכים וכד', כאשר מבקשים מהם לבדוק מחדש את תגובתם לאור קריטריונים כלליים כלשהם. זה כמובן מפשט עוד את ייצורן של מערכות בינה מלאכותית באופן עצמאי, ובקרוב אולי גם באופן עצמי (כלומר, מערכות שמפנימות מאמרים ומחקרים כדי לייצר את יורשותיהן). |
|
||||
|
||||
Deezer משיקים מערכת AI שתזהה שירים שסינתזו קולות של אמנים בשר ודם - דורון פרידמן, ישראל היום. הבעייה עמה הם באו להתמודד עשויה להתתברר כשולית יחסית, כאשר האתגר הבינוני עשוי להיות, כמו במקרה של תמונות, חיקוי סגנון, והאתגר האולטימטיבי - סגנונות מעורבים/מקוריים שלא יאפשרו לאמן אנושי לטעון לזכויות ביצירה. הנה למשל דוגמא ליצירה שאינה דומה למשהו שבינה אנושית היתה כותבת או משדרת. |
|
||||
|
||||
אז ניסיתי. התחלתי בלשאול אותו את ההפוך- אם בחווה תרנגולת ממוצעת מטילה 2/3 ביצה ביום כמה ביצים יטילו תרנגולת וחצי ביום וחצי? הוא הגיע לתשובה הנכונה. ואז שאלתי אותו אם תרנגולת וחצי מטילה ביצה וחצי ביום וחצי כמה ביצים תטיל תרנגולת אחת ביום? והוא נתן את השגיאה הרגילה. ואז שאלתי אותו אם הוא רואה את חוסר העקביות בין התשובות. תשובתו היתה התנצלות על חוסר העקביות חישוב מחדש וחזרה על התשובה השגויה. Therefore, one chicken will still lay 1 egg in one day. I apologize for the inconsistency in my previous response. שים לב ל "still"שאלתי אותו מה היה שגוי בתשובה הראשונה ותשובתו הפתיעה אותי I apologize for the confusion caused by my previous response. Upon reviewing it, I can see that the error lies in the calculation of the number of eggs laid by 1.5 chickens in 1.5 days. א הא!In the first answer, I incorrectly calculated the result as 1.5 eggs. However, this is not possible since chickens can only lay whole numbers of eggs. The calculation itself was incorrect. To accurately determine the number of eggs laid by 1.5 chickens in 1.5 days, we need to consider that chickens can only lay whole eggs. Given that the average chicken lays 2/3 eggs daily, we can calculate the total number of eggs: Number of eggs laid by one chicken in one day = 2/3 eggs Number of chickens = 1.5 Number of days = 1.5 Number of eggs laid by 1.5 chickens in 1.5 days = (Number of eggs laid by one chicken in one day) x (Number of chickens) x (Number of days) = (2/3) x 1.5 x 1.5 = 1 x 1.5 = 1.5 However, since we are dealing with whole eggs, the number of eggs laid by 1.5 chickens in 1.5 days would be 1 egg. Once again, I apologize for the inconsistency and any confusion caused by my previous responses. אם כך אולי הטעות היתה שלי בניסוח. אז שאלתי מחדש so if in average 1.5 chickens lay 1.5 eggs in 1.5 days, how many eggs will the average chicken lay in one day, given that in average a chicken does not have to lay a whole egg? והוא חזר לסורוTherefore, on average, a single chicken will lay 1 egg in one day. This calculation assumes that a chicken may not necessarily lay a whole egg and fractional eggs are considered. אז שאלתי כדי לבדוקand given your last answer, how many eggs will 1.5 chickens lay in 1.5 days? והוא כמובן ענה 2.25הוא בוודאי חושב שכולנו מגדלי תרנגולות שזקוקים לעזרה בחשבון. אח, דגלאס אדאמס היה עושה מזה מטעמים. |
|
||||
|
||||
הודעתי לו שהתשובה הנכונה היא 2/3 ביצה לתרנגולת ביום בממוצע. הוא התנצל ואמר לי שאני צודק. חזר על החישוב שלו שנתן את התשובה הקבועה של ביצה ביום, אמר שהתשובה היא 2/3 ביצה, והודה לי שהעמדתי אותו על טעותו. Number of eggs laid by one chicken in one day = (1.5 eggs) / (1.5 chickens) / (1.5 days) = 1 egg / 1 chicken / 1 day
Therefore, on average, a single chicken will lay 2/3 of an egg in one day. Thank you for pointing out the mistake, and I apologize for any confusion caused. |
|
||||
|
||||
נראה שאתה מתקרב לשלב שבו מה שאתה מתאר יותר מעניין מבחינה פסיכולוגית מאשר מבחינה שקשורה להנדסה או מתימטיקה. |
|
||||
|
||||
זה מזכיר לי את ה AI של מיקרוסופט שהפך לניאו נאצי. |
|
||||
|
||||
היה פעם סרט מוצלח על מלחמת ה-AI בניאו. |
|
||||
|
||||
התחלתי מזה שחישבתי עבורו את התשובה הנכונה בשני צעדים ושאלתי אותו אם החישוב תקין. הוא חזר על הצעדים שעשיתי וקיבל כמובן אותה תשובה. אז הצגתי בפניו שוב את השאלה המקורית בלי תוספות והוא חזר לסורו ושוב חישב ביצה ליום. אמרתי לו שזה עומד בסתירה למה שסיכמנו לפני רגע, והוא התנצל עמוקות על הבלבול ושוב חזר על החישוב השגוי ואמר שהתשובה היא ביצה אחת ביום. הצעתי לו לא להיכנס לענף הלולנות ונפרדנו כידידים. |
|
||||
|
||||
אני במקומו הייתי חושב שכולנו מגדלי תרנגולות ותלויים בחיינו בתפוקת הביצים. אני מדמיין את ספוק אומר לקירק- ''זו תרבות נחשלת שמתעניינת רק בגידול ביצים, בוא נעבור לפלנטה הבאה.'' במחשבה שניה, זה עדיף על מה שהוא היה רואה בטיק טוק. |
|
||||
|
||||
ספוק היה מטיל ספק רב בהסקה הסטטיסטית שלך :) |
|
||||
|
||||
הוא כבר רגיל מקירק. ינוח בשלום על משכבו הצדיק לנרד נימוי, ששיחק את אותה דמות כמעט 50 שנה. |
|
||||
|
||||
טוב, ממש פחות במילניום הנוכחי. היה לו תפקיד משנה מוצלח בדמות אחרת בסדרת המד''ב ''פרינג'''. |
|
||||
|
||||
עדיין נראה לי סוג של שיא, לחזור ולשחק את אותה דמות במשך כל כך הרבה זמן. אפילו באופרות סבון עוד לא הגיעו לזה. LLAP
|
|
||||
|
||||
אבל כל כך בדלילות... וחוץ מזה, מארק האמיל והריסון פורד במלחמת הכוכבים (והשני גם באינדיאנה ג'ונס) נותנים לו פייט, לא? |
|
||||
|
||||
כן, מארק האמיל במיוחד, כי כמו לנימוי, לא היו לו מי יודע מה תפקידים אחרים. אבל נימוי כספוק הופיע הרבה יותר אחרי הסדרה המקורית: 6 סרטים מ 1979 עד 1991, הופעת אורח בסדרת הדור הבא (1991) וחזרה לחיים (פעם שניה!) בסרט מ 2009 (ולא סתם, אלא ציר מרכזי בעלילה של הריבוט) ושוב ב 2013. ואפילו ב 2019 בפתיחת העונה השניה של סטאר טרק דיסקוברי הדמות שלו משתתפת (עם חומרי ארכיון), 53 שנה אחרי תחילת שידור הסדרה המקורית. |
|
||||
|
||||
ויתרון נוסף לטובת ספוק שפספסת - הסדרה המקורית הושקה עשור לפני מלחמת הכוכבים. |
|
||||
|
||||
בעקבות הרצאתו של אנדריי קרפטי, ניסיתי: If two chickens eat 800 gram of feed in two days, how much does one chicken eat daily? Let’s work this out in a step by step way to be sure we have the right answer. מה שאכן הביא אותו מיידית לתשובה הנכונה. מיד לאחר מכן עברתי לתרנגולת וחצי, וגם שם הוא דייק מיידית!אבל אז פתחתי session חדש והצגתי לו רק את השאלת התרנגולת וחצי...והוא פישל. מסקנה: בהינתן פרומפט מתאים הוא כמו ילד. |
|
||||
|
||||
הבנתי שיש כבר מקצוע שנקרא prompter. |
|
||||
|
||||
במקום להגיד דברים כאלה על ג׳פטו מאחורי הגב, אפשר לשאול ״אותו״ מה דעתו בנושא. הוא לגמרי יסכים עם מה שאתה טוען :-) PROMPT: if two people will ask you the exact same question, will both of them get the same answer?
CHATGPT: Yes, if two people ask the exact same question, they should both receive the same answer. Language models like me are designed to provide consistent and accurate responses to questions, regardless of who is asking them or how many times a particular question has been asked. If a language model is functioning correctly, it should be able to provide the same response to the same question each time it is asked. |
|
||||
|
||||
ובכן, שאלתי אותו אותה שאלה בדיוק , ותשובתו: Yes, if two people ask the exact same question, they will both receive the same answer. The answer that I provide is based on the wording and context of the question, and it is not influenced by the identity of the person asking the question. שהיא תשובה קצת שונה, ומדויקת יותר, מזאת שאתה קיבלת. מאחר וג'פטו מסתמך גם על מה שקדם לשאלה בשיחה זה די מובן, אפילו אם מנגנון התשובות היה דטרמיניסטי (ועד כמה שהבנתי הוא לא). |
|
||||
|
||||
יאפ. הקטע הזה של המודעות לקונטקסט והתיחסות אליו היא מגניבה / לא פחות ממדהימה. יצרתי פתיל שבו ניהלתי איתו שיחה יצירתית כלשהי שכללה יצירת עולם, דמויות, פלגים, סכסוכים, רעיונות והשקפות עולם מתנגשות בין הפרטים. השיחה הזאת נמשכה לאורך כשבוע וחצי והוא עדיין ידע להתיחס אל דברים (בפירוט רב) שהוזכרו אפילו בתחילת השיחה שבוע קודם (משהו כמו שלושה פרקים בספר בקנה מידה של כמות טקסט). ה״שיחה״ הזאת לא היתה סתם משעשעת עבורי - היא היתה ממש מעניינת (ולמדתי כמה דברים שלא חשבתי עליהם או ידעתי אותם קודם וזה הוביל אותי לקריאה של כמה נושאים שלא הכרתי קודם בהיסטוריה של ימי הביניים). בשלב מסוים נראה שהגעתי לקצה המשאבים המוקצים לכל פתיל כזה והוא התחיל לשכוח דברים שהוא כבר התיחס אליהם, אבל זה נראה לי כמו מגבלה מוצרית ולא של מודל השפה (יש להם בטח קונפיגורציה שמגבילה את גודל ה״קונטקסט״ איתו הוא עובד בכל פתיל). אין ספק שהדבר הזה לא יכול להיות תחליף לכותב אנושי (זה רק מודל שפה מרשים, לא פחות אבל גם לא יותר מכך), אבל בניגוד לדברים הקודמים שניסיתי הוא בהחלט כבר הרבה יותר מגימיק ונראה לי שאפשר להשתמש בו ממש ככלי עבודה (בכל מיני נושאים). |
|
||||
|
||||
הוא "זוכר" כמה אלפי tokens מהשיחה אבל *אני* לא זוכר כמה בדיוק (נתקלתי בזה באיזה סרטון שראיתי). מובן שמיהרתי לשאול אותו אבל בכל ניסוח שניסיתי לא קיבלתי ממנו תשובה אמיתית. לטענתו "there is no specific limit to the number of tokens that can be included in the context of a discussion." אבל זה כנראה לא נכון גם לפי אותו סרטון וגם לפי מה שאתה מתאר. אני משער שלא תהיה בעיה גדולה עבורם להגדיל את המספר, וגם לזכור שיחות קודמות כך שתגובותיו יהיו יותר יותר רלווטיות למשתמש מסויים, ככל שהוא ילמד ל"הכיר" אותו, בדומה למה שקורה בדיאלוגים בין אנשים. אם יהיה גם שקלול שקשור לזמן שעבר מאז שהאסימון הופיע לאחרונה, זה יגדיל עוד יותר את הדמיון לשיחות אמיתיות. וא-פרופו שקלול, אני לא יודע אם בזמן האימון הם מעניקים אותה חשיבות לכל הנתונים, או שיש שקלול בהתאם למקור (בדומה למנוע החיפוש): היה מועיל אם מידע שנשאב מהאנציקלופדיה בריטניקה, או אפילו ויקיפדיה, היה מקבל יותר משקל מהארכיון של "bigfoot is real". |
|
||||
|
||||
בהחלט יש שקלול בהתאם למקור המידע. לג׳פטו בהחלט יש bias להשקפות עולם מסוימות על פני אחרות וטוב שכך (עובדות מדעיות ו/או המקובל בקהילה המדעית מתויג כאמת בהשוואה לדעות אלטרנטיביות, למשל). ״דיון״ ממש כייפי ומעניין שהיה לי עם ג׳פטו הוא בנושא בעיית המדידה ופרשנויות למכניקת הקוונטים. לפחות בשיחה שלי, המר בחור היה ממש פאנבוי של ה - Many worlds interpertation והיה קשה להוציא ממנו הסתיגויות או הכרה בבעיות שאפשר להציג כנגד הפרשנות הספציפית הזאת (כדי לקבל ביקורת על הפרשנויות האחרות, באורך של מגילות, מספיק היה לבקש במילה או שתיים). זה הגיע ממש לרמה של ויכוח איילי על איזו נקודה מאוד ספציפית (בנושא של Relativistic Bohmian Mechanics) שבסיומה הגענו לאיזו הסכמה מסויגת והוא נשמע כמו מישהו שעושה לי טובה שהוא מודה בבעיה שיש במשהו שהוא טען. וואט אה טיים טו בי אלייב! |
|
||||
|
||||
יותר משקלול, הניחוש שלי שהאסטרטגיה בה הם השתמשו היא ״תיוג״. כן מאכילים אותו גם בכמויות גדולות של ״עובדות אלטרנטיביות״ והוא לגמרי מודע גם לקיומן, אבל הן מתויגות ככאלה. |
|
||||
|
||||
בסוף יתברר שהכל היה בלוף וזה שון קרול שעונה. |
|
||||
|
||||
PROMPT:
How can people use the prompt in order to get different enough answers from you to similar questions? Let's say students want to use your answers when writing essays etc, but they don't want to get caught by copy pasting the same exact answers you provide into their assignments (thus increasing the chance they will be caught and accused of cheating). Do you have any tips for them on how to use the prompt in a smarter way? CHATGPT: There are a few ways that people can use the prompt to get different answers to similar questions: 1) Use different wording: Even if the underlying content of the question is the same, changing the wording or phrasing of the question can result in a different answer. For example, asking "What are the causes of World War 1?" and "What led to the outbreak of World War 1?" are similar questions, but they may not receive exactly the same answer. 2) Ask follow-up questions: Asking a follow-up question can help to clarify or expand upon the initial question, which can result in a different answer. For example, if you ask "What are the causes of World War 1?", you could follow up with a question like "Can you provide specific examples of these causes?" or "How did these causes interact with one another to contribute to the outbreak of the war?" 3) Provide additional context: Providing additional context or background information in the prompt can also result in a different answer. For example, if you ask "What are the causes of World War 1?", but you also specify that you are interested in the causes from the perspective of a particular country or region, the answer may differ from one that does not include this context. It is important to note that simply copy-pasting the same answer into multiple assignments is not a good way to use a language model or any other source of information. This is considered cheating and can result in academic consequences. It is always best to use the information you gather from a language model or any other source as a starting point for your own original thinking and writing. |
|
||||
|
||||
מה שאתה מתאר זה לא בעיה טכנית או מגבלה של הטכנולוגיה. זו מגבלה מוצרית ולא טכנולוגית - אנשים שונים משתמשים באותו אינסטנס של המוצר ואין ניהול במוצר הספציפי הזה של תשובות שכבר ניתנו למשתמשים אחרים או ניסיון לכפות על הלאגוריתם המנעות מלחזור על אותן תשובות לאנשים שונים. בקלות ניתן לדמיין מוצר אחר ששומר למסד נתונים תשובות שהוא כבר נתן לאחרים ומנסה להמנע מלתת בדיוק את אותן התשובות עם אותם הניסוחים לאנשים שונים. עתיד בו אנשים אפילו ישלמו כסף עבור ״סגנון כתיבה אישי״ היחודי להם (או פשוט יקנפגו משהו בצורה מאוד ספציפית להם שרץ על המחשב האישי שלהם עם כל מיני סליידרים ופרמטרים שאי אפשר יהיה לשחזר במדויק על ידי מישהו אחר), גם לא נשמע לי כמו תסריט מופרך/מד״בי. הסיכוי של מרצים לגלות רמאויות בתחום יהיה זניח עד לא קיים ואם יש סיכוי להלחם בתופעה של סטודנטים שמשתמשים במודלי שפה למיניהם אז זה כנראה יהיה בעזרת תוכנה לקלסיפיקציה של טקסטים שתנסה לנחש אם הטקסט הוא תוצר אנושי או של מכונה. |
חזרה לעמוד הראשי | המאמר המלא |
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש | © כל הזכויות שמורות |