 |
|
 |
||
|
||||
 |
כמה דברים שהצטברו קבלה לעבודה: כבר לפני חודש עבר chatGPT בהצלחה את ראיון הקידוד בגוגל. עכשיו הוא גם עבר, גם אם לא מעבר לכך, ארבעה מבחנים בבי"ס למשפטים. מה אפשר לעשות איתו? הרבה דוגמאות קצרות וכשהוא עמוס? אפשר לנסות כאן. על אילו מאגרים מידע הוא אומן? למשל: PubMed מה קרה כאן: כולנו(?) הופתענו, כולל המומחים לבינה מלאכותית, וספציפית העוסקים ב-LLMs, כך שההסברים המקובלים הם עדיין בבחינת הערכות ראשוניות.Books3, Gutenberg Github, Ubuntu IRC FreeLaw Wikipedia Stack Exchange Open Subtitles, YouTube subtitles PhilPapers NIH Exporter arXiv 1. עד היום, הגדלת גודל הרשת (=מספר הפרמטרים=כמות תאי המוח המלאכותי המוקצים ללמידה) נתנה שיפור מדוד בביצועים1. איפשהו בין 60B ל-175B פרמטרים, בארכיטקטורה לא שונה מהותית מעבר למה שכבר היה קודם לכן, אירע שינוי פאזה שהביא לזינוק בלתי צפוי בעומק ההבנה של המערכת. אולי נוספו מספיק שכבות הפשטה שאיפשרו יכולת הכללה, מקוריות ברמה אנושית, ותובנות על העולם (טבע, בני האדם, פילוסופיה) מעבר למה שנלמד. 2. צריך לזכור שנבחרו מקורות איכותית, חלקם מתוייגים. את שלב הלימוד הזה עקב תהליך משוב אנושי. אבל נראה (לי) שהעיקר היה בכמות הפרמטרים - המשוב האנושי של המערכת היה זניח ביחס ליכולת ההכללה הרב תחומית שלה. נראה לי שהמשוב הסביר בקצרה למערכת את הציפיות ממנה, אבל לא הוא שטמן בה את עיקר תובנותיה. 3. חלק מן ההפתעה, לפחות שלי, היא שתהליך הלימוד הנ"ל שונה בקיצוניות מזה של אדם. ניתן היה לצפות לבנייה מדורגת ומונחית של שכבות ידע והבנה, כולל טיפול בנושאים רבים כגון ידע סותר, רמות סמכות שונות, דעות לעומת עובדות, הומור, ציניות ועוד אינספור מאות סוגיות אחרות הקשורות לאופן בו אנו צוברים ידע מאז ילדותנו. אפשר גם היה לצפות לאופן לימוד שונה כל תחום בנפרד, במודולים נפרדים שאולי מתכתבים עם החלוקה לאזורים במוח האנושי. אבל מה שקרה (פחות או יותר) הוא שהמערכת פשוט קראה את כל הטקסטים בכל התחומים בבת אחת ורק לאחר מכן קיבלה הנחיה מינימלית (ביחס לכמות ומגוון המידע). זה אומר שניתן היה להשיג בינה מלאכותית אמיתית בקלות רבה הרבה יותר ממה שחשבנו עד כה. 4. נהוג לטעון בימים אלו שהאומנות החדשה היא לדעת איך לדבר ל-chatGPT. שמעתי על מנכ"ל שפיטר חמישה עובדים, ובמקומם שכר מישהו שיודע לדבר עם המכונה. אבל לאחר דוגמאות רבות שראיתי, אין כאן כמעט מילות מפתח או דרכי פניה מיוחדות. הוא מבין דיבור אנושי רגיל. אתה פשוט צריך לדעת מה אתה רוצה. אם אתה לא יודע, אתה מתחיל ממשהו - כתוב לי הודעת פשיטת רגל לבעלי המניות. כשרואים את התוצאה היא נראית יבשושית, אז כותבים: הקלל את הסגנון, הוסף נימה של לקיחת אחריות אישית שלי תוך ציון המאמצים שנעשהו, הוסף הומור עדין לקראת הסוף וסיים באופן אופטימי. בכ"ז יש כמה טריקים פשוטים - למשל, לבקש ממנו לפעמים לענות בתור מומחה עם עשרות שנות ניסיון, או לבקש לפרק את הפתרון לשלבים, מה שמביא אותו לפעמים לתשובה מדוייקת יותר. 5. מחשבות על העתיד: ברמה הצבאית, פוטין כבר ציין שמי שישלוט בבינה המלאכיתית ישלוט בעולם. אני מסכים איתו. הפוטנציאל הכוחני כאן גדול בסדרי גודל מנשק גרעיני. המערכת (או יורשיה) יודעת איך אנחנו חושבים והיא כנראה תוכל להקדים מכה לכל תרופה שנהגה. ברמת הפרט - לא יודע. יש סיבה לחשוש. זו אינה עוד טכנולוגיה חדשה שנוכל למנף ולעבור למקצועות חדשים, כדוגמת המהפכות הקודמות - תעשייתית, אינטרנט). בטווח הרחוק (אני מקווה), לא יהיה צורך בעבודה של כמעט כולנו. כדי לספק את הצרכים הבסיסיים יהיה צורך בהתארגנות סוציו-אקונומית חדשה. באשר לשאר הצרכים הטבועים בנו, ובמיוחד הצורך במשמעות אישית וקבוצתית, אפשר לצפות אומללות והקצנה בין קבוצתית. במקרה הגרוע עוד יותר, הדבר יביא לבלימת כוחה של הבינה המלאכותית - אבל רק בצד אחד של המפה המוסרית העולמית. ואז, תוך זמן מאוד קצר יהיה מאוחר מדי. אבל אולי בינה מלאכותית שוחרת טוב תצפה זאת מראש, תתריע ותפתור (: 6. כמה דוגמאות משובבות - אפשר למשל ללחוץ מצד ימין על תגים כמו funny. ------------------------------------------------------------ 1 לאחר שהושג שיפור משמעותי, בד"כ נמצאה דרך לעשות זאת עם רשת קטנה ופשוטה יותר. אבל זה נושא אחר. |
 |
 |
 |
|
|
|
||
|
||||
|
7. שכחתי את סיבת הכותרת: "מעבר הפאזה" ש-chatGPT מהווה, חוסם במידה רבה את היכולת לצפות את העתיד. לא שקודם לכן היינו ממש טובים בזה, אבל גם האינטואיציות הבסיסיות שהיו לנו עד כה, שלכל הפחות איפשרו לנו לשלול את המופרך מעיקרו, נראות כלא תקיפות עוד. זאת במיוחד לאחר שנוצרה מערכת שרכשה את אבני הבניין הקוגניטיביות הדרושות ללימוד עצמאי מואץ, כולל תכנון של מערכת טובה ממנה... | |
|
|
|
|
|
||
|
||||
|
"הגדלת גודל הרשת (=מספר הפרמטרים=כמות תאי המוח המלאכותי המוקצים ללמידה) נתנה שיפור מדוד בביצועים" שמעתי את אלטמן מספר שלנפח המידע באימון יש משמעות גדולה יותר מאשר למספר הפרמטרים. אולי זה מסביר גם את השמועות העדכניות לפיהן GPT4 לא יהיה בעל טריליוני פרמטרים כפי שניבאו. "זה אומר שניתן היה להשיג בינה מלאכותית אמיתית בקלות רבה הרבה יותר ממה שחשבנו עד כה" - לדעתי זאת מסקנה לא תקפה, אם כי אני מסכים שהיום זה נראה פחות רחוק מאשר לפני פרוץ ג'פטו לחיינו. אבל עם כל הכבוד לנגר העליז, שפה היא רק מאפיין אחד של פעילותינו כיצורים בעלי בינה. אולי כשמליוני הסרטונים ביוטיוב ישמשו גם הם מזון רוחני ל-AI, וכשיהיה חיבור למערכות תומכות כמו אלפא של וולפראם וכאלה, והבנתי שזה לא מאד פשוט (לפחות הקטע עם יוטיוב), אוכל להיות מופתע שוב. 2002 לא רחוקה :-) ואני כבר מחכך ידי בהנאה כשאני חושב שהמלים הראשונות שהאל יפלוט תהיינה: רק לא ביבי! |
|
|
|
|
|
|
||
|
||||
|
יתכן שאתה צודק. ולא רק נפח אלא גם איכות, שזה אחד הנושאים שמטרידים לאחרונה את הקהילה. לפי מאמר שעתיד להתפרסם, עשויה השתפרות ה-LLMs להיבלם בעוד כמה שנים בעקבות מיצוי מקורות המידע האיכותיים. לי נראה שמדובר בחשש שווא, אבל לא ירדתי לעומק הניתוח שהם עושים, אז ליתר ביטחון אני מנסה להגביר פעילות ברשתות החברתיות. אה, ויש גם את זה: סאם אלטמן, מנכ"ל OpenAI ואחד המייסדים נשאל באשר למוניטיזציה של החברה. הוא השיב: "אין לנו מושג איך יום אחד נייצר הכנסות. נתנו 'הבטחה רכה' למשקיעים שכשנבנה מערכת אינטליגנטית מספיק נבקש ממנה למצוא דרך עבורנו לייצר הכנסות כדי לתת להם החזר על ההשקעה. זה נשמע כמו פרק ב'עמק הסיליקון', אני יודע. אתם יכולים לצחוק, זה בסדר" - geektime.co.il |
|
|
|
|
|
|
||
|
||||
|
שירחיקו את מנהל הכספים מאותה מערכת ״אינטליגנטית מספיק״, לפני שהוא יבקש ממנה למצוא דרך למעול בכספי החברה בלי שיתפס. | |
|
|
|
|
|
||
|
||||
|
כאן טוענים כמה טענות מעניינות, והפתרון הפשוט לשאלת ההכנסות הוא למכור רשיונות שימוש בתוכנה. כמו סוחרי סמים מסויימים, הם התחילו מחלוקה חינמית של המוצר, בידיעה שאחרי שיתרגלו להעזר בו יהיה קשה מאד לוותר על התענוג. לפי התחזית תוך כשנה וחצי OpenAI תהפוך לחברה עם הכנסות של מיליארד דולר דולר לשנה. התחזית הזאת נראית לי אופטימית מדי, אבל כשאני נזכר במה חשבתי בשעתי על רכישת יוטיוב, למשל, או על מחיר המניה של אמאזון בהנפקה הראשונית, אני נעשה די צנוע בקשר להערכות שלי בעניינים כאלה. |
|
|
|
|
|
|
||
|
||||
|
אני מקווה שברור לך שאם תסכים שכשאתה1 משתמש בג'פטו יופיע באנר עם פרסומת על חלק (ולו קטן) מהמסך, מיליארד דולר זה בוטנים יחסית לשווי המסחרי של הדבר הזה. 1 "אתה" כמשתמש גנרי |
|
|
|
|
|
|
||
|
||||
|
כן, מובן שגם זה אפשרי, וכנהוג אפשר לשלב מינויי "פרמיום" פטורים מפרסומות תמורת תשלום חודשי. רק שים לב שמדובר כאן על מיליארד דולר ה̲כ̲נ̲ס̲ו̲ת̲ ̲ש̲נ̲ת̲י̲ו̲ת̲ תוך כשנה וחצי מהיום. | |
|
|
|
|
|
||
|
||||
|
לפי קופיילוט: ההכנסות הן יותר מ 1.6 מיליארד! | |
|
|
|
|
|
||
|
||||
|
אה, והוא עבר גם מבחנים במנהל עסקים ברמת של תלמידים לתואר דוקטור (בציון B ו -B) ועוד. | |
|
|
|
|
|
||
|
||||
|
שזה מעלה יותר ספקות לגבי קיומה של בינה אנושית מאשר שזה מעלה שאלות לגבי היכולות של הבינה המלאכותית :-) | |
|
|
|
|
|
||
|
||||
|
לגמרי. כבר ראינו שבמתימטיקה ברמת בית ספר יסודי הוא נוטה להיכשל. |
|
|
|
|
|
|
||
|
||||
|
אתה כרגע טענת שמה שלומדים במנהל עסקים זה חירטוט?1 1 Pun intended
|
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |