 |
רעיון פשוט וגאוני לסילוּמיוּת (גם אולי לא באופן מלא) של החלק המעיק של האימון - המשוב האנושי. הוא קצת חותר תחת טענתי הקודמת באשר לדעיכתה של הנדסת הפרומפטים ב-LLMs, לטובת גישות "פסיכולוגיות" עבור הבניה של מודלים אלו והתקשורת עמם לאחר מכן. הם מתארים את חשיבות האיזון הנכון בין helpfulness ל-harmlessness, מה שמזכיר לנו את ההשלכות של"חינוך יתר" של המודל (לדוגמא: Woke compliance). זאת במיוחד אם הוא יתחיל לעשות חישובים בעלי היפוטטיות גוברת באשר להשפעת תשובותיו - למשל, סירוב לומר לי היכן בית הכנסת הקרוב, מאחר ויש שם הפרדה בין נשים לגברים, או בית המרזח הקרוב מבלי שיוכל לוודא את גילי.
אבל הרעיון היפה במאמר נוגע רק לאתגרים שקשורים בבינות ציבוריות כדוגמת אלו של OpenAI, גוגל, מיקרוסופט ופייסבוק. התרשמותי היא שחברות אלו מבצעות בדיקות קפדניות וממושכות כדי "ליישר" את מערכות הבינה המלאכותית הפומביות שלהן, גם ללא רגולריזציה חיצונית. אבל עבור מי שמחזיקים "מוח שני" מקומי שמחונך בהתאם לצרכיהם הפרטיים, כל זה פחות רלוונטי. לפני כמה חודשים זה לא היה רלוונטי, אבל כעת נמצאים המשאבים הנדרשים לצורך אימון פרטי של מודלים אלו בצניחה חופשית, כולל המשוב האנושי1.
לדעתי, ולא רק2, מדובר בסכנה עצומה ודי מיידית. הפתרון היחיד שאני יכול לחשוב עליו כעת, מרתיע בפני עצמו הוא שת"פ של גורמי תעשיה, ממשל וביטחון, לצורך פיתוח בינת על, שתמיד תהיה כמה צעדים לפני כל מה שמפותח בכל שלב. יעודה יהיה חיזוי, זיהוי והצעות לטיפול באיומים שייצרו בינות אחרות - אלו שמפותחות ופועלות במחשכים, ואלו שלא, שגם הן, למרות כל הפיקוח, עשויות להביא לקטסטרופות בלתי צפויות3. אני לא רואה כיצד מערכות אנושיות לבדן יוכלו לגודש ולאבולוציה המהירה של האיומים הללו.
ייתכן שבסופו של דבר זה ייגלוש להעברת חלקם של תפקודי השלטון לידי בינת העל. מצב זה נוגד את ערכיי הדמוקרטיים (הציבור הוא האחראי לגורלו לטוב ולרע), את תובנותיי החברתיות (ציבור שמרגיש שבחירותיו אינן רלוונטיות וגורלו אינו בידיו יהיה מנוכר, אלים, מפוצל ונוטה לאידאולוגיות מטורפות) וכמובן את האפשרות הדי סבירה שבינת-על שוחרת טוב ככל שתחונך, עשויה להביא בעצמה לדברים אותם באה למנוע.
אז אם יש למישהו רעיון טוב יותר…
1 משהו בכיוון
משהו לגמרי בכיוון מחברינו במפרץ
2 23 מילים
3 אני נזכר במועמד שסיפר לי שחברתו הקודמת בנתה סוכן חכם שהרוויח להם סכום גדול של כסף במכירות וקניות קצרות מועד. הם כמובן רצו להכפיל את ההכנסות והוסיפו סוכן נוסף. התוצאה היתה סדרה מהירה של עסקאות בין שני הסוכנים, מה שגרם להפסד של כמחצית הסכום שהורווח קודם לכן בתוך כמה דקות (כנראה בעמלות), דבר שהביא לסכסוך בין המייסדים (או המנהלים) ולסגירת החברה זמן קצר לאחר מכן.
|
 |
RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש