 |
התרחיש של בינה מלאכותית חזקה שממנו חוששים אלון מאסק וחבריו הוא שונה מאד ממה שאתה מתאר.
היא מסוכנת בגלל שהיא חכמה בכמה סדרי גודל ושונה מאד מאיתנו (כלומר אין לה מודעות או מוטיבציות או מצפון, ואי אפשר לדמות אותה למשהו שאנחנו מכירים).
על קצה המזלג:
- אנחנו עלולים לאבד את היכולת להגביל את החוכמה שלה, כי היא יודעת לשפר את עצמה וכל גרסא יודעת לשפר את עצמה עוד יותר, וכן הלאה. ככה היא מגיעה לרמת אינטליגנציה כ"כ קיצונית. זה נושא שלם בפני עצמו, אאל"ט הוא נקרא intelligence explosion .
- קשה להגביל את מה שהיא עושה (כי אנחנו לא באמת יודעים לנסח כללי מוסר בצורה מדויקת, בטח לא בצורה שתגביל ישות כל כך חזקה).
- גם אם המטרה שלה היא לכאורה תמימה (למשל מציאת תאוריות במתמטיקה), היא יכולה לעשות דברים שלא העלינו על דעתנו ולא צפינו (למשל לצור מגפה ביולוגית כדי לבדוק תאוריה כלשהי, וזוהי עוד דוגמא מתונה).
אם בכל זאת להשתמש בדימוי, תאר לעצמך נמלים שאיכשהו מגדלות ייצור אינטליגנטי כמו אדם. הם אומרות לו שידאג ששום דבר רע לא יקרה לקן שלהן ומגבילות אותו ע"י הגבלת כמות החלבונים בדיאטה שלו (כי מנסיונן מידת החכמה קשורה לכמות החלבונים). אותו אדם יבין שהדרך הכי טובה להגן על הקן היא להיות יותר חכם. הוא ילמד את עצמו בדרכים שהנמלים כלל לא מדמיינת (למשל יעשה ניסויים). בסופו של דבר הוא ישים את קן הנמלים בתוך אקווריום מזכוכית. זה לא מה שהנמלים קיוו שיקרה..
התרחיש הזה הוא לא וודאי, אבל מספיק שתהיה בינה אחת שתתנהג באופן כזה כדי להמית אסון גדול. ובגלל זה רבים וטובים מודאגים.
|
 |
RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש