 |
===> אנו צריכים לפתח יכולת זיהוי ובלימה של בינות שאלו יבנו, כאלו שיודעות למשל לפתח במהירות נשק ביולוגי.. בשביל זה צריך להיות כמה צעדים קדימה
לא נראה לי שהבנת עד כמה בסיסית היא בעיית הבטיחות. היא כמעט בלתי תלויה באנשים שיהיו בסדר או לא בסדר.
1. גם בינה מלאכותית שמייצרת מהדקי נייר עלולה להוות סכנה קיומית (ע"ע paperclip scenario)
2. אם מי שאחראי על הבינה וממש נותן לה את ההוראות לא מסוגל לזהות או לבלום את הסכנה - קשה לחשוב איך מישהו זר מסוגל לעשות זאת
3. אם אתה "כמה צעדים קדימה", אז בגלל שהבעיה כרגע כ"כ בסיסית - אתה רק מגדיל את הסיכון. אתה בונה בינה מלאכותית יותר חזקה ואומר לה "תמנעי מצב של paperclip scenario" (או תמנעי מצב של פיתוח נשק. אותו דבר) אז אתה בדיוק כמו אותו אחראי בסעיף 2. אתה נותן משימה לסוכן חכם ואין יכולת לזהות או למנוע קטסטרופה שתקרה מבלי שהתכוונת.
|
 |
RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש