בתשובה לאפופידס, 21/11/23 16:35
 |
|
 |
||
|
||||
 |
לאחר שהקריאה שיצאה מעל דפי האתר הגיעה אל ד"ר סוצקבר, ניתן לתהות על מידת היכולת של בינות מרוסנות ערכית להוות משקל נגד למי שאינן כאלה. לטווח הרחוק ניתן לכאורה לתלות תקווה בדילמת האסיר החוזרת, כפי שהודגם בניסוי של אקסלרוד. אבל לא ברור אם נשרוד עד אז, או אם האילוצים שמביאים בסופו של דבר לשת"פ בכלל רלוונטיים כאן. ניתן לטעון שהיינו רוצים בטיחות יתרה בקרב בינות ששולטות על מערכות קריטיות (כורים גרעיניים, מערכות נשק). רק ששם הבעייה היא מראש פתירה, בשל הספציפיות של מערכת כאלו. זאת בניגוד לבינות כלליות יותר כדוגמת chatGPT והכוכב החדש Claude. אם צריך לעשות משהו בנושא הבטיחות, זה שני דברים והם ברמה הלאומית/מערבית: הגנה והתקפה. הראשון הוא להפנים שכמה שלא נהיה בסדר, ישנם אחרים שלא - סין, רוסיה וגורמי פשע. אנו צריכים לפתח יכולת זיהוי ובלימה של בינות שאלו יבנו, כאלו שיודעות למשל לפתח במהירות נשק ביולוגי שממוקד DNAים מסויימים, או יכולות למניפולציות פסיכולוגיות באוכלוסיה. בשביל זה צריך להיות תמיד כמה צעדים לפני כל מה שמצוי בידי הציבור או שמתחמם על הקווים בחברות הענק. צעד כזה דורש שת"פ עמן, מתוך הבנה שאנחנו, עם כל חסרונותינו, זה הצד הטוב. זה מביא אותנו גם לדבר השני - לגבש יכולות תקיפה קטלניות חזקות במהירות האפשרית - למשל טילים חכמים, בעלי שיקול דעת כמו אנושי, יכולת התחמקות שעוד לא היתה כמוה ועוד. זו אכן יכולה להיות חרב פיפיות, אבל היעדר נקיפות המצפון של הצד השני, פלוס יכולתו להגיע במהירות אל סף שלאחריו, בניגוד לנשק הגרעיני, נהיה חסרי אונים לנצח, גוברת לדעתי על הסכנה מבית. |
 |
 |
 |
|
|
|
||
|
||||
|
לעניין הסיפא: אני חושב שלא טילים אלא רחפנים יהיו שם המשחק, לפחות בשלבים הראשוניים עד השמדת סוללות הנ"מ. | |
|
|
|
|
|
||
|
||||
|
נראה לי שאתה צודק. יכולת התמרון והחתימה הנמוכה נותנת להם יותר פוטנציאל לשימוש באינטיליגנציה. למשל להגיע אחד אחד במשך חודשים אל מקומות מסתור שהם מאתרים לבד ברחבי מדינת היעד, כדי לאסוף ולעבד מודיעין ולהמתין לשעת כושר הרבה לפני שהאוייב מתחיל לנטר טוב יותר את הגבולות. | |
|
|
|
|
|
||
|
||||
|
נזכרתי במשהו שכתבתי לפני כשמונה וחצי שנים, וזכה מהשלטונות בערך לאותה התייחסות כמו רפורמת הרשכ"ג. | |
|
|
|
|
|
||
|
||||
|
והנה מה טמקא מספר על העניין. | |
|
|
|
|
|
||
|
||||
|
נראה לי מאד בעייתי - רחפן/כטב"מ יכול לטוס מאד נמוך, ועל כן אפילו אם תציב לייזר קרקעי מופלא בביצועיו, הוא יוכל להגן על תא שטח קטן למדי מסביבו. כשהכטב"מים והרחפנים יכולים להיכנס דרך גבול שאורכו 50 קילומטר, תצטרך המון מערכות כאלה. נראה שאם תשים כזה סביב כל מטרה אסטרטגית, נניח בסיס חיל אוויר, זה ייתן מענה נקודתי טוב. אבל כהגנה על חבל ארץ שלם, אני סקפטי. |
|
|
|
|
|
|
||
|
||||
|
ואני שמחתי לגלות שם שהצלחתי לחזות אז את תסריט זמן ההתרעה המגוחך במופרכותו1 של ליל הכטב"מים האיראני. 1 או להיפך |
|
|
|
|
|
|
||
|
||||
|
===> אנו צריכים לפתח יכולת זיהוי ובלימה של בינות שאלו יבנו, כאלו שיודעות למשל לפתח במהירות נשק ביולוגי.. בשביל זה צריך להיות כמה צעדים קדימה לא נראה לי שהבנת עד כמה בסיסית היא בעיית הבטיחות. היא כמעט בלתי תלויה באנשים שיהיו בסדר או לא בסדר. 1. גם בינה מלאכותית שמייצרת מהדקי נייר עלולה להוות סכנה קיומית (ע"ע paperclip scenario) 2. אם מי שאחראי על הבינה וממש נותן לה את ההוראות לא מסוגל לזהות או לבלום את הסכנה - קשה לחשוב איך מישהו זר מסוגל לעשות זאת 3. אם אתה "כמה צעדים קדימה", אז בגלל שהבעיה כרגע כ"כ בסיסית - אתה רק מגדיל את הסיכון. אתה בונה בינה מלאכותית יותר חזקה ואומר לה "תמנעי מצב של paperclip scenario" (או תמנעי מצב של פיתוח נשק. אותו דבר) אז אתה בדיוק כמו אותו אחראי בסעיף 2. אתה נותן משימה לסוכן חכם ואין יכולת לזהות או למנוע קטסטרופה שתקרה מבלי שהתכוונת. |
|
|
|
|
|
|
||
|
||||
|
אני מכיר בסכנות אלו ובצורך הדחוף במניעתן, ועדיין דעתי שהיא שהמוכנות לפעולתם של גורמי פשע כמו גם מדינות מסויימות, דחופה עוד יותר. | |
|
|
|
|
|
||
|
||||
|
אם כבר הזכרתי את Claude, נראה ש-OpenAI מכינים תגובה הולמת. | |
|
|
|
|
|
||
|
||||
|
מאחת התגובות: "אחד הדברים שקרו לי מאז שאני דוקטור זה זלזול בתארים כמנבא לאינטליגנציה או ידע מחוץ לתחום ההתמחות." טוב, אני לא אומר שהוא טועה, אבל התגובה הרפלקסיבית הזאת של ״טוב, אז זה לא סימן לאינטליגנציה״ העלתה בי את המחשבה שאנחנו כנראה נראה תגובות כאלה שוב ושוב בשנים הקרובות. נראה לי שבעשור הקרוב נצפה בתופעה דומה ל-"God of the gaps", אך בהקשר של תבונה אנושית ובינה מלאכותית. ככל שהבינה המלאכותית תתקדם ותשיג הישגים מרשימים בתחומים שעד כה נחשבו בלעדיים לבני האדם, ההסברים והטיעונים לגבי מהי תבונה אנושית אמיתית (שהיא כמובן תמיד עליונה על זו של המכונה) ייסוגו לגבולות שעדיין לא "נכבשו" על ידי המכונות. גם כאשר מחשבים יוכלו לצייר טוב מאיתנו, לעבור אותנו בהישגים אקדמיים מוכרים, לעשות גלגלונים מרשימים יותר מטובי האתלטים, יביאו לפריצות דרך בפיזיקה מודרנית או מתמטיקה, ואפילו יצליחו ללמד תלמידי תיכון מתמטיקה טוב יותר מכל מורה אנושי, עדיין בני אדם יתעקשו למצוא איזו פינה שהיא-היא האינטליגנציה האמיתית, והמכונות תמיד יתוארו כסתם "crunching numbers". |
|
|
|
|
|
|
||
|
||||
|
תודה, תגובה טובה. גם למדתי מה זה אלוהי הפערים. | |
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |