דו''ח: לאסור על פיתוח ''רובוטים קטלניים'' 3528
הארגון Human Rights Watch והקליניקה לזכויות אדם בינלאומיות של בית הספר למשפטים באוניברסיטת הארוורד פרסמו ביום ב' השבוע מסמך הקורא לאסור פיתוח של "רובוטים קטלניים" – מערכות נשק עצמאיות המזהות מטרות ויורות עליהן, ללא כל פיקוח אנושי, או עם פיקוח מוגבל מאד.

לדברי מחברי הדו"ח, מערכות עצמאיות שכאלה חסרות את שיקול הדעת האנושי המספק בלמים משפטיים ואחרים כנגד הרג אזרחים. היות שקשה להעמיד למשפט אדם כלשהו על נזקים ופשעי מלחמה שיגרמו המערכות העצמאיות, יכולת ההרתעה של דיני המלחמה פוחתת. בנוסף, האפשרות לצמצם אבידות בנפש מהצד התוקף עשויה להקל על פוליטיקאים להחליט לפתוח במלחמה.

הדו"ח מזכיר את מערכת "כיפת ברזל" הישראלית בתור דוגמה למערכת נשק הגנתית עצמאית, הפועלת לרוב בהתערבות אנושית מינימלית, והמהווה צעד בדרך למערכת תקיפה עצמאית. לדברי מחברי הדו"ח, למרות שמערכות שכאלה הן הגנתיות במהותן, הן עדיין מהוות סכנה פוטנציאלית לאוכלוסייה אזרחית, העלולה להיפגע מרסיסים.

מערכות נשק עצמאיות לחלוטין עדיין אינן בנמצא, אך כמה מדינות – ביניהן ארצות־הברית, בריטניה, גרמניה, דרום קוריאה, ישראל, סין ורוסיה – מפתחות מערכות בעלות מידה הולכת וגדלה של עצמאות. מומחים מעריכים כי תוך שנים עד שלושה עשורים יפותחו מערכות נשק עצמאיות לגמרי.

הדו"ח קורא לנסח אמנה בינלאומית שתאסור פיתוח של מערכות נשק עצמאיות לחלוטין ושימוש בהן, וכן קורא לממשלות לחוקק חוקים ברוח איסור זה.



תודה לידידיה על שהביא את הדו"ח לידיעת המערכת.
קישורים
לאסור על "רובוטים הורגים" לפני שיהיה מאוחר - ידיעה באתר Human Rights Watch (עברית)
Losing Humanity - הדו"ח המלא באתר Human Rights Watch (אנגלית)
פרסום תגובה למאמר

פרסומים אחרונים במדור "חדשות"


הצג את כל התגובות | הסתר את כל התגובות

אוטונומיה 607635
כמה הערות:

1. למה פוחדים מכך שמזל"ט אוטונומי יירה על מישהו בטעות ולא חוששים מכך שהוא יתנגש במישהו בטעות?

2. יכולים להיות רסיסים? עדיף שיהיו רסיסים מאשר פיצוץ שייצור גם הרבה יותר רסיסים (אבל אז אף אחד לא יוכל להאשים את "המחשב" אלא רק את "האויב").

3. לא ברור לי איך (עמוד 5) יכול להיות נשק שמעצם טיבו גורם להרג אזרחים. רובה יכול להרוג בשדה הרב וגם לטבוח במפגינים חסרי ישע. זה לא משהו שידוע בשלב התכנון אלא בשימוש בשטח.

4. הם טוענים שהבעיה שה מאוד ומדגימים מקרים קשים. אבל במערכות בינה מלאכותית ההתקדמות הושגה תמיד דרך מקרי הקצה הפשוטים יותר ומשם לפתרונות לחלקים גדלים והולכים של הבעיה הכללית. נכון שלחימה בשטח בנוי בעזה היא משימה מסובכת. אבל יש משימות פשוטות ממנה.
אוטונומיה 607636
1. המאמר דן בטכנולוגיות שיבשילו בעוד כמה עשורים, ייתכן שעד אז ניתן יהיה למנוע התנגשות לא רצויה. ההנחה במאמר היא אבל שלא ניתן יהיה להבחין בין לוחם ובין מי שאינו לוחם.
אוטונומיה 607659
1.+ מישהו היה צריך לספר להם, שברוב מטוסי הנוסעים היום מותקן טייס אוטומטי, ואני כמעט משוכנע שהוא מופעל לעיתים גם בזמן הנחיתה. מה שאומר שכל טעות שלו עלולה לעלות בחייהם של 400 נוסעים, הרבה יותר מהנזק של פצצת טון ממוצעת.
יש כבר כאלה 607638
לא מדובר במשהו מתוחכם כל כך, אבל מערכות נשק שמופעלות עצמאית ללא כל פיקוח אנושי (וכמובן לא מבדילות בין לוחמים ובין אזרחים) כבר קיימות עשרות שנים. קוראים לזה מוקשים.
יש כבר כאלה 607641
יפה! כצפוי, הארגון אכן מתנגד בחריפות למוקשים. לא תופתע גם לשמוע שאחת התומכות ביוזמה היא ג'ודי וויליאמס, שזכתה בפרס נובל לשלום על מאבקה בעניין (בעיקר מוקשים נגד אדם, כנראה מפני שהם מהווים את הסכנה הגדולה ביותר לאוכלוסיה אזרחית).
כמה שילמו לכם מדינות ערב על הכתבה ? 607640
בעל המאמר עם שורש ערבי מובהק
רובו-טריק? 607645
נשארה לנו הזכות היחידה: להתגונן בלי לתקוף-וזאת עפ"י מוסר הלחי השניה של השמאל. אני מזהה ניצנים של תוכנית לנטרל גם זכות זאת? רק צאן לטבח?
רובו-טריק? 607647
עושה רושם שמישהו עשה פליפ פלופ עם שפגט כפול כדי למצוא צידוק רצינאלי לניסיון המוסלמי להציג את כיפת ברזל היא פשע מלחמה.
רובו-טריק? 607650
מאחר שניכר שעל הדו''ח הזה עמלו במשך זמן רב, מאחר שכיפת ברזל מוזכרת בדו''ח רק בקצרצרה, ומאחר שהדו''ח לא טוען שהיא פשע מלחמה, נראה שמה שכתבת אינו נכון.
רובו-טריק? 607654
למה היא מוזכרת בכלל?

להזכירך, מדובר בטיל נגד טילים, שמעצם הגדרתו משמש רק להגנה.
רובו-טריק? 607660
אחת הנקודות שהם מעלים היא שהמערכת היא לכאורה בשליטה של מפעיל אנושי שצריך לאשר ירייה, אולם בגלל זמן התגובה הקצר שנדרש, יש גבול לשיקול הדעת האנושי שהוא יכול להפעיל. לכן עולה השאלה האם לא מדובר בפועל על מערכות ללא שליטה אנושית. זכור לי במעומעם שהנושא הזה כבר עלה לדיון כאן.

כמו שכבר ציינתי למעלה, הם מעלים גם את הטענה שליירוט מוצלח יכולים להיות נזקים. האם היו נזקים רציניים מרסיסים בעקבות יירוטים בכיפת ברזל? זכור לי במעומעם שהיה חייל שנהרג בעקבות פגיעה ממערכת מעיל רוח (מערכת נשק) [ויקיפדיה] של טנק סמוך, אבל אין לי שום פרטים נוספים ולכן יכול להיות שאני סתם מתבלבל. נראה לי שמערכת השיקולים הזו מורכבת מדי וגם מיירט אנושי (בהנחה שהיה לו מספיק זמן) היה בוחר באותן הבחירות בערך.
רובו-טריק? 607666
כל נזק שיכול להגרם מירוט מוצלח קטן בהכרח מאי-ירוט
רובו-טריק? 607904
קטן ב*הכרח*? מפעילי כיפת ברזל אינם מסכימים אתך, והם מנסים ליירט רק כאשר הטיל התוקף עומד לפגוע באזור מיושב.

וראה גם את http://www.ynet.co.il/articles/0,7340,L-4310362,00.h... והתגובה הבלתי-עניינית של דובר צה"ל.
רובו-טריק? 607910
חשבתי שהכותבים של המאמר הם מאיזו אגודת מוות לציונים שקר כלשהו למען הזכויות של האזרח ללא גבולות ולא מ"פורבס".
השיקול לא לירט טיל שנוחת בשטח פתוח הוא כלכלי (לראיה,בגוש דן נורים 2 טילים לכל טיל,בדיוק מאותה סיבה,בגוש דן הנזק הפוטנציאלי הכלכליהרבה יותר כבד) ואין לו שום קשר(ישירות) למידת הנזק ההומני שיכול להגרם.
אתה חושב שאם טיל היה עולה 25 ש"ח לא היו מירטים הכל כולל הכל?

מבחינת נזק בחיי אדם כל ירוט עדיף על לא לירט (והכי עדיף לירט את המשגר ואת מי ששלח אותו)
רובו-טריק? 607911
נ.ב
כתבתי "ירוט מוצלח"...
רובו-טריק? 607912
''חשבתי שהכותבים...''

באמת חבל שהתגובות המתלהמות שלך תלויות בזהות הפוליטית המשוערת של הכותב, ולא בדבריו.
רובו-טריק? 607914
זה לא מה שעשית כרגע?
רובו-טריק? 608041
לא. אין דבר מתלהם בתגובתי.
רובו-טריק? 608043
לפי מה שהבנתי, הירי של שני טילים בתל אביב נועד כדי לפצות על סיכויי היירוט הנמוכים עקב המהירות הגבוהה של הטיל הפוגע.
רובו-טריק? 607667
מידת הרלוונטיות של כיפת ברזל לרובוטים קטלניים לא עולה על זאת של מנגנון הדלת האוטומטית בסופרמרקט (שלא לדבר על המכונית העצמאית של גוגל או מחשבי הטייס בכל מטוס מודרני). מה שמעורר את החשד שההתעקשות להזכיר דוקא אותה בדו''ח באה ממקום אחר, מתועב למדי.
רובו-טריק? 607670
אתה יכול בבקשה לסכם לי בקצרה (משפט אחד או שניים) איך הדו"ח מתייחס לכיפת ברזל?
רובו-טריק? 607672
"מערכת כיפת ברזל מוצבת על גבול עזה ובאילת, ליד סיני. .... משתמשת בעשרים טילי טמיר{כנראה מתכוונים לטיל מירט) .. ישראל קיבלה מימון מארה"ב ., אחוזי הצלחה של יותר משמונים אחוזים ומנעו פגיעה בישראלים {מופיע כציטוט ולא כעובדה} .. בשבריר שניה אחרי הזיהוי מבקשת אישור מהמפעיל והוא חייב מיד לאשר הירי כדי שהוא יהיה אפקטיבי"
... {תיאור של עוד מערכות} ..
"למערכות האלו יש מידה רבה של עצמאות .. טכנית, הן לא אוטומטיות לחלוטין ... אך למרות זאת אפשר לראותן כצעד גדול לכיוון המערכות אוטומטיות"

בהמשך מתואר פיתוח אמריקאי של מזל"ט שיוכל להתקיף מטרות באופן אוטונומי לחלוטין. ממש הדור הבא של כיפת ברזל.
רובו-טריק? 607674
ובהמשך נכתב (בהקשר של מערכות הגנתיות כדוגמת כיפת ברזל):

automatic weapons defense systems have the potential to endanger civilians when used in populated areas. For example, even the successful destruction of an incoming threat can produce shrapnel that causes civilian casualties.
רובו-טריק? 607677
אבל המשפט הזה נכון גם אם המילה הראשונה היתה 'ידני' במקום 'אוטומטי'. אז אני ממש לא מבין את הטיעון שלהם.

יתירה מזאת - גם אם שיגור הטיל הוא ידני, העקיבה שלו היא אוטומטית, אז מה? מטוס אף-‏16 יתרסק בשנייה שמערכת הבקרה האוטומטית שלו תושבת עקב היציבות הדינמית השלילית שלו. אז זה גם לא תקין?
רובו-טריק? 607685
אני שותף לתמיהותיך.
רובו-טריק? 607713
המערכות הללו מופיעות בתחילת הדו"ח, ולא במקרה. מבחינת מחבריו מדובר על ראשיתו של תהליך "הוצאת האדם מהלולאה"‏1. מחברי הדו"ח מבקשים להציב את הסייגים באופן ברור בשלב מוקדם ככל האפשר לפני שהמערכות הללו יהיו חלק מהנשק של צבא.

דעתי האישית היא שמדובר על תהליך בלתי נמנע. נראה לי שמערכות אוטומטיות פשוטות הן כבר היום בהישג יד של גופים הרבה יותר קטנים ממדינות. שכלולן למערכות שיכולות לעבוד בשדה הקרב הוא תהליך של ניסוי וטעייה. אם מערכת פשוטה עולה 1000$ ויש תקציב לחמישים, אפשר להשתמש בחלק גדול מהן לניסיונות גישוש כדי לפתח את תוכנת השליטה. לדוגמה, כל טלפון אנדרואיד מכיל כבר היום חלק לא מבוטל מהרכיבים הנדרשים מערכת שליטה על טיסן. אני הייתי מצפה מהעזתים לנסות לשלוח טיסן אוטומטי לחלוטין (שמדי פעם משדר חזרה נתונים) מתוך הנחה שצה"ל, ששולט בתקשורת באזור, יוכל לשבש את התקשורת לטיסן.

נקודה חשובה אחרת, שנראה לי שלא עלתה בדו"ח בכלל, היא מה מערכת כזו צריכה לעשות כשאובד לה הקשר לבסיס. חלק מהיחידות נועדו לפעול באזורים שבהם אין קשר עם הבסיס (בגלל שעובדים במקלט או בגלל שהאויב הרס את אנטנת הקשר המקומית). מה בדיוק צריכה היחידה לעשות במקרה הזה? מהסיבה הזו היחידות צריכות להיות אוטונומיות ככל האפשר. ברור שהיחידה ששולחים למאדים (במרחק של בערך דקת אור) לא יכול להיות אינטראקטיבי. אבל מהשיקול הנוכחי רצוי מאוד שכל יחידה תהיה אוטונומית ככל האפשר.

1 יש תרגום מוצלח יותר?
רובו-טריק? 607716
לעניין המחיר הזול: בדיוק היום ראיתי את:
ור' גם את סיפורו ב:
לקראת הסוף, בעמוד השלישי, יש גם את התייחסות לנושא הדיון.
רובו-טריק? 607734
כשמדובר על סטריליזציה של השימוש בנשקכאספקט של האוטומציה, אי אפשר להתעלם מהשימוש במל''טים. זה הופך פעולה מלחמתית למשחק מחשב ומבטל את חיבור האדם עם ההרג שבהרבה מקרים מהווה בלם מסויים. גם נאצים קנאים שאיכלסו את האיינזצגרופן, הגיעו לדמורליזציה והיו זקוקים להרבה אלכוהול כדי לתחזק את עצמם. אם היו מפעילים אמצעים מאיזה משרד, כנראה שלא היו מגיעים למצב הזה.
רובו-טריק? 607741
תותחנים הרבה הרבה יותר מנותקים מההרג/הרס שהם גורמים ממלט
רובו-טריק? 607742
מפעיל מל״ט לפחות רואה על מה/מי הוא יורה. תותחן אפילו זה לא.
אני לא רואה הבדל מהותי בין מפעיל מל״ט ובין צלף שיורה במטרה חיה ממרחק של קילומטר.
רובו-טריק? 607768
תותחן -לא בצה''ל מול עזה- אמנם יורה מרחוק אך עלול לחטוף נ''ס. מפעיל מל''ט בתקיפה בפקיסטן יושב בארה''ב.
רובו-טריק? 607770
מה הקשר?
רובו-טריק? 607772
בקשר לסטריליות ולניתוק של הביצוע.
רובו-טריק? 607775
אני לא רואה מה הקשר בין המרחק הפיזי ובין הסטריליות. טייס קרב יכול כבר היום לשלוח חימוש מדוייק מטווח של קילומטרים רבים ולטילי נ״מ יש טווח של עשרות ק״מ. הנקודה הזוהרת על המכ״מ היא בטח יותר סטרילית מתמונת ה-HD שרואה מולו מפעיל המל״ט.
לגבי הסיכון האישי, ברור שמפעיל מל״ט מסתכן פחות מתותחן, אבל גם תותחן מסתכן הרבה פחות מלוחם חי״ר ואולי אפילו פחות מטייס קרב. אולי נאסור על שימוש בנשק חם בכלל. בעצם, אפילו קשת מנותק מהמטרה שלו (שלא לדבר על מפעיל בליסטראה). אני מציע שנגביל את השימוש בנשק לחרבות וכידונים.
רובו-טריק? 607779
מפעיל נשק מדוייק, גם מרחוק, לעיתים קרובות רואה מולו את הפנים של האוייב הרבה יותר משתותחן טנק רואה במצב רגיל. ממחקר ראשוני אחד לפחות באמת גם עולה שההשפעות על המפעיל דומות לאלה שעל צלף, ולא לאלה של טייס B-52 או טייס קרב שלא רואה מולו דמות.
רובו-טריק? 607807
אתה צודק בקשר לראיית האוייב. אנחנו עוסקים כאן במלחמות ומפעילים שלמעשה אין להם אויב. המלחמה סטרילים לגביהם. גם לתותחני צה''ל וטייסי חיל האויר אין היום אויב במלחמה מול הפלסטינאים.אם נקח לדוגמא את אפגניסטן, לתותחנים יש אויב. למפעילי מל''טים זהו למעשה משחק מחשב. אם ראית את הסרט שהבריח מאנינג של מסוק שמחסל ואן על יושביו, גם זהו ציד אלקטרוני . גם חיסול ג'אברי הוא מין משחק אלקטרוני.אל תראה בדברי ביקורת כלשהי. אבל אולי בשביל לוחמים מסויימים של צד אחד, מלחמה הפסיקה להיות מה שהיתה והפכה למשחק.
רובו-טריק? 607809
אולי נדרוש ממפעילי המל"ט לשחק במשחק איציק אחרי כל פגיעה, no pun intended.
רובו-טריק? 607811
אנשים קיבלו כבר PTSD ממה שאתה קורא לו 'משחק'. הפעלת חימוש מונחה היא הרבה פחות מנותקת מאשר הפצצות מגובה רב, שהן דבר ותיק מאוד, והסיכון למפעיל הוא רק פקטור אחד, וממש לא המכריע, בסיפור הזה. התותחנים לא רואים פנים של מי שהם יורים עליו, ואפילו לא דמות.
רובו-טריק? 607818
גם חיילים קרביים לא בדיוק רואים את הפנים של מי שהם יורים בו.
ירי מתוך מחסה אל צללית מאחורי מחסה אחר במרחק 100-200 - מלחמה זה לא סרט פעולה הוליוודי.
רובו-טריק? 607889
ודאי, לכן השוויתי בתגובה קודמת לצלפים.
רובו-טריק? 607919
לא ניסיתי לחלוק עליך.
רובו-טריק? 607837
לצורך הענין גם שיגור גראד עם שלט רחוק קטן הוא מין משחק אלקטרוני, או יותר נכון משחק טלוויזיה - הרי שם תראה אם הצלחת לפגוע באזרחים או לא.
ואגב, טייס מילואים שיוצא לחופשה בבית בבאר שבע וחוטף טילים - לו יש אויב?
רובו-טריק? 607845
זה אולי משחק טלוויזיה, אבל לא מוצלח במיוחד.

אם לצטט מהכתבה שקישרתי אליה בתגובה 607716 בהקשר לתצוגה מהמצלמות:
my kids were disappointed at a recent tour of the Oshkosh air show to see that today’s military drone pilots have worse ground stations than they do
רובו-טריק? 607920
יש לי ג'וייסטיק של Logitech שקניתי לפני כמה שנים. בזמן האחרון אני רואה את הדגם הזה ממש מככב ביותר ויותר תחנות שליטה צבאיות, ולא רק של מטוסים. כנראה שהתעשיות הצבאיות סוגרות לאט לאט את הפער.
רובו-טריק? 607783
כידון וחרב אפשר לזרוק,אתה מדבר על עשרות מטרים,זה בלתי מוסרי בעליל
אני אומר רק MMA
רובו-טריק? 607934
ל-‏1, הוצאת האדם מהשרשרת?
רובו-טריק? 607964
נראה מוצלח יותר. זה גם יבטיח שלא תיווצר שם לולאה מוזרה.
רובו-טריק? 607965
מהמעגל?
רובו-טריק? 607973
1 הוצאת האדם מהמעגל.
רובו-טריק? 607995
1 המילה המקובלת מתורת הבקרה היא "חוג". ("חוג פתוח", "חוג סגור", "אדם בחוג" וכו)
רובו-טריק? 608006
1 לא היה ביטוי "להוציא מהמשוואה"?
רובו-טריק? 608008
יש כזה ביטוי, יש לו משמעות קצת שונה, מצד שני הוא יישמע יותר משכנע כשהרובוטים ישתמשו בו: XTF46375, אתמול הרהרתי באפשרות להוציא את האדם מהמשוואה... פ-בם פם פ-פם!
נעימת הנושא, Terminator
רובו-טריק? 608014
היה, אני מניח שהלולאה נכנסה אחרי שה-OODA Loop הפך למושג נפוץ, בייחוד בשפה הצבאית.
מומחים? 607690
''תוך שנים עד שלושה עשורים יפותחו מערכות נשק עצמאיות לגמרי''. מערכת נשק אוטומטית לחלוטין היא דבר שלא דורש עשרות שנים, הוא דורש החלטה. כבר היום יש רכבי סיור אוטונומים על גבול מצרים ועזה. אפשר להחליט שהם יישאו חימוש וישתמשו בו כנגד אנשים שיתקרבו למשל לגדר הגבול בעזה (ונדמה לי שלפחות בלילה, זיהוי אנשים הוא בעיה קטנה מאוד).
מומחים? 607709
הדו''ח מציין גם את המערכת הזו. בהודעה לעיתונות יש תמונה של מערכת דומה במהותה (אך נייחת) שמוצבת בגבול שבין הקוראות.

מחברי הדו''ח טוענים שההבחנה הזו היא הבעיה המסובכת וחשוב מכך, אסור לוותר על ההתערבות האנושית.
607745
האומנם אין את מי להעמיד לדין על פשעי מלחמה?
אם בוצעו פשעים בזדון, אז מי ש"שלח" את כלי שנשק לשדה הקרב ומי שתכנת והפעיל אותם כך שיגרמו לפשעים הוא זה שאחראי. בניגוד להנחה של כותבי המאמר, תמיד יש אדם בלולאה, מישהו הרי צריך להטיל על כלי הנשק האוטונומי את המשימה שלו.
אם בוצעו פשעים כתוצאה מטעות רשלנית בזמן הייצור אז היצרן אחראי.
בנוסף כמו בכל כלי נשק יש גם תקלות שאי אפשר לצפות או להימנע מהן, ואם הסיכוי לטעות כזאת קטן מספיק אז אין צורך להעמיד לדין אף אחד.

---
גילוי נאות - קראתי רק את התקציר ולא את המאמר עצמו
607751
---
גילוי נאות - לא הפסדת הרבה.
האם מעורבות אנושית מקטינה את המסוכנות? 607927
אני לא בדיוק רואה את ההבדל העקרוני בין מערכות נשק אוטומאטיות מתוחכמות לבין מוקשים שהצבאות משתמשים בם כיום. גם כאן ההפעלה איננה מודרכת על ידי המפעיל האנושי - לאחר הטמנת המוקש. לתחכום יש גם אספקט חיובי, אם מתעקשים. בניגוד למוקשים שהם חסרי אבחנה, מערכות הנשק המתוחכמות אמורות לפגוע לאחר איבחון ואיתור מטרות ספציפיות. אין להניח כי מפתחי המערכות יתכנתו אותן לפעילות באוטונומיה בלתי מוגבלת - מחשש לתקלות שאי אפשר יהיה להשתלט עליהן. עולה בדעתי (דמיוני לחלוטין) האפשרות, שכמו אצל אסימוב יוכנס לחוכנה של כלי המלחמה הרובוטיים איזשהו רכיב שיתפקד כמו החוק הרובוטי שלו. כזה שימנע פגיעה לא נחוצה גם בעיתות מלחמה. בני אדם שהאצבע שלהם על ההדק לא נתגלו דווקא כגורמים אחראיים, ובוודאי לא מוסריים במיוחד, במהלך ההיסטוריה.
האם מעורבות אנושית מקטינה את המסוכנות? 607928
לעניין המוקשים: תגובה 607641.

לעניין פגיעה בחפים מפשע: בינתיים ההצבה של סוללת כיפת ברזל באיזור תל אביב דרשה שינוי במסלולי טיסות מטוסים שהגיעו מהים לנחות בנתב"ג. המערכת מיועדת להרוס סוגים מסויימים של עצמים. חוקי הרובוטיקה דורשים הרבה מעבר למה שיש לנו היום, והם עלולים ליצור רובוטים מופרעים.
טוב, זה כל כך מתבקש כאן 607975
1. לא יפגע רובוט לרעה בבן אדם, ולא יניח, במחדל, שאדם יפגע.
2. רובוט חייב לציית לפקודותיו של אדם, כל עוד אינן סותרות את החוק הראשון.
3. רובוט ידאג לשמור על קיומו ושלמותו, כל עוד הגנה זו אינה עומדת בסתירה לחוק הראשון או לחוק השני.

כל הזכויות שמורות ל-א"א.
טוב, זה כל כך מתבקש כאן 607984
כדאי שנתקדם מתקופת אסימוב שהיום אנחנו יודעים שהחוקים הללו פוגעים קשות בזכויות הרובוטים
טוב, זה כל כך מתבקש כאן 607992
'כשהיום' אנחנו שוכחים שידענו איך לאיית.
טוב, זה כל כך מתבקש כאן 607985
הבעיה הבסיסית היא שההגדרה הזו מחייבת הבנה מורכבת מאוד של מצבים.

שמעתי אתמול שוב על דוגמת ההתקפה על קוצבי הלב. התקנים רפואיים לא מעטים שמושתלים בגוף כוללים אפשרות לתקשורת אלחוטית כדי לקרוא את המצב, לשלוט על ההתקן ולעדכן את התוכנה. מסתבר שיש לא מעט בעיות עם זה. לא מדובר על התקפה חדשה במיוחד (נדמה לי שהיא פורסמה כבר לפני שנה או חצי שנה. לפני כחודש גרסה קצת יותר מעניינת שלה תפסה יותר כותרות).

מסתבר שהגרסה הכי פשוטה של ההתקפה הזו היא פשוט ניסיון לגמור להתקן את הסוללה. ההתקן הוא התקן בעל הספק נמוך. ההנחה של מפתחיו הייתה שהוא לא יידרש לשדר יותר מדי פעמים לאורך חייו. אם יוזמים אליו התקשרויות תכופות, מעירים אותו יותר מדי (לא נותנים לו לישון) וצריכת הזרם שלו עולה פלאים. הנה דוגמה לשיקול בטיחות קטן ומאוד לא טריוויאלי. אני בטוח שיש המון שיקולים כאלה. האם התקן בודד יכול להכיל מספיק ידע על העולם כדי להכיר את כל השיקולים הללו?

ונניח שכן, האם הרובוט יאשר לי לחצות את הכביש או להיכנס למכונית ולנסוע?

לסיום, פרטים נוספים על אפוקליפסת הרובוטים.
טוב, זה כל כך מתבקש כאן 607993
מה שתפס אותי בלינק שלך הוא הניסוח הנפלא הבא:

What people don't appreciate, when they picture Terminator-style automatons striding triumphantly across a mountain of human skulls, is how hard it is to keep your footing on something as unstable as a mountain of human skulls.
טוב, זה כל כך מתבקש כאן 608051
ולכן המציאו את BigDog, ויש לו עוד חברים.
טוב, זה כל כך מתבקש כאן 608086
פ-בם פם פ-בם!
תגובה 608008
וכתתו חרבותם לאתים 608125
אז בתור קונטרה, הנה קטע חמוד
טוב, זה כל כך מתבקש כאן 608059
הממ, יש אפשרות גם לתאונת קוצבים ולא רק להתקפה זדונית: המכונה המשדרת אצל הרופא משדרת חזק מדי, ומבצעת את השינוי אצל כל החבר'ה שבתור בחוץ.

האם אפשר לפתור את כל בעיות האבטחה של הקוצבים על-ידי סיסמת גישה חזקה, שהפציינט יישא עמו כמסמך חשוב, אפילו בדיסקית על הצוואר? זה חשוף להתקפה שבה לוקחים ממנו את הדיסקית, אבל מי שיכול לעשות את זה יכול כבר סתם לחנוק את הפציינט עם הדיסקית והשרשרת שלה.
טוב, זה כל כך מתבקש כאן 608363
במינוח עכשווי אתה נוגע כאן בבעיית ה-Friendly artificial intelligence [Wikipedia].

אסימוב היה כנראה קצת נאיבי. אולי תאר לעצמו רובוטים כפרטים המתפקדים בתוך החברה האנושית, ולא הבין שהחברה כולה יכולה להשתנות ולהפוך לישות חדשה ושונה לחלוטין מהקיום האנושי.

קשה לישות בעלת יכולת קוגניטיבית מוגבלת לקבוע כללים שיכוונו לאורך זמן התנהגות ישות שונה בעלת יכולת קוגניטיבית גדולה יותר והולכת וגדלה. נדמה לי שיודקובסקי (ראה קישורים אליו בויקיפדיה) השווה באופן ציורי את הבעיה לבעיה העומדת בפני קוף שרוצה לתכנן כלוב שהחברה האנושית לא תוכל לברוח ממנו ותאלץ לשרת את הקופים.

אם תקבע כללים מופשטים מדי תתקל בבעיית הפרשנות. אם תקבע כללים קונקרטיים מדי אתה עלול להתקל במימוש מפלצתי. אפשר לנסות לא לקבוע כללי עשה ועל תעשה, אלא כלל מהסוג "גרום לאנשים לשלם לך עבור מוצרים ושירותים שאתה מיצר". הרעיון הוא להעמיד מול בינת-העל את חוכמת ההמון שתתאים את עצמה לתנאים המשתנים, לנסות ליצור את בינת-העל בארכיטקטורה מבוזרת כדי שתרסן את עצמה בצורה זו או אחרת. חסידי שוק חופשי יאהבו כלל כזה, ויתכן שקצת משחק במטאפיזיקה מאשר לראות בחברות מסחריות סוג של בינות-על למרות שהן "מורכבות" מבני אדם. הבעייה כאן היא שעדיין יש כללים, יש בעיה להגדיר מי הוא אדם ועדיין יש צורך במנגנון חקיקה שניתן לתקיפה ולמניפולציה. בקיצור, עסק ביש.

יש מי שחושב שאם אתה לא יכול ולא רוצה לבלום אותם או לרגלץ אותם - הפוך להיות אחד מהם. במותג המשחקים Mass Effect [Wikipedia] הפתרון המועדף הוא סימביוזה בין הקיום הביולוגי לסינטטי. בסרט היפני מ-‏1995(!) Ghost in the Shell [Wikipedia] הגיבורה הראשית לא ממש בטוחה אם נותר בגופה (במעטפת שלה) שריד ביולוגי כלשהו או שהיא כולה סינטטית. ברור שהמרכיב הקוגניטיבי (Ghost) של הגיבורים נמצא ברשת (בענן במינוח עכשווי) והם יכולים "לצלול" תוך אווטרים פיזיים שונים.

בהצלחה לכולנו.

חזרה לעמוד הראשי פרסום תגובה למאמר

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים