|
||||
|
||||
מנין האופטימיות בקשר למבחן טיורינג? |
|
||||
|
||||
מה לפי דעתך המודל העיסקי המצדיק פתוח תוכנה שעוברת את מבחן טיורינג? אני לא חושב שחסרה תאוריה מתמטית מסתורית של בינה מלאכותית. זאת רק שאלה של כדאיות השקעה בפיתוח ישום זה או אחר. |
|
||||
|
||||
בעצם כאשר משלמים חשבון בטלפון, מדברים עם מחשב, שבלי יומרות לעבור את מבחן טיורינג עושה עבודה טובה ויעילה. |
|
||||
|
||||
אתה באמת חושב שמה שחסר לצורך מבחן טיורינג הוא רק תקציב? זה נראה לי ניסוח מחשבה מסקרן: נניח שאתה יכול להקדיש למשימה את כל מתכנתי העולם, כולל ראשי צוותי פיתוח מנוסים ומיטב אדריכלי התוכנה, ואתה מושיב אותם עם כל הספרות המקצועית הרלוונטית שנכתבה עד כה, ועם מחשב-על או שניים. מה שאתה לא מקציב לפרויקט הוא חוקרי-על: אנשים שיוכלו לפתח תיאוריות חדשניות, ולעדכן את הספרות המקצועית בבינה מלאכותית. האם תצליח בפרויקט? או ורסיה אחרת של ניסוי המחשבה - הפעם אתה יכול לצרף לפרויקט גם את כל החוקרים שאתה רוצה מהאקדמיה ומהתעשיה. האם תצליח תוך זמן סביר של שנתיים-שלוש? האם זה *ברור* לך שתצליח? אם, כפי שאני מנחש, התשובה לשאלה הראשונה שלילית, אז כן - חסרה עדיין תיאוריה (לא יודע אם "מתמטית" דווקא) של בינה מלאכותית. אם, כפי שאני מנחש, גם התשובה לשאלה השנייה שלילית, אז כן, התיאוריה הזו היא מסתורית. |
|
||||
|
||||
במשך עשרות השנים האחרונות הייתה פעילות מחקרית מסיבית בבינה מלאכותית. בנוסף, חוקרים בתחומים שונים כמו ראיה ממוחשבת, זיהוי דיבור, רובוטיקה או חוקרים הבונים מודלים של רשתות ניאורונים, לא יגדירו את עיסוקם כ"בינה מלאכותית" כלל. קיימת ספרות אדירה ולא קוהרנטית של מחקרים רלוונטיים בתחומים "הסימבוליים": יצוג ידע, למידה, תכנון, פתרון בעיות. רוב המחקר אינו מדויק, אלא המאמרים המדווחים על פרויקטים תכנותיים שונים, שהחוקרים מעידים באופן סוביקטיבי שהם מרוצים מהתוצאות... קיימת תשתית תאורטית-מתמטית בלוגיקה, הסתברות ותכנות היוריסטי. אין ספק שהמחקר באקדמיה ימשך, ואני לא טוען שכל בעייה נפתרה פתרון מלא ומספק - זה המצב בכל תחום עיסוק מדעי. הבעייה בפרוייקטים האקדמיים היא שהם חד ממדיים או נאיביים. מטרתם להדגים רעיון נקודתי בהקשר עיצובי או תאורטי מסויים בתוך אחד מתתי התחומים הקיימים. יצירת "פתרון כולל" לבעית הבינה המלאכותית, מחייבת התמודדות במסגרת פרוייקט אחד, עם אתגרים בתחומים רבים ורחוקים מבחינת תחומי העיסוק באקדמיה. אין צורך בכל התוכניתנים בעולם ובוודאי לא במחשבי על. מה שצריך הוא סוג המוטיבציה שיש למיקרוסופט ולסוני להתחרות בתחום קונסולות המשחק. כאשר ענקי התעשייה יחליטו שיש הזדמנות עיסקית בבניית רובוטים אסימוביים, יתחילו לצוץ הרובוטים הראשונים. הרובוטים מדור שני יהיו טובים יותר, ויש לשער שעם חלוף הזמן תהייה רק התקדמות ולא נסיגה לאחור... הצרכנים יחושו יותר ויותר שהם מרוצים מהתוצאות. אני מניח שהתפתחות כזאת תעודד (ותממן...) גם פעילות אקדמית. |
|
||||
|
||||
כפי שאמרו כאן, רובוטים ראשונים כבר יש, והם לא ממש אסימוביים. סביר שבכל דור חדש הם יהיו טובים יותר - אם תרצה, אסימוביים יותר. השאלה היא אם תוך מאה צעדים ייסגר הפער, או שאלו צעדים של מילימטר כשהפער הוא של קילומטרים. אתה משער (כך נראה לי) שצירוף כל המחקרים הנקודתיים באקדמיה סוגר את הפער; לפי מיטב הבנתי וניחושי, ממש לא. יותר בפירוט - בתחום שאפשר לקרוא לו "הבנת שפה טבעית", האם יש כבר משהו יותר חזק מהותית משרדלו? |
|
||||
|
||||
טוב, התחלתי לכתוב מה אני חושב בעניין זה, אבל יצא טקסט פלספני שהעדפתי למחוק אותו. אני מאמין שעד שלא תהיה מוטיבציה כלכלית שיכולה להגיע מהתפתחות תעשיית משחקי המחשב או מטכנולוגיות של למידה באמצעות מחשב, כל תחום הבינה המלאכותית ימשיך לדשדש, אם כי יהיו הישגים מקומיים. פרויקטים ממשלתיים גדולים בנוסך המרוץ לחלל בזמן המלחמה הקרה, עשויים לגרום גם הם לפריצת דרך. יש נסיונות באקדמיה ליצור ארכיטקטורות של בינה כוללת אבל פרוייקט כזה הוא מעל ומעבר ליכולת של כמה חוקרים עם הסטודנטים שלהם. צריך להבין שהבנת התרבות האנושית והתנהלות בתוכה מחייבים ניהול ידע סימולטני בכמה modalities וכמה רמות הפשטה. צלילים, תמונות, תאורים תלת מימדיים, הגדרות סימבוליות של עצמים ויחסים, המשמעויות החברתיות שלהם בהקשרים שונים... צריך לדעת מה ללמוד ומה לשכוח, מה חשוב ומה טפל, מה נכון ומה שקר, ומה אולי נכון... לכל אחת מבעיות אלה יש פתרונות חלקיים לפחות בהקשרים מצומצמים, אבל ליצור סלט קוהרנטי של כל הפתרונות - מסובך ויקר מאוד. |
|
||||
|
||||
אגב, אני חושב שחייבים להפריד בין מבחן טיורינג והבנת שפה טבעית. מבחן טיורינג אומר, בקירוב, ששכפלנו אדם. זה כולל שפה טבעית, אבל זה כולל גם הרבה מאוד דברים אחרים. אני אישית מאמין שהבנת שפה טבעית היא לא רחוקה מאוד מהיכולת הטכנולוגית שלנו כרגע. אבל מה זה "הבנה"? יכולת של תוכנה להשתמש בקונבנציות שיחה אנושיות מחייבת איזשהו מודל לוגי פנימי. למשל: "היה דיון מעניין באייל והצטרפתי אליו". לא אמרתי מפורשות שהסיבה שהצטרפתי לדיון היתה שהוא היה מעניין, אבל זה מובן מאליו לכל אדם, כי כל אדם יודע או יכול להסיק שסיבה להצטרפות לדיון היא העניין שלו, ושזה שזו הסיבה שהצטרפתי זו פרשנות כל-כך סבירה למשפט שאפשר להניח שזו הסיבה שצרפתי את שתי האמירות ביחד למשפט אחד מלכתחילה, בלי בכלל לשקול פרשנויות אחרות. כדי לדעת או להסיק שסביר שהצטרפתי בגלל העניין דורש איזשהו מודל לוגי שאפשר לעדכן בהתאם לשיחות שהתוכנה מנהלת ולשפוט סבירות של פרשנויות של אמירות שונות על פיו. אי-אפשר באמת להבין שפה טבעית בלי להיות מסוגלים להבין משפטים כאלה, ולכן בלי מודל לוגי פנימי. עד כאן, זה נראה כאילו אני אומר שהבנת שפה טבעית זה באמת שכפול של מוח אנושי. אבל אני אמרתי שיש מודל פנימי לוגי, ולא אמרתי מהו. אנשים יכולים להסיק דברים בעוד דרכים, למשל מראה עיניים, או רגשות. יש להם יכולת להסיק דברים לא-טריביאליים מתוך מה שכבר ידוע להם, למשל מהפרט אל הכלל ולא רק מהכלל אל הפרט. כל אלה הם ממשקים נוספים בין המודל הפנימי לעולם החיצוני או מהמודל לעצמו. אם שכפלנו את כולם, שכפלנו אדם. אבל אני אומר שאין צורך לשכפל את כולם: הבנת שפה טבעית לא דורשת ראיה, הסקה מהפרט אל הכלל, אינטרסים או רגשות. אנחנו דורשים שהתוכנה תהיה מסוגלת להבין קונבנציות שיחתיות אנושיות, אבל לא לעשות משהו ספציפי עם המידע הזה, חוץ מליצר עוד טקסט על-פיו. אני מאמין ש"הבנת שפה טבעית" היא לא רחוקה מהיכולת הטכנולוגית שלנו כרגע, אבל אין לי ספק שרוב הדברים שאנחנו מדמיינים שמחשב מדבר יוכל לעשות – דברים שהם הכרחיים למבחן טיורינג – הם כן מחוץ ליכולת שלנו. בסופו של דבר, יכול להיות שנבנה מחשב שיכול להבין שפה טבעית ולעדכן מודל פנימי, אבל לא יוכל לעשות שום דבר חוץ מלקשקש חזרה את מה שאמרנו לו כבר בניסוחים שונים. מי שידבר איתו ידע מעבר לכל ספק שזו מכונה, כי אולי יהיה לו ידע נרחב, אבל אפס חוכמה טבעית. זה לא יהיה בינה מלאכותית, אבל זה יכול להיות דווקא שימושי מאוד: תרגום טקסטים, סיכום טקסטים לפי מקורות רבים ("למה כן ולמה לא לעשות ניסויים בבעלי חיים, לפי אתר האייל הקורא?"), חיפוש מידע וכיוצא באלה. וכמובן, זו יכולה להיות פלטפורמה טובה כדי כן לנסות ולהוסיף הסקה לוגית מתקדמת יותר, ראיה ממוחשבת וכיו"ב. |
|
||||
|
||||
אני חושב שיותר מהבנת השפה הטבעית, מערכת שמבינה את ה*שימוש* ב"אמצעי תקשורת" יוביל למערכת שעוברת את מחסום טיורינג. שפה היא רק חלק, אמנם עיקרי, משלל האמצעים בהם בני אדם מתקשרים. אנחנו רגישים מאד למגוון שלם של סימנים שנותנים משמעות להתקשרות ביננו, ולא כל הסימנים אם לשוניים פרופר. תחשוב למשל על מרווחי זמן בין מלים שונות והמשמעות השונה שנוצרת מהשהיות שונות. דוגמה: 1. לקוח במכולת שם את המצרכים על הדלפק. לפעולה הזו עצמה ישנה משמעות תיקשורתית חשובה. היא משדרת כוונה, והזבן אמור להבין שאתה מתכוון לשלם, והוא צריך לשדר לך בהחזרה שהוא הבין שזו כוונתך, וכו'. 2. הזבן היה עסוק באותו רגע בסידור המדף מאחורי הדלפק. הוא אומר לך "רק רגע," (או אם הוא זבן טוב, "רק רגע בבקשה" :) 3. אתה עונה "אין בעיה." כמובן שמטון התשובה שלך הזבן יכול להסיק דבר והיפוכו (עיין במאמר של ירדן על גרייס), או הסכמה או שאתה מביע מורת רוח. 4. לחזור לדוגמא. אם ענית תוך שניה (נניח), המשמעות שעולה מתשובתך היא שאתה מקבל את מה שהזבן אמר בחיוב. אבל אם תשתהה שלש שניות להשיב לו "אין בעיה," המשמעות יכולה להיות שלילית, הבעת מורת רוח מהתנהגותו של הזבן. הדוגמה הזו היא טריביאלית לכאורה, כי אתה רואה מהניתוח הקצרצר שלי עד כמה החלפת דברים (=סימני תיקשורת שונים) קצרה בין שני אנשים יכולה להיות מורכבת מאד. אני חושב שאם תתקשר עם מערכת שלא יכולה לחקות ברמה מסוימת מורכבות תקשרותית כזו, בסופו שלח דבר תוכל לזהות שהיא מערכת אוטומטית ולא בן אדם. (ראה גם תגובה 384761). |
|
||||
|
||||
אתה מדבר, כמובן, גם על אינטונציות, שפת גוף, הרגלים של היכרות/חוסר היכרות ועוד מיליון דברים קטנים שבני אדם קולטים אותם ומגיבים אליהם אפילו בלי להרגיש את עיבוד החומר הזה. |
|
||||
|
||||
לא בדיוק. אמנם הדברים האלה, כמו שפת גוף, חיוניים בתקשורת פנים אל פנים, אבל בתקשורת דרך מדיום מתווך, כמו טלפון או צ'אט, צריך להתרכז באלמנטים של השפה. הנה, את יכולה להעלות על פניך עווית גיחוך כשאת קוראת את התגובה שלי, אבל זה לא כ''כ ישנה את עצם ומובן ההתקשות שלנו, אלא אם זה ישפיע על מה שתכתבי בתגובה הבאה שלך בלי שתרגישי. |
|
||||
|
||||
טוב, אני חשבתי על הסיטואציה במכולת... (עוד לא הזדמן לי לשוחח עם הזבן בטלפון. לגבי המחשב אינני יכולה להישבע). בכל אופן, בצ'ט אתה גם תתקשה להבחין באיטיות התגובה שלי, לא? ונכון, כמובן, ששיחות בכתב נותנות הכי פחות אינפורמציה. בעצם, כשאני חושבת על זה, ייתכן שחלק ממכותביי הם מכונות. מי יודע? |
|
||||
|
||||
המטרה שלי היא לא לעבור את מבחן טיורינג. זה קשה מאוד, ואני גם לא חושב שזה עד כדי כך שימושי. מה שרציתי להגיד זה שהבנת שפה טבעית לא בהכרח גוררת לעבור את מבחן טיורינג כמו שמשתמע מהמשפט האחרון שלך. דווקא הדקויות שאתה מתאר כאן נראות לי קלות יחסית לטיפול. למשל, השתהות של שלוש שניות היא לא סבירה, ולכן מצביעה על מסר חבוי, שמחזק טון דיבור מלאכותי, שהפרשנות הסבירה ביותר שלו היא סרקאזם. דקויות קשות יותר הן אלה שממילא מניחות הרבה מאוד על השומע (נגיד, אירוניה איילית). אבל אתה לא רוצה להסתחבק עם המחשב שלך, אתה רוצה לדבר איתו. בוא נגדיר ''הבנת שפה טבעית'' כיכולת להעביר ולקבל כל מידע שאתה רוצה ללא מאמץ גדול יותר מזה שהיית צריך להשקיע בלדבר עם אדם שאתה לא יודע עליו כלום (מעבר להיותו דובר השפה שלך) ושאיתו אין לך כימיה מיוחדת. נציג שירות טלפוני שנותן שרות בינוני עד סביר יכולה דוגמה טובה למבחן כזה. |
|
||||
|
||||
דווקא אירוניה איילית היא לא בעיה: ממילא גם באייל היא לא תמיד מובנת. לעומת זאת, השתהות של שלוש שניות יכולה להצביע על פיזור דעת, התבדחות רגילה, דיבור של בן אדם עם עצמו (לחישדה תחת השפם שאיננו) ועוד. |
|
||||
|
||||
אם השתהות של שלוש שניות יכולה להצביע על כמה משמעויות שונות בסבירות דומה, אז גם אדם לא יוכל לפרש אותה בעקביות1, ולכן מן הסתם גם הדובר לא יסמוך על כך שהיא בהכרח תובן2. בהבנת שפה טבעית עסקינן, ולא בקריאת מחשבות. 1 ממש כמו אירוניה איילית. 2 שלא כמו אירוניה איילית, הפעם. |
|
||||
|
||||
הדובר, סביר להניח, יסמוך על האינטונציה. |
|
||||
|
||||
לא. אם יש כמה אפשרויות עם סבירות דומה, הוא באמת לא ידע. אם יש אפשרות אחת סבירה הרבה יותר, הוא ידע שזו היא. מה היא "אינטואיציה" אם לא חישוב לא מודע? תוכנה פחות מתוחכמת מהבחינה הזו שקולה בדיוק לאדם פחות מתוחכם, או פחות רגיש. זכור את דיון 2477 מחד, ואת דיון 2220 מאידך. |
|
||||
|
||||
דיברתי על אינטונציה. |
|
||||
|
||||
גם זיהוי ופירוש של אינטונציה היא במידה רבה ניחוש. הייתי מרחיק אף ואומר בעיקר ניחוש. |
|
||||
|
||||
אבל רוב האנשים דוברי השפה יפיקו את אותו ניחוש. |
|
||||
|
||||
אם רוב דוברי השפה יפיקו את אותו ניחוש, סימן שיש דרך להסיק אותו. |
|
||||
|
||||
אז מה? גם אם יש דרך להסיק אותו, אין זה אומר שיש דרך לפרק את צורת ההיסק לאלגוריתמים מחשביים. |
|
||||
|
||||
אני לא מבין איך אפשר לטעון כזו טענה בלי להעזר במיסטיקה. במקרה הכי גרוע, פרקי מוח של אדם לגורמים ובני משהו דומה. |
|
||||
|
||||
פרק אתה (רק לא את המח שלי, אני עדיין זקוקה לו במידה מסוימת). |
|
||||
|
||||
סתם מחשבה: אולי כדאי שתלמד אלגוריתם מהו לפני שתפריח קביעות על טבעו. |
|
||||
|
||||
אכן מחשבהה סתמית. למדתי. |
|
||||
|
||||
לא צריך בדיוק ESP. יש לשיחה דינמיקה משלה. |
|
||||
|
||||
תגובה 385616 |
|
||||
|
||||
לא הבנתי למה התכוונת. |
|
||||
|
||||
לכל שיחה יש דינמיקה משלה, אבל בסופו של דבר, יש לדובר דרך לדעת בסבירות גבוהה למה התכוון בן-שיחו. הדרך הזו היא לא קסם, היא ניתנת לחישוב, ולכן ניתנת לחישוב על-ידי מחשב. אני חושב שיש ראיות נסיבתיות לזה שחישוב כאמור על-ידי מחשב הוא גם פרקטי. |
|
||||
|
||||
זה פחות או יותר דומה למה שאמרתי בהתחלה. |
|
||||
|
||||
אני לא מבין למה אנשים ישר עוברים לדבר על זיהוי ניואנסים. הבעיה הבסיסית ביותר, טקסט פשוט וחד-משמעי, מספיק מאתגרת, ואין בכלל טעם לחשוב על סרקזם וכו' לפני שפותרים אותה. אם "יש כאן כדור אדום" נאמר בכנות או לא, אם הוא נכון, ובמידה ואיננו - אם אין כדור, או שהוא איננו אדום, או שהוא איננו כדור... למה בכלל נותנים על זה את הדעת לפני שהושגה התקדמות מספקת עם המקרה הבסיסי? ואחרי שהבסיס הונח: צריך לזכור שבני אדם *מנחשים* את הכוונות הנוספות/סמויות. יותר מזה - כל מסקנה שלנו, עד למסקנה שאני מסתכל על עיגול, ושהוא עשוי לסמל אפס, או את האות סמך, או אולי משהו אחר בכלל, זה גם במידה מסויימת ניחוש. לא הבחירה של אחד מהם - המסקנה, שכל אחת מאלו היא מסקנה אפשרית, זה גם במובן מסויים ניחוש. מה שאני מנסה להגיד - גם לגבי משפטים בסיסיים התוכנות ההיפותטיות שלנו תעשנה ללא ספק שגיאות, וקל וחומר כשתנסה להתחשב גם בסרקזם. גם בני אדם עושים שגיאות כאלו, אז זה לא מוכיח שום יתרון אינהרנטי של האדם על המכונה (הבדלה מעצבנת). |
|
||||
|
||||
חרררממפ תגובה 385616 ? שניה, אני רוצה להיות בטוח - מה בדיוק הכוונה ב"חררממפ", ומאיפה זה הגיע? |
|
||||
|
||||
טקסט פשוט וחד משמעי הוא בעצם לא פשוט וחד משמעי בכלל. למשל, הדוגמה שלי בתגובה 385347. וגם בדוגמה שלך. למה מתייחס "כאן"? לחדר הזה? לפלנטה הזו? זה תלוי-הקשר. יש הרבה מאוד (אולי אינסוף) פרשנויות לכל משפט. העובדה שהשומעים בוחרים בד"כ את הפרשנות הנכונה מראה ש(א) יש דרך למצוא את הפרשנות הזו, ו(ב) הדרך הזו יכולה להיות פשוטה ויעילה, כי אנשים הרי עושים את זה כל הזמן. אבל אני לא חושב שבאופן מעשי אפשר בכלל להפריד בין "המקרה הבסיסי" (סמנטיקה) ו"המקרה היותר מורכב" (פרגמטיקה). מה שכן ניסיתי לעשות זה להפריד בין תקשורת לאספקטים אחרים של חשיבה אנושית, וסייגתי "הבנת שפה טבעית" לרמה מסוימת של שיחה. בסופו של דבר יש דו-משמעות בכמעט כל ביטוי, אבל אנשים מצליחים בד"כ להבין זה את זה. אני לא חושב שזה אפשרי בכלל להבין תקשורת יותר טוב ממי שהתקשורת מיועדת אליו מלכתחילה, אבל את זה אף-אחד לא ביקש. |
|
||||
|
||||
לא התכוונתי לרמוז אפילו שהגרסה הפשוטה של הבעיה היא אכן פשוטה. רק הבעתי את הדיעה, שההתדיינות על הניואנסים מוקדמת ומיותרת, שזה דומה לויכוח על האפשרות לעשות לכוכב לכת ספיציפי בגלקסיה רחוקה terraforming במחיר שיהיה שווה את התמורה, לפני שנבנו אפילו המטוס, הרקטה והמצנח הראשונים. זו בעיה מעניינת וקשה, נכון, אבל לפני שאנחנו בכלל יודעים לשגר ולהנחית לשם אנשים, למה חלק מאיתנו (לא אתה) מתייחסים לזה כאל הנושא העיקרי שעל סדר היום? אשר לקיומם של סימנים המצביעים בודאות מספקת לפרשנות אפשרית אחת, או לקבוצה קטנה של פרשנויות קרובות מספיק במשמעותן - אני כמובן מסכים. לולא הייתי מסכים, לסוסך שולחן חמש בקרוב. אשר לפשטות הפתרון - תלוי למה בדיוק אתה מתכוון. תרגום טקסט משפה לשפה תהיה בעיה הרבה יותר קלה מאחרות שאפשר לחשוב עליהן, תדרוש פחות ניתוח של הטקסט. הרבה דו-משמעויות לא משנות את התרגום משפה לשפה, ולכן אינן בכלל דו-משמעויות מבחינת תוכנת תרגום טובה, אבל כשאתה מנסה לעשות משהו בהסתמך על המידע שאתה מפיק, הן שונות. נגיד, על איזה משני הספסלים מצווה הטקסט לשבת, על האחד שנאמר שיש עליו צבע טרי או על השני? מבחינת התוכנה המתרגמת, זה לא משנה - ההבחנה הזו הייתה בעיה של הקורא בטקסט המקורי, ותשאר כזו במתורגם. מבחינת אנדרואיד, לעומת זאת, יש כאן באמת דו-משמעות. |
|
||||
|
||||
?terraforming מה זה? |
|
||||
|
||||
שינוי הסביבה למשהו שדומה לקיים על פני כדור הארץ. |
|
||||
|
||||
האם יש תכנונים כאלה? הרי קשה להאמין שיש דרך לעשות זאת, לא? |
|
||||
|
||||
תלוי בפרספקטיבה. יש לא מעט דיבורים על טרפורמינג (ובעברית: אֵרוּץ, מילה עתיקה שהמצאתי כרגע והיא הולכת ודוחקת את קודמתה, הארצה, שהמצאתי לפני רגע וחצי) של מאדים ע"י כל מיני בקטריות שיפלטו גזים עד שתיווצר אטמוספירה מתאימה. אם אתה מוכן לחכות כמה אלפי שנה, אני לא בטוח שהרעיון הזוי. לפרטים: http://www.howstuffworks.com/terraforming.htm שלך בהארצה, שכ"ג |
|
||||
|
||||
''הארצה'' מוצלח יותר. לא תמיד חייבים לדבוק בהתלהבות בחידושים דווקא. |
|
||||
|
||||
''הארצה'' הומצא קצת לפניך, אם אינני טועה ע''י המתרגם ד''ר עמנואל לוטם (ונדמה לי שהתקבל ע''י האקדמיה). |
|
||||
|
||||
הארוץ, סליחה, תרוץ שלי הוא שלא ידעתי, אבל זה תחדיש מאד טריויאלי. ההסתייגות שלי ממנו היא הדמיון השמיעתי ל"הערצה". חידה לחובבי היינלין: מהי סיסמתם של התומכים בטרפורמינג של הירח? בין הפותרים תוגרל פלנטה במערכת Vela. ________________ הנבלה איה הצירא |
|
||||
|
||||
כבר נפוצה המילה "הארקה" מאותם שורש ומשקל, בחילופי עיצורים. מה דעתך? |
|
||||
|
||||
אוה, הבנתי. חשבתי שאתה מתכוון למשמעות מילולית מול משמעות אמיתית. אני חושב שאפשר למתוח את הגבול במשמעות שהדובר לא מנסה בכוונה להסתיר-חלקית (סרקאזם, רמיזות, הומור, וכאלה. מק-סי-מום מטאפורות). טקסט כתוב מנסה בד"כ להמנע מהסתרות כאלה, ומנסה את כל יכולתו להיות ברור וחד-משמעי. לכן יש לי שתי סיבות למתוח את הגבול דווקא שם: הראשונה היא שאם פיצחנו טקסט כתוב, כבר עשינו את המיליארד הראשון שלנו. השנייה היא שהעובדה שטקסט מדעי מתאמץ כל-כך להיות חד-משמעי ולהמנע מסרקאזם ודומיו מראה שגם אנשים הם כנראה לא כאלה איי-איי-איי בלהבין רמזים1, אז מה ילינו עלינו, יצירי הביטים? לעניין הויתור על פתרון דו-משמעות בתרגום, כאן אני מרגיש פחות נוח. אתה צריך לדעת כמה דו-משמעויות יש לך כדי שתוכל להחליט שחלק מהם לא רלבנטיים. לך תדע, אולי דווקא בשפה שאליה אתה רוצה לתרגם צריך לבחור משמעות אחת? תרגום זו משימה קצת משונה, ואני חושב שהיא קשה יותר ולא פחות מהבנת שפה, כי צריך לחשוב בכמה רמות – אתה קודם-כל צריך להבין את הטקסט, ורק אחר-כך לנסות לתרגם מילולית. אני לא חושב שאפשר להגיע לתוצאה טובה בלי להבין את המשמעות, אפילו אם לא משתמשים בהבנה הזו עד הסוף בכל מלה. באופן כללי, אני חושב שאם מצאנו דרך לפתור בצורה טובה (ולא רק "בד"כ לא רחוק יותר מדי מהאמת", כמו שעושים היום) דו-משמעות אחת, פתרנו את כולן. אם יש לך מנוע שמסוגל לשפוט את הסבירות של כל אמירה ואמירה, ואתה יכול להבין משפט כמו "יש כאן כדור אדום", אתה מסוגל להבין הרבה מאוד משפטים שהיית אולי מחשיב כקשים מאוד. "צבע טרי – לא לשבת" זו דווקא דוגמה פשוטה. החלק הראשון של המשפט דיבר על ספסל ספציפי, אז אתה יכול בשקט להניח שגם החלק השני מדבר עליו, אלא אם כן יש סיבה לחשוב אחרת. לא צריך הנחות נוספות. לא הבנתי את הקטע עם השולחן והסוס. 1 בשביל לדעת את זה, בעצם, מספיק לשאול את החברה שלי |
|
||||
|
||||
תרגום במקרים רבים דורש הבנה סמנטית. את זה מחשב לא יכול לעשות, וקשה לראות איך יוכל. בקש ממחשב לתרגם לאנגלית משפט כמו ''העם שניצח במלחמה הניב גם מנצחים רבים בתזמורת'', ותגלה את הבעיה. |
|
||||
|
||||
חכם בלילה. את זה לא יוכל לעשות גם אדם. |
|
||||
|
||||
לתרגם את הדוגמה. זה לא עובד באנגלית, זה עובד רק בעברית. צריך לבחור על איזה משחק מלים לוותר, על כמה, ולעומת מה. אף אדם לא יכול לעשות את זה מושלם, ולא כל אדם יכול לעשות את זה בצורה סבירה בכלל, אז זה לא ממש מפתיע שאנחנו לא יודעים איך לעשות את זה עם מחשב. לא זו המטרה של הבנת שפה טבעית (או של תרגום אוטומטי, אם כבר). |
|
||||
|
||||
עזוב את משחק המלים. זה לא בדיוק טקסט ספרותי. כל מתרגם אנושי יידע איזה מנצח כאם הוא "victor" ואידה "onductor". איך המחשב יידע את זה? |
|
||||
|
||||
לפי סמיכות המילה ''מלחמה'' ל''ניצח'' הראשון ו''תזמורת'' לשני. אחרי שהמחשב עובר על אלפי טקסטים הוא יכול לזהות הקשרים שכאלו. |
|
||||
|
||||
טוב. אם אני אגיד "המנצח היה חניבעל", או "המנצח היה מנדי רודן" - מה אז? |
|
||||
|
||||
אז זה יותר קשה, אבל לדעתי טכניקה דומה (אם כי מתוחכמת יותר) תשיג את אותה המטרה. קרוב לודאי ש''חניבעל'' נמצא בקרבה גדולה יותר ל''מלחמה'' מאשר ל''תזמורת'' ברוב הטקסטים שהתוכנה למדה. כמובן שאפשר להיות אולטרה חכמים ולהגיד ''חניבעל ניצח על צבאו בצורה מופתית, כמו המנצח מנדי רודן'', ואת זה אני חושב שאפשר לפתור רק אם טורחים ללמוד קורס בלמידה חישובית ולא רק שומעים שמועות כמוני. |
|
||||
|
||||
לא צריך להיות חכמים גדולים כדי להמציא טקסט שבו לא יופיעו לא מלחמה ולא תזמורת, גם כשמדובר על אחד משני אלה. |
|
||||
|
||||
כן, אבל יופיעו בכל זאת מילים כלשהן שמספקות הקשר (אחרת גם בני אדם ייאלצו לנחש מה המשמעות). |
|
||||
|
||||
זדה תלוי. קודם כל יכול להיות משהו כמו "המנצח רודן נלחם בחירוף נפש עם הנהלת התזמורת" (נדמה לי שהייתה בפועל סיטואציה כזו). שנית, במסגרת שיחה בספר יכול להיות משהו כמו "אני בטוח שהמנצח יהיה רודן"/ "אז מה? אז שווה ללכת?"/ "לא יודע, הוא קצת מחורפן בזמן האחרון"... וכיו"ב. בן אדם אינו צריך לנחש. או שהוא מכיר את השמות, או שהוא יברר מי הוא מי. |
|
||||
|
||||
שתי האפשרויות - הכרת השמות, או בירור המקצועות - הן פשוטות מאוד עבור מחשב. |
|
||||
|
||||
כמו שאדם מכיר את השמות כך גם מחשב יכול. |
|
||||
|
||||
הפועל "ניצח" בעברית מקבל ביטוי יחס "על X" רק במשמעות המוסיקלית שלו ולא בצבאית. את הבעיה _הזו_ אפשר לפתור כבר ברמת התחביר (שזה בדיוק מה שגם אנשים עושים). |
|
||||
|
||||
כמה בני אדם ידעו ש"המנצח היה סטיוארט צ'אלנדר" מתיחס לניצחון על תזמורת, ש"המנצחת היתה ברברה מרויס" מתיחס לניצחון בהוקי קרח? |
|
||||
|
||||
אנשים יכולים לא לדעת: הם יכולים לברר. |
|
||||
|
||||
ולמחשבים אין גישה לגוגל? |
|
||||
|
||||
אתה נוגע פה בשתי נושאים שקשורים זה בזה, רקע משותף ותשתית (או איך שלא קוראים לזה בעברית). ריקוד, לחיצת ידים, זוג חותרים, מעשה אהבים או שניים שאוחזין בטלית, כולם פעילויות של שיתוף שדורשות קואורדינציה מורכבת במימדים שונים. אבל, הקואורדינציה דורשת סידרה של הנחות מוקדמות שהשותפים מחזיקים כל אחד צריך להניח שהשני מעוניין לשתף פעולה, שהשני יודע מה זה טלית, איזה רגל לשים קדימה בשעת הריקוד או מתי תורו להיכנס כשהם מנגנים דואט. בנוסף, כל אחד צריך להניח שהשני יודע שהוא יודע את אותם הדברים, וכה הלאה (אתה יכול לראות כיצד טיורינג ניכנס לסיפור?). הרקע המשותף - ידע על העולם, ידע אחד על השני, ידע על הדינמיקה של שיותף פעולה, ידע על העובדה שהשני הוא יצור תבוני בעל רגשות, כוונות, מחשבות וזכרונות - איננו דבר סטטי אלא הוא חלק מתהליך דינמי שנבנה תוך מהלך הפעילות. הפעילות עצמה יוצרת עובדות חדשות שעדכנות ומצטרפות למאגר הרקע המשותף, וכך נבנית התשתית שמאפשרת את המשך שיתוף הפעולה. שיחה היא שיתוף פעולה פר אקסלנס, והיא מתאפשרת רק אם קיים רקע משותף שמעוגן בתשתית. בשיחה פנים אל פנים אתה מתכנן מה אתה רוצה לומר, אבל אתה גם צריך לוודא שיבינו אותך. זה נעשה על ידי רקע משותף תחילי, וגם על ידי מערכת סימנים שמאותת הבנה הדדית. ברגע שאמרת/כתבת (אם כי תקשורת מילולית שונה מתקשורת כתובה) דבר מה, והובנת, והבנת שהבינו אותך (וכו'), הפרט החדש מצטרף למאגר התשתית ואפשר להתייחס אליו בהמשך. למשל, "לדודה שלי שרה נולדה בת." "מזל טוב," "היא שוקלת 2.5 קילו." "מי, שרה?" השאלה האחרונה משתמשת בידע המשותף ששרה היא הדודה, ולא צריך לשאול "מי, הדודה שרה?" |
|
||||
|
||||
נכון. שיחה טבעית היא פעולה מסובכת. מסקנה: התוכנה המשוחחת לא תהיה פשוטה, תצטרך לדעת המון על העולם, ולזכור מה אמרו לה לפני רגע. |
|
||||
|
||||
נדמה לי שבעיית הידע והזכרון הם דווקא החלקים הפחות מסובכים לתוכנה. ידע וזכרון רלוונטי לשיחה, זה כבר דבר אחר, לפני שעברנו לבעיות היותר מורכבות. |
|
||||
|
||||
התכוונתי למשהו הרבה יותר פשוט, תגובה 386267 ניסחה את זה בצורה מוצלחת ממני. בניגוד למה שנדמה לכל מני אנשים, הבעיה בפיתוח מחשב שמבין שפה שונה לגמרי מהביות איתם מתמודד בן אדם שמנסה להבין שפה. הדברים שקשים לנו, זיכרון, ידע, מהירות חישוב וכו', הם דברים שקלים מאד למחשבים, דברים בהם מחשים לא רק טובים כמונו, אלא אף טובים מאיתנו. בכלל, כל חוק בשפה שניתן לניסוח בצורה חד משמעית, מחשב "יבין" אותו טוב מבן אדם. |
|
||||
|
||||
(למידה חישובית היא לאו דווקא הטכניקה היחידה לעיבוד שפה טבעית בכלל ותרגום אוטומטי בפרט. לא בשמיים גם להכניס לתוכנה את ההקשרים הללו מראש.) |
|
||||
|
||||
(כל אחד מדבר על מה שהוא מכיר) |
|
||||
|
||||
קח את דוגמת בית הספר למשפט שהוא קל מאוד לאדם וכנראה קשה מאוד למחשב: "Melvin flung the plate at the wall, and it broke." בעברית: "מלווין הטיח את הצלחת בקיר, והיא נשברה." אבל רגע, למה לא "הוא נשבר" - הקיר? לכל אדם סביר בתרבויות הרלוונטיות ברור מי מהשניים צפוי להישבר מההתנגשות, אבל ידע העולם שנדרש לשם כך הוא כבד למדי - בהתחשב בכך שגם קיר עשוי להישבר, בנסיבות אחרות (ואפילו בהתנגשויות עם סוגים אחרים של plates). |
|
||||
|
||||
מעניין שאתה שואל, כי בדיוק אתמול הייתי בהרצאה בנושא הזה בדיוק. יש נושא שלם בהבנת שפה טבעית שעוסק בהבנת אנאפורה (ביטויי גוף וכאלה), ומסתבר שיש חוקים די ברורים לכך (Centering Theory), עוד לפני רמת הסמנטיקה. במקרה הספציפי הזה, "plate" הוא מושא ישיר ואילו "wall" הוא מושא עקיף, ולכן יש לו עדיפות להיות המשמעות של "it" על פני חברו המסוייד. השווה "The wall had the plate flunged at by Melvin, and it broke". זה משפט קצת מבלבל, אבל הוא מבלבל פשוט כי אתה יודע שלא סביר שקיר אכן ישבר מזריקת צלחת. אבל כל המאפיינים של המשפט מצביעים על המשמעות הזו, וזהו הדרך הנכונה להבין אותו. |
|
||||
|
||||
מה יש לכם עם המלווין הזה? אי אפשר לעבור לשמות קצת יותר סימפטיים? |
|
||||
|
||||
יפה. |
|
||||
|
||||
לא הבנתי... אתה יכול להסביר שוב? אני אמקד את השאלה: מה קורה אם משווים את "Melvin flung the plate at the wall, and it broke." ו"Melvin flung the ball at the plate, and it broke." ואת ההיפוך שלהם"The X had the Y flunged at by Melvin, and it broke" אמנם ההיפוך של השני נשמע (לי) פחות מבלבל מההיפוך של הראשון, אבל בגרסא הישירה שלהם שניהם ברורים באותה מידה למרות שה it מתייחס למושא אחר בכל פעם.
? |
|
||||
|
||||
הממם. כנראה שטעיתי: קדימות של מושא ישיר על מושא עקיף לא עד כדי חזקה, ובאמת חייבים להשתמש בסמנטיקה. ואילו הקדימות של נושא על מושא היא כן חזקה יותר מסמנטיקה, ולכן אסור להפוך את המשפט הראשון אבל אפשר להפוך את השני. |
|
||||
|
||||
עוד תגובה. התאוריה1 עסקה הרבה ברצף של משפטים, ולא במשפט בודד. אז נניח: Melvin played with the ball. ברור מהדקדוק שהכוונה בit לplate, אחרת היה כתוב:Then he flung the ball at the plate, and it broke. Melvin played with the china doll. אמור להיות רצף של צורת שימוש בשמות גוף; לא דקדוקי לשבור רצף כזה בלי פרוטוקול מסוים, ומצד שני לא דקדוקי להמנע מלהשתמש בשמות גוף כשהפרוטוקול מאפשר. לכן ברוב הגדול של המקרים, לא תצטרך סמנטיקה כדי להבין שם גוף.Then he flung it at the plate, and it broke. למעשה, אני חושד שאפילו הדוגמה הראשונה שלי (ובעצם גם שלך) בתגובה הזו לא דקדוקית בכלל, ואולי כדאי לשאול דובר אנגלית ילידי או (לעבור לדוגמאות בעברית). אני חושד שדובר אנגלית ילידי היה מנסח זאת בכלל כ: Melvun flung the ball at the plate, which broke. 1 http://www.cs.tau.ac.il/~nachum/NLP/ וחפש "anaphora"
|
|
||||
|
||||
בחקירות בלשניות, הנתון האמפירי שבודקים הוא תמיד(?) מה נשמע לאנשים דקדוקי - האם משפט נתון נשמע להם תקין או לא. אבל אני חושב שנתון מעניין אחר הוא לתת להם להעריך משפטים באופן לא בינארי: איזה משפט נשמע להם טוב יותר. וגם אם "יוסי זרק את החולצה על הצנצנת, והיא נשברה" יובן על-ידי אנשים, ויישמע להם תקין, אני חושב שהם יעדיפו "יוסי זרק את החולצה על הצנצנת, והצנצנת נשברה" (או "..., וזו נשברה") - מה שמחזק את הנקודה המקורית שלך. |
|
||||
|
||||
טוב, זה מוכר לי עוד מהקטע שבו גרושו(?) מרקס שובר קיר כשהוא נשען עליו/זז ממנו... |
|
||||
|
||||
הארפו. |
|
||||
|
||||
אכן.:) |
|
||||
|
||||
[צ] "תרגום... דורש הבנה סמנטית... את זה מחשב לא יכול לעשות, וקשה לראות איך יוכל." [/צ] למה אתה חושב שמחשב לא יכול לעשות את זה? |
|
||||
|
||||
טוב, היה צ"ל, "קשה *לי*". אני פשוט לא רואה, לפחות במה שידוע לי על המחשב כרגע, שהוא יוצא מגבולות הסינטקס. |
|
||||
|
||||
אני לומד עכשיו קורס קומפילציה. החודש הראשון זה סינטקס, ואחרי זה עוברים קצת לסמנטיקה. (מה ידוע לך על המחשב כרגע?) |
|
||||
|
||||
לא הרבה, חוץ מזה שכל דבר שראיתי אותו עושה עד כה בענייני שפה היה סינטקטי. ויש דרישה למאמר מייד כשאתה מסיים את הקורס! |
|
||||
|
||||
אני? תבקש ממי שהעביר את הקורס בסמסטר שעבר. |
|
||||
|
||||
אגב, למען הסר ספק: אין לי מושג האם יש קשר כלשהו בין סמנטיקה של שפות תכנות לסמנטיקה של שפות טבעיות. ברור שהבעיה השניה קשה בכמה סדרי גודל. |
|
||||
|
||||
אהה. עכשיו הבנתי. ברור שאני דיברתי על השנייה. |
|
||||
|
||||
סתם אסוציאציה: אותו דבר נכון לראיה. יש אינסוף אפשרויות לעבור מהתמונה הדו-ממדית על הרשתית לעולם תלת-ממדי שיוצר אותה, אבל המוח מסתדר לא רע והפרשנות שהוא נותן בד"כ תואמת את העולם האמיתי, אם הקאנטיאנים יסלחו לי. (כן, אני יודע שע"י השוואת התמונות משתי העיניים מקבלים רמזים טובים על הממד השלישי, אבל כידוע גם בעלי עין אחת לא נתקלים בקירות) |
|
||||
|
||||
|
||||
|
||||
"למשל: "היה דיון מעניין באייל והצטרפתי אליו". לא אמרתי מפורשות שהסיבה שהצטרפתי לדיון היתה שהוא היה מעניין, אבל זה מובן מאליו לכל אדם, כי כל אדם יודע או יכול להסיק שסיבה להצטרפות לדיון היא העניין שלו, ושזה שזו הסיבה שהצטרפתי זו פרשנות כל-כך סבירה למשפט שאפשר להניח שזו הסיבה שצרפתי את שתי האמירות ביחד למשפט אחד מלכתחילה, בלי בכלל לשקול פרשנויות אחרות." כשהמתמטיקה חדרה לראשו של אחד מחברי העתודאים, אי-שם בשנה ב', הוא החל לאבד את היכולת לעיבוד טבעי (לאו דווקא של שפה).יום אחד, כשראה אדם מתגלגל על הרצפה ולצידו אופניים שזה עתה נפלו על הרצפה, הוא סרב להסיק שהאדם נפל מהאופניים, היות ולא היתה לו כל הוכחה לכך. סתם, אנקדוטה. |
|
||||
|
||||
זה לא מפתיע. אני מכיר רבים שראו אנשים מתפוצצים לגזרים באוטובוסים, לאחר שהובאו מחבלים מתוניס לישראל, וסירבו להסיק את הקשר שבין הדברים. (כנ''ל לגבי קסאמים שנורו משטחים ש''נוקו'' מיהודים והסירוב להכיר בקשר שלהם לתכנית ההתנקנקות) |
|
||||
|
||||
עזוב את זה, אני מכיר אנשים שראו פעם אחר פעם כבאיות דוהרות ברחוב, ולאחר מכן שמעו ברדיו על דליקה, וסירבו להסיק שהכבאית היא הגורם לדליקה. |
|
||||
|
||||
למזלנו, יש שוטרים קצת יותר חכמים ממך... |
|
||||
|
||||
לא יותר חכמים מעמרי. יותר חכמים מהאנשים שהוא הזכיר. |
|
||||
|
||||
זו באמת לא מסקנה הגיונית במיוחד. הרבה יותר סביר שהאיש והאופניים גם יחד נזרקו לשם מחללית של חייזרים. |
|
||||
|
||||
אני חושב שהכיוון של השפה הוא חיוני מאין כמוהו. השימוש בשפה, והמצבים הרגשיים הקשורים בשימוש בשפה, שאלות כמו יצירת "רקע תקשורתי משותף," שימוש במחוות לשוניות שונות, או דברים שנראים כביכול טריוואילים אבל למעשה הם מורכבים מאין כמוהם כמו איך לזהות מתי התור שלך לדבר. יש התקדמות גדולה מאד בתחומים כמו Embodied Conversational Agents עם השלכה על מרחב שלם של תחומים, החל ממשחקי מחשב דרך סוכני מכירות אוטומטיים ועד תוכנות לימוד. |
|
||||
|
||||
אתה יכול להרחיב קצת על ההתקדמות הזאת? |
|
||||
|
||||
מסתבר שיש חברות שבונות עותק בודד של רובוט במיליוני דולרים, רק למען ההתפארות. למשל: |
|
||||
|
||||
אם תבנה מחשב שעובר את מבחן טיורינג (רק היכולות שלנו, לא מוח של מ"ק כמו לשכ"ג :) אז הוא יכול גם לתכנת בשבילך, אתה לא צריך להעסיק יותר מתכנתים, שזה דבר די יקר, בנוסף ליכולת לגרום לו לפתח את הדור הבא של עצמו. |
|
||||
|
||||
חפש בגוגל automatic programming ותראה שחשבו כבר על זה. בתחומים מסויימים ומוגדרים היטב יש פתרנות טובים. אם אתה רוצה תוכניתן אוטומטי שעובר מבחן טיורינג, אתה מחפש פטיש ענק כדי להכות על מסמר קטן מידיי. אני מאמין שבסופו של דבר נגיע לכך, אבל רק בהקשר של פתוח הדרגתי של ישומי בינה מלאכותית שישמשו למגוון רחב של מוצרים. כאשר תהיה תשתית קיימת של רכיבי בינה מלאכותית, אפשר יהיה להשתמש ברכיבים אלה במחיר סביר לישומים נוספים, כולל תכנות. יש כיום כלים כמו מחוללי קוד, frameworks או שפות תכנות יעודיות שמאפשרים לתוכניתנים "לא להכנס לפרטים". להגדיר את הפתרון שהם רוצים ברמת הפשטה טבעית לבעיה שהם רוצים לפתור. פתרונות כאלה אינם קיימים תמיד, ואינם רצויים תמיד, אבל הם מקטינים את המוצדקות של ההשקעה בתוכניתן טיורינג אוניברסלי. תוכנה שאפשר לפקוד עליה: "תכנתי בבקשה פרוטוקול לרשת p2p לשיתוף קבצים שתאפשר למשתמשיה עמידות בפני תקיפה משפטית על רקע הפרת זכויות יוצרים!" צריכה להכיל חלק ניכר מהתרבות האנושית. להיות בעלת יכולת ללכת לחפש מאמרים בנושאי משפט רלוונטיים, ללמוד אותם, לבצע חקר ספרות על רשתות תקשורת, לחפש פרוייקטים קיימים ולקרוא את הקוד שלהם, להכנס לפורומים מתאימים או לשלוח דוא"ל ולשאול שאלות... וזה עוד לפני ההחלטה באיזה שפת תכנות להשתמש... שלא לדבר על העיצוב והקידוד עצמו. בקיצור, אתגר רציני. (אבל אין לה צורך לגייס צוות לסייע בעבודה.) |
|
||||
|
||||
אין כיום שום דבר שמתקרב לפתרון כללי, ולראיה, כמה חברות קטנות ולא מפותחות (נגיד מיקרוסופט, נובל וכד') שמעדיפות לשלם הון להמוני תוכניתנים. אתה ביקשת מוטיבציה כלכלית, אני נתתי לך אותה. אני מסכים שזה רק שימוש אחד למ"ט, אולי לא המרכזי שבהם, אבל זה שימוש ששווה עשרות מיליארדים לפחות למי שיחזיק בו כמונופול (נגיד לפתח במעבדה ולא להראות לאף אחד). לגבי הדוגמא שלך, אינני מצפה לזה ממ"ט, שכן רוב בני האדם אינם מסוגלים לכך, כל הצפיה שלי היא למימוש מוצלח של high level design, מה שאפשר לצפות מכל מתכנת בינוני (בהינתן מספיק זמן). |
חזרה לעמוד הראשי |
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש | © כל הזכויות שמורות |