|
||||
|
||||
זה לא בדיוק הפוך? כלומר: פחות אנטרופיה <==> יותר אינפורמציה? |
|
||||
|
||||
זה באמת מבלבל- מבחינת תורת האינפורמציה, ככל שקשה לך לנבא מה הביט הבא יהיה, כך הוא נושא עימו יותר אינפורמציה, ומכאן שרעש אקראי מכיל הכי הרבה אינפורמציה. |
|
||||
|
||||
גם אני התבלבלתי פעם, תגובה 262525. |
|
||||
|
||||
דומני שניסוח מדויק יותר יהיה שאם המאפיינים הסטטיסטיים שלו דומים לשל אות אקראי הוא נושא יותר אינפורמציה. רעש אקראי אינו נושא אינפורמציה כלל. |
|
||||
|
||||
זה מושג שיש לו הרבה הגדרות. בויקי האנגלית כתוב כך: Information is the state of a system of interest. Message is the information materialized. רעש אקראי הוא לא מידע אודות משהו. הוא פשוט רעש אקראי, כלומר - הוא ניתן להחלפה בכל רעש אקראי אחר מבלי שיורגש ההבדל, ולכן האינפורמציה הכלולה בו היא אפס. בניסוח אחר: נניח שיש לי מסר כלשהו, ואני הופך בו ביט אחד באופן אקראי. אם המסר הוא, נניח, תמונת JPG או קובץ ZIP, עלולה להיגרם פגיעה קשה. אם מדובר ברעש אקראי יווצר רעש אקראי אחר, שאין דרך להבחין בינו לבין הרעש הקורי. בניסוח עוד יותר אחר: מסר המכיל רעש אקראי אינו מכיל מידע מעבר למסר עצמו, בעוד שמסר כמו התמונה והקובץ מכיל מידע כזה.
Information is a quality of a message from a sender to one or more receivers. Information is always about something (size of a parameter, occurrence of an event, etc). |
|
||||
|
||||
אלו הם הגדרות סוביקטיביות, ומאוד קשה להגדיר מדידות על a quality of a message. |
|
||||
|
||||
תחשוב על קוד המורכב מזוג סימנים החוזר על עצמו. קוד זה מכיל מספר קטן של פריטי אינפורמציה (2 הסימנים, אורך המסגרת (2) ומספר המסגרות הכולל). לעומת זאת בקוד שהוא סדרה אקראית של סימנים מכיל ים של אינפורמציה (הסימנים עצמם, סדר הופעתם וכו'). האנלוגיה לתורת האינפורמציה נמצאת בתגובתו של ראובן. בתרמודינמיקה, הקרח הוא סדרת הזוגות ואדי המים מקבילים לסדרה האקראית. לכן אני חושב ש- יותר אינפורמציה <==>יותר אנטרופיה. |
חזרה לעמוד הראשי | המאמר המלא |
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש | © כל הזכויות שמורות |