בתשובה לירדן ניר, 29/05/02 10:45
מה הקשר? 71035
דורון יערי • בתשובה לירדן ניר יום ד', 29/5/2002, 12:01
אם אני זוכר נכון מספר שקראתי לפני כמה שנים אז האנטרופיה מייצגת את אי הסדר במידע.
סדר במידע מאפשר למי שמקבל אותו לחזות את המידע שעדיין לא נחשף על סמך המידע שכבר הגיע אליו.
ולכן מסר בעל אנטרופיה נמוכה יכול להיות מנוסח כמסר קצר יותר בעל אנטרופיה גבוהה יותר שנושא את אותה האינפורמציה בדיוק.
האנטרופיה של המידע מאפשרת לחשב חסם עליון ליחס הדחיסה של כמות מידע נתונה מראש.

אם מתעלמים ממה שידוע למקבל המסר, נהוג להתייחס לשינויים במידע כאל אינפורמציה. למשל תמונה שיש בה הרבה פרטים יהיו בה הרבה שינויים בעוד שתמונה שאין בה הרבה פרטים תהיה יותר חלקה. שינויים (שאינם סדירים אבל זה דורש כבר התיחסות לספקטרום של המידע וזה סיפור קצת יותר מורכב) מגדילים את האנטרופיה ולכן מסר עתיר אינפורמציה יהיה בעל אנטרופיה גבוהה.
כל זה כאמור נכון רק כאשר מניחים שמקבל המסר לא יודע דבר על תוכנו. אולם כאשר למקבל יש ידע קודם על התוכן, מושג האנפורמציה משנה את משמעותו והוא הופך למדד להפרש בין הידע הקודם של מקבל המסר לידע של המסר עצמו.
מה הקשר? 71037
דורון יערי • בתשובה לדורון יערי יום ד', 29/5/2002, 12:08
נ.ב
כל מה שאמרתי עד עכשיו קשור לעיבוד של מידע סיפרתי. אני לא מכיר דרך למדוד את האטרופיה או האינפורמציה של משפט בסיגנון ''יעקב פופק זקוק לאישפוז פסיכיאטרי דחוף'' ללא קידוד הטקסט והתעלמות מהתוכן שהו ברור מאליו.
חזרה לעמוד הראשי המאמר המלא
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים
האייל הקורא RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש © כל הזכויות שמורות