 |
1. התייחסתי להגדרה של סדרה נורמלית שכתבתי למעלה, כלומר סדרה שבה השכיחות של כל רצף סופי שווה למה שהיינו מצפים מסדרה אקראית.
כמובן שסדרה שבה רצף סופי מסויים הוא "אסור" אינה נורמלית, כך שהטענה שלי (שסדרות נורמליות אפשר לדחוס אפקטיבית) היא חזקה יותר (מהטענה שסדרה בלי רצף מסויים אפשר לדחוס אפקטיבית).
2. נניח שהאלפא-בית הוא בן K אותיות (למשל 2 או 10), ונניח שיש מלה מסויימת, באורך N, שאינה מופיעה כלל. אז אפשר לחשוב על הסדרה כאילו היא כתובה ב- N^K-1 ה"אותיות" שהן מלים מותרות באורך K; בפרט, האינפורמציה הממוצעת לאותיות החדשות חסומה על-ידי (log(N^K-1, וקטנה ממש מ- (K*log(N.
3. המלה "זניח" עשויה להטעות. אני לא טוען שהאנטרופיה יורדת באופן משמעותי; למשל, אם מספר תעודת הזהות שלי (9 ספרות) אינו מופיע, האינפורמציה הממוצעת לספרה היא לכל היותר (log(10)*(1-1e-10.31; פחות מ-(log(10 במידה זניחה, אבל עדיין פחות.
|
 |
RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש