בתשובה לסתם, 13/12/11 10:28
 |
|
 |
||
|
||||
 |
נזכיר שהמשתנה המקרי שאת האנטרופיה שלו אנחנו בודקים מקבל את מצב הסיבית בכל נקודת זמן, או במילים אחרות, באינסוף נקודות זמן. האנטרופיה על מצב הסיבית בכל נקודות הזמן הוא סכום לוג של מספר המצבים (נניח כרגע שכולם שווי הסתברות, זה יצא אינסוף בכל אופן). כיוון שמספר המצבים בכל נקודות הזמן הוא אינסופי (כי יש אינסוף נקודות זמן), לוג של אינסוף גם הוא אינסוף. האנטרופיה בנקודת זמן 0 (בה אנחנו לא יודעים כלום על מצבי האטום בשום נקודת זמן) היא אינסוף. וידיעה של מצב הסיבית במספר סופי של נקודות זמן לא עוזר לך כל כך הרבה. |
 |
 |
 |
|
|
|
||
|
||||
|
למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן? כל הסיפור כאן הוא אנלוגיה לאנטרופיה פיזיקלית, ושם האנטרופיה משתנה עם הזמן אבל מחושבת לכל זמן בנפרד. החוק השני משווה בין שתי אנטרופיות בזמנים שונים. |
|
|
|
|
|
|
||
|
||||
|
למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן? לא יודע, חשבתי שאתה רוצה לעשות כך את האנלוגיה. תסביר לי אתה איך אתה מגדיר את המשתנה המקרי כך שהאנטרופיות הפיסיקלית והמידעית יהיו זהות. זה מה שאני מנסה להבין. כל הסיפור כאן הוא וכו'. אני מבין שזו המטרה, אבל אני עדיין לא מבין את ההקבלה, ואשמח אם תעזור לי להבין. הבסיס הוא, שאנטרופיה מידעית אפשר לחשב רק למשתנה מקרי מסויים. אין משמעות לאנטרופיה בלי משתנה מקרי, אז אתה חייב להסביר לי מהו המשתנה המקרי. אפשר גם לחשב אנטרופיה על משתנה מקרי בהנתן מידע כלשהו. עכשיו אנא הסבר לי, מהי האנטרופיה המידעית המקבילה לאנטרופיה הפיסיקלית אחרי n צעדים של שרשרת מרקוב. על איזה משתנה מקרי היא רצה? אני מנסה שוב לנחש, תגיד לי אם צדקתי: אתה מחשב אנטרופיה ל-n משתנים מקריים. המשתנה המקרי ה-n הוא מצב הסיבית אחרי n צעדים בשרשרת מרקוב. ואתה טוען, שהאנטרופיה של מצב הסיבית ה-n שואפת ל-0 ככל ש-n שואף לאינסוף. האם אני צודק? ברור (עם הנחות מקלות) שאם אני יודע את המצב של הסיבית בזמן n-1 אז האנטרופיה של מצב הסיבית בזמן n שווה לאנטרופיה של מצב הסיבית בזמן 0 (כי אני יודע את המצב ההתחלתי). האנטרופיה המקסימלית של סיבית היא לוג ½. |
|
|
|
|
|
|
||
|
||||
|
אני מחשב את האנטרופיה ל n משתנים מקריים - מצב n הסיביות הנוכחי. החישוב נעשה מחדש לאחר כל צעד במודל מרקוב. כלומר, לפני הצעד הראשון האנטרופיה היא 0 לכל אחת מהסיביות ובכל צעד היא גדלה. האנטרופיה של כל אחת מהסיביות שואפת ל 1 ככל ש n שואף לאינסוף. |
|
|
|
|
|
|
||
|
||||
|
למה הכוונה "מצב n הסיביות הנוכחי"? אין הגיון בלחשב מחדש אנטרופיה. האנטרופיה קבועה למ"מ מקרי מסויים. יש לנו כאן בעיה בטרמינולוגיה. אתה לא מדבר כמו שאני מכיר שמדברים בתורת האינפורמציה. נתחיל שוב במודל פשוט. שרשרת מרקוב של "הילוך השיכור בין שני עמודי חשמל". השיכור מתחיל מנקודה 0, בהסתברות של 50% הוא ילך לנקודה 1, ובהסתברות של 50% הוא יישאר במקום. נסמן ב-X_i את מצב השיכור אחרי i צעדים. מהם המשתנים המקריים שאתה רוצה לחשב את האנטרופיה שלהם? דוגמאות: אני רוצה לחשב את האנטרופיה של X_i עבור כל i, ואני רוצה לדעת מהי האנטרופיה של X_i כש-i שואף לאינסוף. במקרה הזה מובטח לך שהאנטרופיה היא בין 0 ללוג של חצי, כי ל-X_i יש רק שני אפשרויות. אני רוצה לחשב את האנטרופיה של המשתנה המקרי Z=X_1,...,X_n כלומר, את תוצאת שרשרת המרקוב מהתוצאה הראשונה, עד התוצאה ה-n. במקרה הזה די ברור שהאנטרופיה שואפת לאינסוף. כי באינסוף יש למ"מ אינסוף אפשרויות. |
|
|
|
|
|
|
||
|
||||
|
הדוגמא הראשונה שלך היא בדיוק מה שאני מתכוון אליו. ואתה צודק, זה 1/2 ולא 1. המודל של ההילוך שיכור טיפה בעייתי כי ההסתברות שלו להחליף מצב גדולה מדי, תעשה שינוי קטן ותחליף את הסיכוי למעבר ל 1%. עכשיו אתה יכול לחשב את האנטרופיה של המערכת אחרי כל צעד, ולראות שהיא גדלה כל הזמן ושואפת לחצי. |
|
|
|
|
|
|
||
|
||||
|
סליחה על העילגות המתמטית, חסר שם לוג בכל מיני מקומות. אני לא בפוזיציה להציע לאנשים לחשב, לוקח את ההצעה בחזרה. בכל מקרה קל לראות שהאנטרופיה תתחיל ב 0 (לוג של 1) ותגדל בכל צעד. הבעיה בהסתברות 50% להילוך השיכור היא שהיא מביאה אותך ישר ללוג של שתיים, ואין לה כבר לאן לשאוף אחרי זה. |
|
|
|
|
|
|
||
|
||||
|
זה נכון במקרה שלך, אבל זה תלוי מאד בשרשרת. אני לא יודע אם אתה מכיר, אבל אדם שיכור חוזר הביתה (=אנטרופיה סופית), וציפורת שיכורה עפה לה (=אנטרופיה אינסופית כשמס' הצעדים שואף לאינסוף). זה נראה נכון שהאנטרופיה לעולם לא תרד אחרי מס' כלשהו של צעדים. אני אנסה להוכיח את זה. עכשיו מה ההקבלה לאנטרופיה פיסיקלית? |
|
|
|
|
|
|
||
|
||||
|
אנטרופיה פיזיקלית זה בדיוק אותו דבר רק עם (הרבה) יותר מביט אחד ועם זמן רציף*. * או לא רציף. תלוי את מי שואלים. לי אין דעה בנושא :) ** אגב, אפשר כמובן למדל במחשב תהליך פיזיקלי שהחוק השני תקף בו, ולחשב את האנטרופיה בזמנים שונים של התהליך. לא יפתיע אותי אם למידול החוקים הפיזיקליים והאנטרופיה משתמשים במודל דומה למה שתואר למעלה. אם כן, אולי מעניין למדוד את האנטרופיה של מודל ממוחשב כזה, ברמת הביטים שמייצגים אותו... |
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |