בתשובה לסתם, 13/12/11 15:32
 |
|
 |
||
|
||||
 |
למה הכוונה "מצב n הסיביות הנוכחי"? אין הגיון בלחשב מחדש אנטרופיה. האנטרופיה קבועה למ"מ מקרי מסויים. יש לנו כאן בעיה בטרמינולוגיה. אתה לא מדבר כמו שאני מכיר שמדברים בתורת האינפורמציה. נתחיל שוב במודל פשוט. שרשרת מרקוב של "הילוך השיכור בין שני עמודי חשמל". השיכור מתחיל מנקודה 0, בהסתברות של 50% הוא ילך לנקודה 1, ובהסתברות של 50% הוא יישאר במקום. נסמן ב-X_i את מצב השיכור אחרי i צעדים. מהם המשתנים המקריים שאתה רוצה לחשב את האנטרופיה שלהם? דוגמאות: אני רוצה לחשב את האנטרופיה של X_i עבור כל i, ואני רוצה לדעת מהי האנטרופיה של X_i כש-i שואף לאינסוף. במקרה הזה מובטח לך שהאנטרופיה היא בין 0 ללוג של חצי, כי ל-X_i יש רק שני אפשרויות. אני רוצה לחשב את האנטרופיה של המשתנה המקרי Z=X_1,...,X_n כלומר, את תוצאת שרשרת המרקוב מהתוצאה הראשונה, עד התוצאה ה-n. במקרה הזה די ברור שהאנטרופיה שואפת לאינסוף. כי באינסוף יש למ"מ אינסוף אפשרויות. |
 |
 |
 |
|
|
|
||
|
||||
|
הדוגמא הראשונה שלך היא בדיוק מה שאני מתכוון אליו. ואתה צודק, זה 1/2 ולא 1. המודל של ההילוך שיכור טיפה בעייתי כי ההסתברות שלו להחליף מצב גדולה מדי, תעשה שינוי קטן ותחליף את הסיכוי למעבר ל 1%. עכשיו אתה יכול לחשב את האנטרופיה של המערכת אחרי כל צעד, ולראות שהיא גדלה כל הזמן ושואפת לחצי. |
|
|
|
|
|
|
||
|
||||
|
סליחה על העילגות המתמטית, חסר שם לוג בכל מיני מקומות. אני לא בפוזיציה להציע לאנשים לחשב, לוקח את ההצעה בחזרה. בכל מקרה קל לראות שהאנטרופיה תתחיל ב 0 (לוג של 1) ותגדל בכל צעד. הבעיה בהסתברות 50% להילוך השיכור היא שהיא מביאה אותך ישר ללוג של שתיים, ואין לה כבר לאן לשאוף אחרי זה. |
|
|
|
|
|
|
||
|
||||
|
זה נכון במקרה שלך, אבל זה תלוי מאד בשרשרת. אני לא יודע אם אתה מכיר, אבל אדם שיכור חוזר הביתה (=אנטרופיה סופית), וציפורת שיכורה עפה לה (=אנטרופיה אינסופית כשמס' הצעדים שואף לאינסוף). זה נראה נכון שהאנטרופיה לעולם לא תרד אחרי מס' כלשהו של צעדים. אני אנסה להוכיח את זה. עכשיו מה ההקבלה לאנטרופיה פיסיקלית? |
|
|
|
|
|
|
||
|
||||
|
אנטרופיה פיזיקלית זה בדיוק אותו דבר רק עם (הרבה) יותר מביט אחד ועם זמן רציף*. * או לא רציף. תלוי את מי שואלים. לי אין דעה בנושא :) ** אגב, אפשר כמובן למדל במחשב תהליך פיזיקלי שהחוק השני תקף בו, ולחשב את האנטרופיה בזמנים שונים של התהליך. לא יפתיע אותי אם למידול החוקים הפיזיקליים והאנטרופיה משתמשים במודל דומה למה שתואר למעלה. אם כן, אולי מעניין למדוד את האנטרופיה של מודל ממוחשב כזה, ברמת הביטים שמייצגים אותו... |
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |