חגיגות העצמאות בתל-אביב יערכו בחסות גאידמק

בתשובה לסתם, 12/12/11 12:40

התרבות היהודית של היהודים במדינת היהודים

588932

האייל השֵנון • בתשובה לסתם

יום ב', 12/12/2011, 13:43

אני לא חושב שיש לאנטרופיה האינפורמטיבית התייחסות לשינוי בביטים. הביטים לעולם לא משתנים. יש להם התפלגות מסויימת אפריורית, ולכן אנטרופיה קבועה אפריורית. לא מעניין מה קרה להם בפועל. האנטרופיה יכולה להשתנות בהנתן ידע מסויים על המערכת (ושוב, לא משנה מה קרה בפועל). אם אני יודע את הערך של הביט הראשון‏¹ אז האנטרופיה הכוללת קטנה (בכמה? תלוי במרחב המדגם).

‏¹ (אגב, אנטרופיה לא מחייבת ביטים או בסיס בינארי, אבל לא משנה.)

588937

סתם • בתשובה להאייל השֵנון

יום ב', 12/12/2011, 16:58

אתה: החוק השני של התרמודינמיקה לא רלוונטי לאנטרופיה אינפורמטיבית, כי אין לאנטרופיה האינפורמטית קשר לזמן (ולכן, במשתמע, היא "לא כמו" אנטרופיה פיזיקלית - אם אני מבין נכון את מה שאתה טוען. תקן אותי אם אני טועה).

אני: אם אין זמן אן זה באמת לא רלוונטי.. אבל ניתן לחשוב על הכללה מסויימת שיש בה זמן ושבה יהיה משהו דומה לחוק השני של התרמודינמיקה גם לאנטרופיה אינפורמטיבית.

אתה: אבל ההרחבה לא מעניינת/שימושית/מוכרת לי.

אני: לא טענתי שהיא מעניינת, שימושית או מוכרת (אם כי ייתכן שיש שימושים ידועים לחישובי אנטרופיה של "רעש" שנוצר עם הזמן). רק טענתי שהעובדה שהחוק השני של התרמודינמיקה לא תקף לאנטרופיה אינפורמטיבית, לא משנה דבר לגבי הקשר שלה לאנטרופיה פיזיקלית.

588946

האייל השֵנון • בתשובה לסתם

יום ב', 12/12/2011, 19:45

אנא אל תכניס לי מילים לפה. לא אמרתי שההרחבה לא מעניינת או שימושית. אמרתי שלפי התיאור שלך, ההרחבה לא עובדת בתורת האינפורמציה.

אנסה שוב. אנטרופיה אינפורמטית לא משתנה בזמן, ולא משתנה בכלל. בשביל לדבר על אנטרופיה, אתה צריך מרחב מדגם עם התפלגות, ועליו אתה יכול לשאול מה האנטרופיה בהינתן פיסת מידע מסויימת. מה שאמרת לא מתמפה לי לאנטרופיה אינפורמטית.

עכשיו תסביר שוב בבקשה. מרחב המדגם שלך הוא מיקומי האטומים - עד כאן בסדר. מכאן לא הבנתי מה קורה. זה נראה כאילו אתה ממפה מידע לזמן, והאנטרופיה בזמן מסויים היא האנטרופיה של המערכת בהנתן המידע הזה. אבל לא ברור לי מהו המיפוי בין נקודת זמן למידע על המערכת.

588953

סתם • בתשובה להאייל השֵנון

יום ב', 12/12/2011, 21:07

אני מתנצל על התגובה הקודמת.

אני גם מתחרט על ההכללה עם הזמן שנתתי. המחשה להכללה יכולה להיות למשל מודל מרקובי, שבו בכל צעד כל ביט יכול להחליף את ערכו. המיפוי לזמן הוא של האנטרופיה של המערכת בכל צעד על המודל המרקובי. אני מאמין שהאנטרופיה לא יכולה לקטון במערכת כזו, ואם מתחילים מאפס (כלומר ממצב ידוע) היא תגדל.

אני מתחרט כי היה עדיף פשוט לשאול ישירות למה אתה חותר - מה הבעיה בזה שהאנטרופיה כקונספט נוכחת במודל שהזמן לא משחק בו תפקיד?

588957

האייל השֵנון • בתשובה לסתם

יום ב', 12/12/2011, 22:27

אין בעיה, אני פשוט לא הבנתי (ועדיין לא מבין), איך המודל עובד. זה יכול להיות אפילו הגיוני, או נוכחות מתבקשת, אבל עד עכשיו לא הבנתי איך האנטרופיה האינפורמטית נכנסת למודל.

אני ממשיך. מודל מרקובי של מיקומי האטומים, מתאר את התפלגות האטומים כפונקציה של הזמן. נפלא - זהו מרחב המדגם. עכשיו נותר לי להבין מהו המשתנה המקרי שאת האנטרופיה שלו אנחנו מודדים. המיקום של האטומים באיזו נקודת זמן?

אני משער שמה שאתה מתכוון הוא, אנחנו מודדים את האנטרופיה של מיקום האטומים בנקודת זמן רחוקה, וככל שאנחנו מתקרבים לנקודה זו, האנטרופיה קוטנת, כי אנחנו יודעים מה קרה כמעט רגע לפני הצעד האחרון. זו נשמעת הקבלה הגיונית. אם האנטרופיה האינפורמטית שווה לאנטרופיה הפיסיקלית של המודל - אז זה באמת קשר מעניין.

אגב, אתה נשמע איש מעניין, תוכל בבקשה להצפין אימייל שניתן ליצור איתך בו קשר בהודעה הבאה באתר הזה עם המפתח המצ"ב? כאן אפשר לעשות זאת אונליין (תעתיק את המפתח הפומבי לתיבת הטקסט העליונה, והאימייל לתחתונה. תעתיק רק את הטקסט האתר לפעמים מוסיף תוים מוזרים אחרי ההודעה המוצפנת).

האימייל שלי מוצפן לדוגמא

588968

סתם • בתשובה להאייל השֵנון

יום ג', 13/12/2011, 0:44

לא, זה הרבה יותר פשוט.

יש לך סדרה של ביטים (אם אתה מעדיף, סדרה של נתונים כלשהם על אטומים, אבל אני אשתמש בביטים לטובת הפשטות. זה לא משנה לצורך הדוגמא - הרי זה יעבוד על כל מה שאפשר לייצג בביטים).
כל אחד מהביטים "מחובר" למודל מרקובי משלו. מודל מרקובי, על רגל אחת, זה פחות או יותר אוטומט שמגדיר הסתברות למעבר בין הצמתים שלו. (עם כמה דרישות והוראות הפעלה).
זה יכול להיות משהו מאוד פשוט. למשל, שני צמתים, כל אחד עם הקשתות "להשאר באותו צומת - 99%, לעבור לצומת השני - 1%". נניח שהצומת הימני מסומן "1" והצומת השמאלי "0".
בכל צעד זזים בין צמתי האוטומט לפי הסטטיסטיקה של המודל המרקובי, ומשנים בהתאם את מצב הביט.

אם התחלנו עם ידע כלשהו על המערכת (כלומר סדרת הביטים והאוטומטים לעיל), אפשר להעריך כמה ידע יש לנו אחרי כל צעד, או במילים אחרות להעריך את האנטרופיה של המערכת בזמנים שונים.
בדוגמא הזאת האנטרופיה כל הזמן גדלה, עד שאין שום הבדל בין הסדרה המקורית לסדרה אקראית.

_____

אפשר לתאר ע"י מודל מרקובי גם דברים הרבה יותר מסובכים, לא בינאריים ולמיטב ידיעתי גם רציפים (אם כי אני לא בטוח שזה עדיין נקרא מודל מרקובי). הכל שאלה של איך נראה הגרף של המודל המרקובי ומה המצבים שלו מייצגים.

588972

האייל השֵנון • בתשובה לסתם

יום ג', 13/12/2011, 7:13

אני מכיר מודל מרקובי. אבל אני שואל מה האנטרופיה מודדת? את המצב של המודל המרקובי מתי? באיזה צעד? הרי בכל צעד יהיו לו ערכים אחרים.

אולי אתה מתכוון שהאנטרופיה מודדת את מצב הביטים בכל שלב, מעכשיו עד אינסוף בהרצה מסויימת?

588974

סתם • בתשובה להאייל השֵנון

יום ג', 13/12/2011, 7:17

"אולי אתה מתכוון שהאנטרופיה מודדת את מצב הביטים בכל שלב, מעכשיו עד אינסוף בהרצה מסויימת?" - כן.

588977

האייל השֵנון • בתשובה לסתם

יום ג', 13/12/2011, 8:30

המממ. אם ככה האנטרופיה אינסופית, ולא נראה לי שהיא משתנה גם בהנתן ידע על כמות סופית של צעדים שקרו.

588983

סתם • בתשובה להאייל השֵנון

יום ג', 13/12/2011, 10:28

למה אין סופית?

אם מדובר בסדרת ביטים באורך 1, כלומר בביט יחיד שמצבו ידוע, הרי שהאנטרופיה הראשונית היא 0 והמקסימלית שאפשר להגיע אליה, גם אחרי אינסוף צעדים במודל, היא 1.

588987

האייל השֵנון • בתשובה לסתם

יום ג', 13/12/2011, 11:08

נזכיר שהמשתנה המקרי שאת האנטרופיה שלו אנחנו בודקים מקבל את מצב הסיבית בכל נקודת זמן, או במילים אחרות, באינסוף נקודות זמן.

האנטרופיה על מצב הסיבית בכל נקודות הזמן הוא סכום לוג של מספר המצבים (נניח כרגע שכולם שווי הסתברות, זה יצא אינסוף בכל אופן). כיוון שמספר המצבים בכל נקודות הזמן הוא אינסופי (כי יש אינסוף נקודות זמן), לוג של אינסוף גם הוא אינסוף.

האנטרופיה בנקודת זמן 0 (בה אנחנו לא יודעים כלום על מצבי האטום בשום נקודת זמן) היא אינסוף. וידיעה של מצב הסיבית במספר סופי של נקודות זמן לא עוזר לך כל כך הרבה.

588999

סתם • בתשובה להאייל השֵנון

יום ג', 13/12/2011, 14:44

למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן?

כל הסיפור כאן הוא אנלוגיה לאנטרופיה פיזיקלית, ושם האנטרופיה משתנה עם הזמן אבל מחושבת לכל זמן בנפרד. החוק השני משווה בין שתי אנטרופיות בזמנים שונים.

589002

האייל השֵנון • בתשובה לסתם

יום ג', 13/12/2011, 15:05

למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן? לא יודע, חשבתי שאתה רוצה לעשות כך את האנלוגיה. תסביר לי אתה איך אתה מגדיר את המשתנה המקרי כך שהאנטרופיות הפיסיקלית והמידעית יהיו זהות. זה מה שאני מנסה להבין.

כל הסיפור כאן הוא וכו'. אני מבין שזו המטרה, אבל אני עדיין לא מבין את ההקבלה, ואשמח אם תעזור לי להבין.

הבסיס הוא, שאנטרופיה מידעית אפשר לחשב רק למשתנה מקרי מסויים. אין משמעות לאנטרופיה בלי משתנה מקרי, אז אתה חייב להסביר לי מהו המשתנה המקרי. אפשר גם לחשב אנטרופיה על משתנה מקרי בהנתן מידע כלשהו.

עכשיו אנא הסבר לי, מהי האנטרופיה המידעית המקבילה לאנטרופיה הפיסיקלית אחרי n צעדים של שרשרת מרקוב. על איזה משתנה מקרי היא רצה?

אני מנסה שוב לנחש, תגיד לי אם צדקתי:

אתה מחשב אנטרופיה ל-n משתנים מקריים. המשתנה המקרי ה-n הוא מצב הסיבית אחרי n צעדים בשרשרת מרקוב.

ואתה טוען, שהאנטרופיה של מצב הסיבית ה-n שואפת ל-‏0 ככל ש-n שואף לאינסוף. האם אני צודק?

ברור (עם הנחות מקלות) שאם אני יודע את המצב של הסיבית בזמן n-1 אז האנטרופיה של מצב הסיבית בזמן n שווה לאנטרופיה של מצב הסיבית בזמן 0 (כי אני יודע את המצב ההתחלתי). האנטרופיה המקסימלית של סיבית היא לוג ½.

589005

סתם • בתשובה להאייל השֵנון

יום ג', 13/12/2011, 15:32

אני מחשב את האנטרופיה ל n משתנים מקריים - מצב n הסיביות הנוכחי. החישוב נעשה מחדש לאחר כל צעד במודל מרקוב.
כלומר, לפני הצעד הראשון האנטרופיה היא 0 לכל אחת מהסיביות ובכל צעד היא גדלה.
האנטרופיה של כל אחת מהסיביות שואפת ל 1 ככל ש n שואף לאינסוף.

589024

האייל השֵנון • בתשובה לסתם

יום ג', 13/12/2011, 20:29

למה הכוונה "מצב n הסיביות הנוכחי"?

אין הגיון בלחשב מחדש אנטרופיה. האנטרופיה קבועה למ"מ מקרי מסויים. יש לנו כאן בעיה בטרמינולוגיה. אתה לא מדבר כמו שאני מכיר שמדברים בתורת האינפורמציה.

נתחיל שוב במודל פשוט. שרשרת מרקוב של "הילוך השיכור בין שני עמודי חשמל". השיכור מתחיל מנקודה 0, בהסתברות של 50% הוא ילך לנקודה 1, ובהסתברות של 50% הוא יישאר במקום. נסמן ב-X_i את מצב השיכור אחרי i צעדים.

מהם המשתנים המקריים שאתה רוצה לחשב את האנטרופיה שלהם?

דוגמאות:

אני רוצה לחשב את האנטרופיה של X_i עבור כל i, ואני רוצה לדעת מהי האנטרופיה של X_i כש-i שואף לאינסוף. במקרה הזה מובטח לך שהאנטרופיה היא בין 0 ללוג של חצי, כי ל-X_i יש רק שני אפשרויות.

אני רוצה לחשב את האנטרופיה של המשתנה המקרי Z=X_1,...,X_n כלומר, את תוצאת שרשרת המרקוב מהתוצאה הראשונה, עד התוצאה ה-n. במקרה הזה די ברור שהאנטרופיה שואפת לאינסוף. כי באינסוף יש למ"מ אינסוף אפשרויות.

589030

סתם • בתשובה להאייל השֵנון

יום ג', 13/12/2011, 22:06

הדוגמא הראשונה שלך היא בדיוק מה שאני מתכוון אליו. ואתה צודק, זה 1/2 ולא 1.

המודל של ההילוך שיכור טיפה בעייתי כי ההסתברות שלו להחליף מצב גדולה מדי, תעשה שינוי קטן ותחליף את הסיכוי למעבר ל 1%.
עכשיו אתה יכול לחשב את האנטרופיה של המערכת אחרי כל צעד, ולראות שהיא גדלה כל הזמן ושואפת לחצי.

589031

סתם • בתשובה לסתם

יום ג', 13/12/2011, 22:18

סליחה על העילגות המתמטית, חסר שם לוג בכל מיני מקומות. אני לא בפוזיציה להציע לאנשים לחשב, לוקח את ההצעה בחזרה. בכל מקרה קל לראות שהאנטרופיה תתחיל ב 0 (לוג של 1) ותגדל בכל צעד.
הבעיה בהסתברות 50% להילוך השיכור היא שהיא מביאה אותך ישר ללוג של שתיים, ואין לה כבר לאן לשאוף אחרי זה.

589034

האייל השֵנון • בתשובה לסתם

יום ג', 13/12/2011, 23:00

זה נכון במקרה שלך, אבל זה תלוי מאד בשרשרת. אני לא יודע אם אתה מכיר, אבל אדם שיכור חוזר הביתה (=אנטרופיה סופית), וציפורת שיכורה עפה לה (=אנטרופיה אינסופית כשמס' הצעדים שואף לאינסוף).

זה נראה נכון שהאנטרופיה לעולם לא תרד אחרי מס' כלשהו של צעדים. אני אנסה להוכיח את זה.

עכשיו מה ההקבלה לאנטרופיה פיסיקלית?

589035

סתם • בתשובה להאייל השֵנון

יום ג', 13/12/2011, 23:22

אנטרופיה פיזיקלית זה בדיוק אותו דבר רק עם (הרבה) יותר מביט אחד ועם זמן רציף*.

* או לא רציף. תלוי את מי שואלים. לי אין דעה בנושא :)
** אגב, אפשר כמובן למדל במחשב תהליך פיזיקלי שהחוק השני תקף בו, ולחשב את האנטרופיה בזמנים שונים של התהליך. לא יפתיע אותי אם למידול החוקים הפיזיקליים והאנטרופיה משתמשים במודל דומה למה שתואר למעלה. אם כן, אולי מעניין למדוד את האנטרופיה של מודל ממוחשב כזה, ברמת הביטים שמייצגים אותו...

חזרה לעמוד הראשי

מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים
RSS מאמרים \| כתבו למערכת \| אודות האתר \| טרם התעדכנת \| ארכיון \| חיפוש \| עזרה \| תנאי שימוש	© כל הזכויות שמורות