בתשובה להאייל האלמוני, 25/05/08 16:50
 |
|
 |
||
|
||||
 |
בפקולטה למדעי המחשב נדרשים הסטודנטים ללמוד שני קורסים מוגברים בפיזיקה (פיזיקה 1מ ו-2מ) וקורס מדעי שלישי (לפעמים שניים), שיכול להיות בפיזיקה (למשל פיזיקה 3ח), כימיה או ביולוגיה. אני בחרתי בביולוגיה (ביולוגיה למהנדסים 1 ו-2) ומאוד נהניתי. וכמובן שיש גם את 10 נקודות הלימוד המוקדשות לבחירה חופשית, שמאפשרות לקחת קורסים במחלקה ללימודים הומניסטיים. אז משם יש לי (מהזיכרון) את אנתרופולוגיה תרבותית, הסכסוך הישראלי-ערבי, מדע טכנולוגיה ומוסר, שני קורסים של ד"ר איריס פריי על מוצא החיים והפילוסופיה של הביולוגיה וכמובן פוליטיקה ואידאולוגיה אצל ד"ר עודד בלבן. |
 |
 |
 |
|
|
|
||
|
||||
|
בדיוק חשבתי על זה שבעצם היה יכול להיות יותר מועיל, מהזוית של מדעי המחשב, לקחת קורס מבוא במכניקה (נגיד 1מ) וקורס במכניקה סטטיסטית (במקום 2מ), ואם חייבים קורס שלישי אז את תרמודינמיקה. | |
|
|
|
|
|
||
|
||||
|
למה דווקא מכניקה סטטיסטית ותרמודינמיקה? | |
|
|
|
|
|
||
|
||||
|
אני לא יודע מה הסיבה של האלמוני, אבל אני מנחש: שיראו מהיכן בא המושג "אנטרופיה", המשמש רבות במדעי המחשב. בהחלט אפשר גם בלי לדעת מהיכן הוא בא, אבל אם כבר מחייבים משהו... מעבר לזה, ממה שאני טעמתי מפיזיקה, זה הנושא היפה והמאלף ביותר, למעשה בעולם אידיאלי זה היה קורס חובה גם לפילוסופים, וגם לכל השאר. | |
|
|
|
|
|
||
|
||||
|
שני הקורסים, או רק תרמודינמיקה? | |
|
|
|
|
|
||
|
||||
|
מקובל שזה קורס אחד: "מכניסקה סטטיסית ותרמודינמיקה"; למעשה, הקשר ביניהם הוא הדבר היפה, החשוב וכו' שלומדים שם. | |
|
|
|
|
|
||
|
||||
|
זאת אכן הייתה הסיבה. אנטרופיה, התפלגות בולצמן-גיבס ובכלל פיזיקה בסימן יותר סטטיסטי עם נקודות השקה לתחומי הלמידה (machine learning) במדמ"ח. | |
|
|
|
|
|
||
|
||||
|
מה המשמעות של אנתרופיה במדעי המחשב? | |
|
|
|
|
|
||
|
||||
|
במשפט אחד (ולא מדויק כל כך) - כמה מידע נמצא בתוך רצף של ביטים או לחלופין, עד כמה רצף של ביטים נראה אקראי. אנטרופיה (סטטיסטיקה) [ויקיפדיה] |
|
|
|
|
|
|
||
|
||||
|
תודה. | |
|
|
|
|
|
||
|
||||
|
אין כמעט שום קשר בין מושג האנטרופיה בתורת האינפורמציה, למושג האנטרופיה בפיסיקה. למעשה בשיעור הראשון בתורת האינפורמציה מבקשים ממי שיודע מה זה אנטרופיה בפיסיקה לשכוח את העניין. והמושג "אנטרופיה" לא משמש רבות במדעי המחשב לפחות בתארים ראשונים בפתוחה ובבר אילן. הייתי אומר שהוא לא משמש בכלל, אבל הוזכר איפהשהו בספר של האו"פ על קריפטוגרפיה משהו על אנטרופיה (שכמובן לא היה בחומר, ולא היית צריך לדעת אותו). ואני מוכן להתערב שיש פרופסורים שהתמקדו בתחומים מסויימים של מדעי המחשב שלא באמת יודעים מה זה אנטרופיה. אם כבר, הוא משמש, אז זה בהנדסת חשמל. בנוגע להצפנה תנו לי לתת לכם קורס בזק באנטרופיה: אנטרופיה בצופן - חשוב ואם יש מעט - זה עצוב כנ"ל במפתח ואל תתוכח הגרל והגרל שוב ושוב. |
|
|
|
|
|
|
||
|
||||
|
זה בדיוק אותו מושג.. ההבדל הוא שבפיזיקה מתעסקים במגוון גדול מאוד של תופעות עם אנטרופיה ובמדעי המחשב כמעט אך ורק באנטרופיה של רצף של ביטים. | |
|
|
|
|
|
||
|
||||
|
אני רק אצטט מהויקיפדיה: "The inspiration for adopting the word entropy in information theory came from the close resemblance between Shannon's formula and very similar known formulae from thermodynamics.... At an everyday practical level the links between information entropy and thermodynamic entropy are not evident" תרגום חופשי, הסיבה שהשם אנטרופיה נבחר הוא כי יש נוסחא דומה בשני האנטרופיות הפיסיקלית וזו של תורת האינפורמציה, מעבר לזה, קשה למצוא קשר בין שני האנטרופיות.
|
|
|
|
|
|
|
||
|
||||
|
אחסוך ממך את ציטוט הפסקה שלפני או אחרי זו שבחרת לצטט (ולתרגם באופן מגמתי), אך אציין שפתרון הפרדוקס של השדון של מקסוול כורך את השתיים לבלי הפרד. | |
|
|
|
|
|
||
|
||||
|
ראשית, התרגום שלי אכן לקוי, הייתי צריך להוסיף ש"מבחינה פרקטית אין בינהן קשר", ואני מתנצל. כעת, בבקשה, אצטט מפסקה אחרי: But, at a multidisciplinary level, connections <מוגדש can> be made between thermodynamic and informational entropy, although it took many years in the development of the theories of statistical mechanics and information theory to make the relationship fully apparent. ההדגשה במקור. אני לא אומר שאין קשר בכלל. יש גם קשר בין כימיה לפיסיקה, יש קשרים בין אופטיקה לתיאורית היחסות, כמו שמוזכר בויקי, מנקודת מבט בין תחומית, אנטרופיה פיסיקלית קשורה יותר לאנטרופיה של תורת האינפורמציה מאשר, למשל לספרות. אבל להגיד שחיוני ללמוד אנטרופיה פיסיקלית ללומדי תורת האינפורמציה, זה קצת מוגזם. יש עוד הרבה דברים שכדאי להם ללמוד לפני, שקשורים לאנטרופיה לא פחות, וקשורים גם לתחומים אחרים במדעי המחשב, לדוגמה קומבינטוריקה, שקשורה בקשר גורדי לאנטרופיה, בקורס בו למדתי הראו כמה וכמה בעיות קומבינטוריות שנפתרות חיש קל עם מושג האנטרופיה. רוצה עוד דוגמאות מתחומים נוספים? בבקשה, היו עוד הרבה תחומים שקשורים, אבל אף אחד מהם לא היה האנטרופיה הפיסיקלית. |
|
|
|
|
|
|
||
|
||||
|
אין בעיה. עם המשפט "אבל להגיד שחיוני ללמוד אנטרופיה פיסיקלית ללומדי תורת האינפורמציה, זה קצת מוגזם." אני מסכים. למרות שאני בדעה אחת עם ירדן על יופיו של הנושא. עם המשפט "אין כמעט שום קשר בין מושג האנטרופיה בתורת האינפורמציה, למושג האנטרופיה בפיסיקה." אני לא מסכים. היה בינם מספיק דימיון קונספטואלי בשביל לקרוא להם באותו שם, ובדיעבד גם מצאו קשר של ממש שמאחד אותם. הקשר בין כימיה לפיזיקה הוא דוגמא טובה - האם היית אומר שאין קשר בין מסה של אטום בכימיה למסה של אטום בפיזיקה? ה"מסה" לא משמשת כימאים ופיזיקאים באופן זהה, וספק אם כימאי מתעניין ביחס בין הכוח המופעל על האטום לבין תאוצתו (או שפיזיקאי יתעניין במה שכימאי לא יעשה עם הנתון הזה) אבל היא אותה מסה. האנטרופיה בשני המקרים מכמתת חוסר ידע על המערכת שעליה מדובר. אולי חילוקי הדעות נובעים מעניין סמנטי.. מבחינתי המילה "מושג" היא תפלה כאן. |
|
|
|
|
|
|
||
|
||||
|
מסה של אטום בכימיה ומסה של אטום בפיסיקה הם מאד מאד דומות אם לא זהות. ההשוואה לא במקום בכלל. כשכימאי אומר המסה של האטום היא כך וכך, הוא מתכוון בדיוק למה שהפיסיקאי מתכוון. כשהפיסיקאי אומר האנטרופיה בחדר היא כך וכך, בוגר תורת האינפורמציה יביט בו במבט חלול. כשבוגר תורת האינפורמציה ישאל אותו מה האנטרופיה של החדר בהנתן שיש בו גז מתאן, הפיסיקאי יביט בו במבט חלול. אולי השוואה נכונה היא תא בביולוגיה ותא סטודנטים בסוציולוגיה. יש ביניהם קשר רעיוני, שניהם מיצגים יחידה שעומדת בפני עצמה ומתקשרת עם הסביבה, כנראה שיוסיף לך לדעת על איך תא-סטודנטים עובד כי הוא דומה במידה מסויימת לתא ביולוגי. אבל מעבר לזה - אין הרבה קשר. כשאני אומר ''תא'' וכשהביולוג אומר ''תא'', שנינו מדברים על דברים אחרים. |
|
|
|
|
|
|
||
|
||||
|
בוא נעזוב את האנלוגיות. האלמוני למטה היה נדיב דיו לתת לי הזדמנות לתקן את הניסוח הבעייתי שהיה בעצם לב התגובה שלי, ואחזור על זה כאן בטיפה פחות עילגות: האנטרופיה היא לוגריתם כמות המצבים שאי אפשר להבחין בינהם כאשר מסתכלים על המערכת כמכלול. זה נכון לגבי פיזיקה וזה נכון לגבי מדעי המחשב. האנטרופיה הפיסיקלית קשורה לחום, אבל זה לא הופך את המשפט הקודם ללא נכון. ההישג האינטלקטואלי האדיר שהביא אותנו למצב שבו אנחנו יודעים את זה הוא יפה ומרגש1 מכדי להתכחש לו :) ___________ 1 אחד הספרים שהרשימו אותי יותר מכל (קראתי אותו לפני תשע שנים ושלושה חודשים (ארכיבאי!)) הוא Maxwell's Demon: Entropy, Information, Computing ואם הוא לא היה יקר בטירוף הייתי קונה אותו עכשיו באמאזון. אוסף המאמרים המקוריים ופורצי הדרך שהביאו ותנו עד הלום + פרשנות מחכימה. אם יש לך גישה לספרייה כלשהי אל תהסס.
|
|
|
|
|
|
|
||
|
||||
|
באיזה מובן האנטרופיה הפיזיקלית מכמתת חוסר ידע על המערכת? | |
|
|
|
|
|
||
|
||||
|
אנטרופיה מכמתת את מספר המצבים שאי אפשר להבחין בינהם כאשר מסתכלים על המערכת בכללותה. (אולי יותר יפה ונכון להגיד שלוגריתם כמות המצבים שאי אפשר להבחין בינהם כאשר מסתכלים על המערכת בכללותה, היא האנטרופיה) |
|
|
|
|
|
|
||
|
||||
|
זה לא ממש "מצבים שאי אפשר להבחין בינהם", זה יותר מצבים זהים. אבל בכל זאת, באיזה מובן זה מכמת חוסר ידע על המערכת? חוסר ידע של מי? | |
|
|
|
|
|
||
|
||||
|
זהים? אם הם זהים אז הם אותו מצב. כל הקטע זה שהם שונים אבל אי אפשר להבחין בינהם. זה מכמת חוסר ידע כי אם היית יודע בדיוק באיזה מצב המערכת נמצאת, היה לך 0 חוסר ידע. |
|
|
|
|
|
|
||
|
||||
|
וויקיפדיה אומרת ''זהים מבחינה מאקרוסקופית''. בפיזיקה כשאתה אומר על שני מצבים שאי אפשר להבחין ביניהם, אתה אומר שלי המדידה שלך לא מספיק רגיש להבדיל ביניהם. אבל זה לא בהכרח המצב כשיש אנטרופיה, אז מדובר במצבים זהים אחד לשני, ז''א כאלה שאין ביניהם הבדל (מאקרוסקופי) ולא רק כאלה שלא ניתן להבחין בהבדל. למיטב הבנתי, גם אם היית יודע בדיוק באיזה מצב המערכת נמצאת לא הייתה לך אנטרופיה אפס. הכימות הוא על מספר המצבים הזהים שהמערכת יכולה להיות בהם, ואתה, המודד (או היודע), לא ממש שחקן. |
|
|
|
|
|
|
||
|
||||
|
תודה, אין לי ידע מספיק בפיסיקה בשביל להסביר למה זה לא אותו דבר, והסברת את זה כך שאפילו אני אוכל להבין. | |
|
|
|
|
|
||
|
||||
|
אתה טועה (ומטעה). פסקה ראשונה: בוא נדמיין אטום בקופסה עם מחיצה שיש בה חור קטן. האטום יכול להמצא בצד ימין או בצד שמאל, ואלו המצבים שבהם אני מתעניין. נניח שאני מסתכל על הקופסא מבחוץ. האם המצב שבו האטום בצד ימין *זהה* למצב שבו האטום בצד שמאל? לא. הם מצבים שאי אפשר להבחין בינהם מבחוץ אבל הם לא זהים, ואפשר לספור אותם (2). יש אינסוף מצבים "זהים", והם כל המיקומים האפשריים לאטום נניח בצד ימין, אבל הם לא מעניינים אותנו במערכת שהגדרנו. למען האמת, הניסוח "מצבים זהים" הוא סוג של אוקסימורון בהקשר הזה - אם אתה רוצה לדבר על מיקום החלקיק המדוייק בתוך כל צד אז אתה מתעניין במערכת אחרת מזו שהוגדרה, ובה המצבים כבר לא זהים. אין לזה שום קשר לשום כלי מדידה פיזי רגיש במידה זו או אחרת. האנלוגיה המיידית היא לביט של אינפורמציה שאתה לא יודע אם הוא 0 או 1. אין "סוגים שונים של 1", אין ריבוי של מצבים זהים. פסקה שניה: נניח ששמתי את האטום בצד ימין של הקופסא כאשר החור סגור. כל עוד אני יודע שהוא בצד ימין האנטרופיה היא 0. ברגע שאני פותח את החור האטום יכול לעבור מצד לצד האנטרופיה גדלה. הדבר נכון גם אם היה מדובר במדידה, שברגע מסויים סוגרת את החור ובודקת איפה האטום נמצא. |
|
|
|
|
|
|
||
|
||||
|
נראה לי שאנחנו לא מדברים על אותו הדבר. אנטרופיה בפיזיקה הוא גודל פיזיקלי, אפשר למדוד אותו (ז"א לא אותו, אבל את השינוי בו) והוא שומר על אינוורינטיות. לא מדובר במושג קוואנטי, מדידה לא בהכרח משנה אותו ואין מצב של קריסה. עכשיו תחשוב על קופסא עם 10 מטבעות ושלושה פיזיקאים. שלושתם יודעים בתחילת הניסוי ש-4 מטבעות נמצאים על פלי ו-6 על עץ. סה"כ 15(?) מצבים אפשריים. שלושתם לוקחים מדחום ושמים בקופסא. אחד מהם הוא סקרן, אז הוא פותח את הקופסא ובודק בדיוק באיזה מצב המערכת נמצאת. אחד מהם בעל נטיות אובדניות, אז הוא לוקח פטיש ומתחיל לדפוק בראש שלו. השלישי סתם עצלן, אז הוא מסתכל על המדחום ומחכה שהשניים האחרים יסיימו אם מה שהם עושים. בסיום כל אחד בודק מה הידע שלו על המערכת, הראשון יודע על המערכת יותר, הוא יודע בדיוק באיזה מצב היא נמצאת, האנטרופיה אמורה היתה לרדת. השני יודע על המערכת פחות, הוא בקושי זוכר איך קוראים לו. השלישי יודע על המערכת בדיוק אותו הדבר. האם האנטרופיה עלתה, ירדה נשארה קבועה או שהיא שונה עבור כל אחד משלושת הצופים? |
|
|
|
|
|
|
||
|
||||
|
ורק למען ההקבלה, באנטרופיה של תורת המידה, יש משמעות לאנטרופיה מותנת. כך שאכן האנטרופיה על מספר המטבעות שונה לכל אחד מהנוכחים, כל אחד לפי הידע שלו על המערכת. | |
|
|
|
|
|
||
|
||||
|
מחיקת הידע ע''י פטיש נראית לי משהו שהמודל מתורת האינפורמציה לא אמור לשקף. בכל מקרה, ברגע שהפיזיקאים פתחו את הקופסה, האנטרופיה הפיזיקלית אינה קבועה. בפרט למכת הפטיש יש מן הסתם השפעה לא מבוטלת על האנטרופיה הפיזיקלית. |
|
|
|
|
|
|
||
|
||||
|
בוודאי שכן, אני יכול לשאול מה האנטרופיה לפי הידע של המכה בפטיש (שהוא אפס ידע), ואז האנטרופיה מקסימלית (לוג של מספר המצבים), או לשאול מה האנטרופיה לפי הידע של זה שהסתכל על הקופסא ויודע בדיוק מה המצב שלה (ואז היא 0). | |
|
|
|
|
|
||
|
||||
|
לא ברור לי איך ידע יכול סתם להעלם בהקשר שלנו. אתה מכניס למודל שלך את המוח? (וכן, ברור לי שמדובר על ניטפוק צדדי. מצד שני, שנון הוא אחד המחשבים שלי בעבודה) |
|
|
|
|
|
|
||
|
||||
|
הסתברות מותנת אתה מכיר? זה עובד אותו דבר. אתה יכול לשאול שאלה, בהנתן שאתה יודע משהו על המערכת. מהי האנטרופיה של הטלת שני קוביות בהנתן שאתה יודע שסכום הקוביות הוא 10. אז כן, אתה בערך מכניס למודל את המוח, או אולי אתה ממדל את המוח כך שיכנס לתיאוריה. | |
|
|
|
|
|
||
|
||||
|
אני לא יודע כלום על תורת האינפורמציה. אם אתה לא יכול למחוק ידע על מערכת סגורה, אז הידע שלך עליה יכול רק לגדול או להשאר קבוע? האנטרופיה של המערכת הסגורה שמכילה את המטבעות בלבד לא תלויה בפתיחת הקופסא שמכילה את המטבעות בתנאי שתעשה את זה במזהירות מספיקה. אנטרופיה הוא לא מושג קוונטי. |
|
|
|
|
|
|
||
|
||||
|
אם הידע הזה תלוי במכת פטיש מחוץ למערכת, אי-אפשר להגיד שמדובר סתם על האנטרופיה של המערכת הסגורה. אם מרשים לי להוסיף מכת פטיש, אני אוסיף באותו מחיר גם אורקל שיספר למדען הרביעי איך בדיוק מסודרים המטבעות. | |
|
|
|
|
|
||
|
||||
|
אני לא רואה הבדל בין הרביעי לראשון, לא צריך אוראקל, מספיק להסתכל על המטבעות. בעייתי? נכון, בגלל זה אני לא מבין מה הקשר בין ידע על המערכת, מושג שרומז על תודעה של גורם שנמצא מחוץ למערכת, לבין התכונות הפיזיות שלה. למיטב ידיעתי זה דבר שקיים רק במערכות קוונטיות (וגם שם בצורה הרבה יותר עדינה מההגדרה של סתם). אולי נחכה שסתם יסביר לנו. | |
|
|
|
|
|
||
|
||||
|
סתם בשביל שיהיה הבדל: אחד מהמטבעות מזויף ושוקל פחות. (לא המציאו את החידה הזו אחרי שכבר הפסיקו להשתמש במטבעות כסף וזהב אמתיים?. טוב. אז יש שם תשעה מטבעות רגילים ומטבע חנוכה אחד). |
|
|
|
|
|
|
||
|
||||
|
אולי נהפוך את המטבעות לחזירים, את הקופסא לבית, ואת ההוא שדופק באת הראש בפטיש לזאב... לא ברור לי מה אתה רוצה להשיג ומה הקשר בין זה לדיון. | |
|
|
|
|
|
||
|
||||
|
אתה מתעלם ממה שכתבתי ואני מרגיש שזה לא הולך להשתנות. מעולם לא טענתי שמדובר במדידה קוואנטית, שמדידה בהכרח משנה אותו ושיש מצב של קריסה. אתה שם בפי טענות מגוחכות ואז תוקף אותן וזה לא הגון. אני טוען שיש קשר ממשי, ולא רק אנלוגיה, בין אנטרופיה תרמודינמית לאנטרופיה בתורת האינפורמציה. לא המצאתי את הקונספט הזה בעצמי, כמובן. ראה למשל את המאמר הקלאסי אם אתה חולק על הטענה הזו, תרשה לי רק לשאול לפני שנמשיך: האם בעיניך יש קשר ממשי בין אנטרופיה תרמודינמית לאנטרופיה במכניקה סטטיסטית או שגם כאן מדובר באנלוגיה בלבד? |
|
|
|
|
|
|
||
|
||||
|
אני לא חולק על הטענה. למעשה, אני בור ועם הארץ בכל מה שנוגע לתורת האינפורמציה. אני חולק1 על הטענה שאנטרופיה פיזיקלית מכמתת חוסר ידע על המערכת. 1 או, יותר נכון: מנסה להבין את. |
|
|
|
|
|
|
||
|
||||
|
ועל השאלה "האם בעיניך יש קשר ממשי בין אנטרופיה תרמודינמית לאנטרופיה במכניקה סטטיסטית או שגם כאן מדובר באנלוגיה בלבד?" אתה מוכן לענות? | |
|
|
|
|
|
||
|
||||
|
כן, אני מוכן לענות. התשובה למיטב הבנתי היא כן, אבל אשמח לדעת אם ולמה אני טועה. |
|
|
|
|
|
|
||
|
||||
|
אוקיי... אני מניח שענית שכן, יש קשר בין אנטרופיה תרמודינמית לאנטרופיה של מכניקה סטטיסטית. אם כך, נעזוב לגמרי את תורת האינפורמציה (שהתחילה את הפתיל מבחינתי לפחות) - נשאר רק להראות את הקשר בין אנטרופיה של מכניקה סטטיסטית לחוסר ידע. מדובר בקונספט בסיסי למדי של מכניקה סטטסיטית ואני מאמין שתוכל למצוא הסברים טובים משלי בהרבה מקומות. במכניקה סטטסיטית לוקחים את התופעות המאקרוסקופיות של תרמודינמיקה (חום, אנטרופיה וכו') ומנסים להבין אותם ע"י סטטיסטיקה על חלקיקים שמרכיבים את המערכת. את הסטטיסטיקה על החלקיקים עושים במונחים של המהירות, המיקום וכל מיני פרמטרים דומים - אפילו שאי אפשר למדוד אותם במבט מאקרוסקופי על המערכת ובטח לא את של כולם בו זמנית. עדיין אפשר לעשות כל מיני אינטגרלים על אוסף הפרמטרים המיקרוסקופיים שיכולים להרכיב את המצב המאקרוסקופי שאנחנו רואים מרחוק. ככל שיש יותר מצבים מיקרוסקופיים מתאימים - האנטרופיה גדולה יותר (בולצמן). עד כאן אני מקווה שאין בינינו חילוקי דעות. אם כן אנא פרט. עכשיו לביזנס: ככל שמספר המצבים המתאימים למצב המאקרוסקופי גדול יותר, אנחנו מחזיקים פחות ידע על המצב המיקרוסקופי האמיתי של המערכת. אם היה לנו ידע על המצב המיקרוסקופי (זה מצב דימיוני ברוב המערכות כי מדובר על יותר מדי חלקיקים, אבל בכל זאת) היינו יכול לנצל אותו בדרכים שונות כדי לשנות את המצב המאקרוסקופי. למשל, אם היינו שדון קטן שיושב ליד חור בין שני מיכלים, היינו יכולים לאפשר מעבר ימינה של חלקיקים עם מהירות גבוהה ושמאלה של חלקיקים עם מהירות נמוכה, ולהקטין את האנטרופיה של המערכת (משלמים על זה באנטרופיה גדלה במקום אחר אבל זה לא משנה כרגע). השדון בעצם רואה את המערכת ברמה המיקרוסקופית, ומבחינתו אין חוסר ידע שנובע מכך שהוא מסתכל על מערכת מאקרוסקופית. ---------------------------------------------------------------- בדיוק ברגע זה של כתיבת התגובה חיפשתי באינטרנט דוגמא משכנעת ומצאתי את הלינק הבא http://en.wikipedia.org/wiki/Entropy_(statistical_thermodynamics)#Lack_of_knowledge_and_the_second_law_of_thermodynamics אני מעתיק מהמאמר שני משפטים:1. The entropy S is defined as kB*lnΩ where kB is Boltzmann's constant and Ω is the number of microstates consistent with the given macrostate. ובכן, אין לי פרטנזיות מוגזמות לגבי יכולת ההסבר שלי ומדובר בעניין שאתה יכול למצוא עליו אינפורמציה ברחבי האינטרנט.. גם במאמר המקושר לעיל וגם בכאלו שמתאים מה היא מכניקה סטטיסטית.2. We can view Ω as a measure of our lack of knowledge about a system ---------------------------------------------------------------- אם אתה עדיין לא משוכנע אני אנסה לחשוב על דוגמא נחמדה. |
|
|
|
|
|
|
||
|
||||
|
"ככל שמספר המצבים המתאימים למצב המאקרוסקופי גדול יותר, אנחנו מחזיקים פחות ידע על המצב המיקרוסקופי האמיתי של המערכת" לא מסכים. נראה לי שאתה קורא "ידע" למשהו שהוא בכלל לא ידע. כמות הידע שאנחנו מחזיקים לגבי מערכת מסויימת לא קשורה למספר המצבים שלה, הוא קשור לכמות הידע שאספנו (בעזרת מדידות) עליה. אותה מערכת יכולה להיות כזאת שאנחנו לא יודעים עליה כלום (=לא מדדנו שום דבר) או שאנחנו יודעים עליה הרבה מאד (=מדדנו את כל מה שאפשר למדוד). כמה שלא תהפוך את זה, זאת עדיין אותה מערכת, והאנטרופיה שלה לא תלויה בידע שלנו. מספר המצבים הזהים מאקרוסקופית כן קשור לכמות הידע שאפשר לאסוף על מצב המיקרוסקופי של המערכת. לזה התכוונת? | |
|
|
|
|
|
||
|
||||
|
"מספר המצבים הזהים מאקרוסקופית כן קשור לכמות הידע שאפשר לאסוף על מצב המיקרוסקופי של המערכת." נכון. אני שמח שאנחנו מסכימים על זה. מה שזה אומר, לצורך העניין: אם אספנו רק מידע מאקרוסקופי, הרי ש(לוג)מספר המצבים המיקרוסקופיים הזהים מאקרוסקופית, שווה כמעט* לכמות חוסר הידע** על המערכת. *כמעט: כי בכל זאת אספנו כמות מידע זניחה - המידע המאקרוסקופי. ** חוסר ידע: הידע שאפשר לאסוף פחות הידע שאספנו. אם כן, לא ברור לי מדוע אתה "חולק על הטענה שאנטרופיה פיזיקלית מכמתת חוסר ידע על המערכת" (הדגשה שלי) או מה אתה מנסה להבין בדיוק. ____ רק אם נלבן את הסוגיה לעיל, יהיה מעניין לדון במה שיקרה אם ייתכנו מדידות מיקרוסקופיות. |
|
|
|
|
|
|
||
|
||||
|
אופס, תתעלם מה''כמעט''. שווה בדיוק כי אנחנו סופרים רק את המצבים המיקרוסקופיים שזהים למצב מאקרוסקופי מסויים. לא צריך להערבב בין השניים... | |
|
|
|
|
|
||
|
||||
|
אני חושש אני מתחיל לחזור על עצמי. תחזור בבקשה שוב על הסיפור עם שלושת הפיזיקאים תגובה 588766 ותענה לי על השאלה הפשוטה ששאלתי בסוף ("האם האנטרופיה עלתה, ירדה נשארה קבועה או שהיא שונה עבור כל אחד משלושת הצופים?"). אין קשר, לא כמעט ולא בטיח, בין הידע שלך לבין הידע האפשרי שלך (או שלי, ובטח לא שלנו). יש לך אפשרות לדעת מי היה מלך ספרד ב-1703 או מה תאריך הלידה של בריטני ספירס, אבל עד שלא תלך לוויקיפדיה ותבדוק את מה התשובה1 אין לך את הידע הזה. ידע לא יכול להיות גודל פיזיקלי של מערכת שלא כוללת את המודד. 1 פליפה החמישי, והשני לדצבמר 1981. כמובן. |
|
|
|
|
|
|
||
|
||||
|
רק שניה, בוא נסגור את מה שדיברנו עליו קודם. אתה אמרת "מספר המצבים הזהים מאקרוסקופית כן קשור לכמות הידע שאפשר לאסוף על מצב המיקרוסקופי של המערכת". אני אמרתי "חוסר ידע: הידע שאפשר לאסוף פחות הידע שאספנו". האם עד כאן הכל בסדר? |
|
|
|
|
|
|
||
|
||||
|
למה אתה לא רוצה לענות לשאלה ששאלתי אותך? | |
|
|
|
|
|
||
|
||||
|
איזו שאלה, עם הפיזיקאים? היא נראהת לי יותר כמו בדיחה, ואם אתה מצפה לתשובה רצינית אז היא לא מוגדרת היטב, מבחינת הקשר בין המטבעות לאנטרופיה, לידע של הפיזיקאים ולעניות דעתי אין לה שום שום תרומה לנושא הכללי שאנחנו מדברים עליו. אני לא חושב שהיא נובעת מרצון להבין אלא מרצון להגחיך מה שאתה לא מבין. למה אתה לא עונה על שאלה ה"כן/לא" הפשוטה, שאצרף לטובתך כאן: "רק שניה, בוא נסגור את מה שדיברנו עליו קודם. אתה אמרת "מספר המצבים הזהים מאקרוסקופית כן קשור לכמות הידע שאפשר לאסוף על מצב המיקרוסקופי של המערכת". אני אמרתי "חוסר ידע: הידע שאפשר לאסוף פחות הידע שאספנו". האם עד כאן הכל בסדר?" |
|
|
|
|
|
|
||
|
||||
|
כן, אני מצפה לתשובה רצינית. אני רוצה להאמין שאם תנסה לענות ברצינות תבין את הבעיתיות שבהגדרה שלך ותנסח אותה מחדש. ולשאלתך: לא. חוסר ידע הוא הידע שאפשר לאסוף פחות הידע שאספנו ופחות הידע שלא ניתן לאסוף) אלא אם כן אתה טוען שאין ידע שלא ניתן לאסוף? (אני עדיין לא מבין מה זה שייך לשאלה שלי: איך יכול המודע של צופה על מערכת סגורה להשפיע על התכונות הפיזיקליות שלה?) |
|
|
|
|
|
|
||
|
||||
|
קיבלת את התשובה הרצינית... השאלה לא מוגדרת היטב ושום תשובה עליה לא תקדם את הדיון בינינו. "חוסר ידע הוא הידע שאפשר לאסוף פחות הידע שאספנו ופחות הידע שלא ניתן לאסוף" - מה זה בדיוק ידע שלא ניתן לאסוף? נניח שמדובר על מיכל עם חלקיקים של גז. האם אי אפשר לאסוף מידע על מיקומו ומהירותו של אטום מסויים? של כל האטומים? ומה אם כן היה אפשר? המודע של צופה יכול להשפיע על מערכת אם הוא עושה משהו עם הידע שלו. אם אתה מחפש דוגמא חמודה על מקרה שבו הידע המיקרוסקופי של הצופה משפיע על תכונות מאקרוסקופיות (ובלעדי הידע אין לו את היכולת להשפיע על תכונות מאקרוסקופיות), קרא על השדון של מקסוול. |
|
|
|
|
|
|
||
|
||||
|
אני חושב שהיא מוגדרת טוב למדי, אם יש פרטים נוספים שיעזרו לך, תשאל ואני אוסיף. ידע שלא ניתן לאסוף: למשל שמות כל החללים המלחמה הפונית השנייה (כולל תאריך ומקום לידה מדוייק). אם הוא עושה משהו על המערכת עם הידע שלו, אז בוודאי, אבל כאן המודע לא משחק תפקיד אלא המעשה (ז"א גם אם הוא היה שחקן ללא מודעות שפועל על המערכת הוא היה משפיע עליה באותו אופן, אני לא חושב שיש סיבה שלשדון של מקסוול, למשל, תהיהי מודעות). מצד שני, ועל זה שאלתי, אם הוא לא עושה שום דבר על המערכת עם הידע שלו, אז תסכים איתי שהוא לא יכול להשפיע על התכונות הפיזיקליות שלה? |
|
|
|
|
|
|
||
|
||||
|
מסכים בהחלט. | |
|
|
|
|
|
||
|
||||
|
יפה. עכשיו באנטרופיה של תורת האינפורמציה הידע שלך על המערכת, משפיע בהחלט על האנטרופיה, והוא למעשה הדבר היחיד שיכול להשפיע על האנטרופיה של מ"מ מסויים. כמו שכתבתי, האנטרופיה של הפרופסור יודע-הכל היא תמיד 0. השדון של מקסוול להבנתי המוגבלת, פותר פרדוקס שמאפשר לכאורה ליצור פרפטום מובילה אם יש לך ידע אינסופי על היקום, בכך שבשביל לאכסן ולשלוף את הידע הזה יש צורך באנרגיה. אני לא מבין מה הקשר בין זה לבין האנטרופיה של תורת האינפורמציה. |
|
|
|
|
|
|
||
|
||||
|
אתה גם האייל האלמוני? השדון של מקסוול הוא הפרדוקס, לא הפתרון. הקשר לתורת האינפורמציה הוא אחד הפתרונות לפרדוקס, קישרתי אליו בתגובה קודמת. |
|
|
|
|
|
|
||
|
||||
|
אני לא האייל האלמוני, אבל הוא עושה עבודה טובה לטעמי. (אם הוא מסכים, אשמח שגם הוא יפרסם את האימייל שלו עם המפתח הפומבי שלי, ואם הוא מסכים שוב, אעביר אותו אליך). כוונתי אכן לא היתה לשדון, אלא לפתרון של הפרדוקס שמופיע בויקיפדיה שמבוסס על עניין האינפורמציה כמו שציינת. (אני לא מבין גדול לא בפיסיקה ולא בשדונים). |
|
|
|
|
|
|
||
|
||||
|
אינפורמציה זה חלקיקים לא? | |
|
|
|
|
|
||
|
||||
|
אינפורמציה אפשר להעביר באמצעות חלקיקים, אבל היא קיימת גם בלי החלקיקים. אולי אם אין חלקיקים לא יהיה לך מח ולא תוכל להעביר אותה, אבל היא קיימת בלי קשר. | |
|
|
|
|
|
||
|
||||
|
אין לי שמץ של מושג בתחומים שבהם אתה ודאי דן, אבל שימוש במושג אינפורמציה - במובן שבו אינפורמציה קיימת גם כאשר לא מתקיים שום סוג של מעבר אינפורמציה, נשמע לי לא אמין. ולכן אתה טועה. אני מניח גם שהנימוקים הטובים ביותר ל""קיומה"" של אינפורמציה נובעים בדיוק מאותו החוק ה2 של'תרמודינמיקה. שגם הוא חסר טעם בלי מעבר של דברים. ומעבר של דברים מתרחש באופן חלקיקי מסוים, לפחות ע"פ גישה מסוימת. (גם אם החלקיקים הם חלקיקים-מדומינים או "גלים" וצ'ו), כפי שהנפש אין לה קיום אלא דרך הבשר. למח, למען האמת, ע"פ אותה הגישה, יש מעט מאוד קשר לנושא הזה של קיום או מעבר אינפורמציה, ולבטח פחות משקל מלשאר הדברים הכלולים בקבוצת הביולוגיה הפיזיקלית (חוץ ממח). |
|
|
|
|
|
|
||
|
||||
|
אני לא מסכים עם מה שאתה אומר. יש בהחלט טעם לדון במידע, בלי לדון על מעבר מידע. אני יכול להגיד לך בוודאות, שאם אתה יודע את סכום הקוביות הסיכוי שלך לנחש נכונה גבוה מהסיכוי שלך לנחש נכונה בלי לדעת את סכום הקוביות. זה נכון תמיד, בלי קשר לשאלה אם או איך המידע הזה עובר אליך, אם בכלל אפשרי להעביר אותו, וכדו'. זה כמו שתגיד לי ''אין משמעות לסכום של דברים בלי להסתכל על מספר דברים בעולם הפיסיקלי''. הצליחו לייצר לזה משמעות. |
|
|
|
|
|
|
||
|
||||
|
הדיון השני עוסק בכמה משמעות הצליחו לייצר בעזרת הגרעין הקשה של המדע. עד עכשיו, בשאלה -האם אפשר לתאר רצון או משמעות בכלי המדע הקשיח?- התשובה שניתנת שם בכל סיבוב היא- זה לא מתישב עם עקרון הסיבתיות ותהה זו רנדומלית למחצה או רופפת לגמרי. הדיון ההוא, הוא לא זה שעוסק באיפה בדיוק יושבת המתמטיקה, אלא שגם בנושא הזה לא זכור לי שהתורה הנושאת את דגל 'הסיבתיות הפשוטה' מספקת תשובות מהימנות. ובלי זה אין משמעות גם לשום ביטוי מתמטי מבחינה מדעית. איך דנים במידע בלי לדבר על העברת מידע? |
|
|
|
|
|
|
||
|
||||
|
אל תתן לו להגיד לך שהקופסא שמספר קופים לא ידוע בתוכה או מחוץ לה לא באמת קיימת, זה מה שהם תמיד אומרים. "העברת מידע" כוללת כמובן את גם הפחיתה שלו, תחת חסות החוק ה2, אז הוא עובר לעולם שכולו טוב, אני משער, בקצב פרופורציונלי לגדילת אופק האירועים או אירועים חסרי פוטנציל וחד כיווניים דומים. |
|
|
|
|
|
|
||
|
||||
|
לא הבנתי את הפסקה הראשונה. לא הבנתי בקשר למה אמרת את הפסקה השניה. בכל אופן, אם אפשר להניח בפיסיקה שאין חיכוך ויש לך מקור כח אינסופי מבחינת השאלה, למה אי אפשר להניח הנחות דומות כשעוסקים בשאלות של מידה, ולהתעלם מכך שצריך להעביר את המידע? למה אפשר להתייחס באינפי להרכבת ריבוע מריבועים הולכים וקטנים עד אינסוף, למרות שאם תחתוך ריבוע אמיתי עד הסוף תתקל באטומים שלא ניתנים לחלוקה (טוב, לא בדיוק הם, אבל תתקל בבעיה כלשהי)? |
|
|
|
|
|
|
||
|
||||
|
אני מעריך שעל מידע כזה (חסר חיכוך וכמותי) מדברים גם כשמזכירים חוסר ידע על (ב)מערכת וגם כשמזכירים אנטרופיה. אבל באמת, אני עשוי ללמוד משהו חדש על הקשר בין אנטרופיה לדברים אפילו מג'וד. | |
|
|
|
|
|
||
|
||||
|
אני באמת לא מבין מה שאמרת (מי זה ג'וד?). אתה יכול לנסות שוב? | |
|
|
|
|
|
||
|
||||
|
מי אתה ומה הקשר שלך אלי ולאנטרופיה? | |
|
|
|
|
|
||
|
||||
|
נדמה לי שהוא רומז בעדינות לדברים מסוג תגובה 582631, תגובה 582634 <חזירים שוביניסטים יכולים להכניס כאן בדיחות אבל לא לשלוח אותם, רק להיזכר בראש>. | |
|
|
|
|
|
||
|
||||
|
את צודקת, התבקש <קישור תגובה 582873 קישור> ואני כבשה באמת |
|
|
|
|
|
|
||
|
||||
|
מעניין, לא ידעתי שהיה אימפקט לתגובה הזאת כי לא היה לה הד, אך בשבילי היא היתה רגע מכונן. היא אמנם גולמית ומחוררת, אך הרגשתי שנגעתי בקצה זנבו של סוד היקום. מאז עשיתי קורס רענון בתרמו', וקראתי ברגש את הכתובת החרוטה על מצבתו של לודוויג בולצמן, פיסגת מחקריו ותמצית עבודת חייו, ביטוי לאצבע אלוהים ולחץ הזמן שכמעט לעולם אינו סב על עקביו – הביטוי הקומבינטורי של האנטרופיה. קראתי את הכתובת, ושטף הזדהות עבר בין בולצמן וביני, אחים אנו, שנינו הרגשנו אותו דבר... :-) |
|
|
|
|
|
|
||
|
||||
|
חץ הזמן "שכמעט" לעולם אינו סב על עקביו? למה הכוונה, אם זו אינה פליטת מקלדת. | |
|
|
|
|
|
||
|
||||
|
חץ הזמן הוא הכיוון בו גדלה האנטרופיה, אבל גידול האנטרופיה הוא תהליך סטטיסטי ויש לאנטרופיה גם סיכוי לקטון. ברגע זה ממש מתחת לאפינו האנטרופיה קטֵנה מעצמה באינספור פינות זעירות, ובאותן פינות מתהפך לרגע קט חץ הזמן. | |
|
|
|
|
|
||
|
||||
|
מה את אומרת, יתכן שאחרי שתפחת כמות הבחירה עם התפשטות הכתמים האפור ביקום, (תפחת אך לאו דוקא תאיט, יתכן כי כשהאופציות יהיו מוגבלות יותר מהירות עיבוד האינפורמציה תעלה), יופיעו חיים חדשים המפרקים עבודה? ויתירו את כל התוצרת של המנועים החלודים והמסובכים לכאורה שנשארו על החוף? אולי אחד החברה האלו יגלה ש T(-C^2) = E ויתוכח אם יש מקום לקואזו-בחירה בעולם לוגי של חלקיקי זמן |
|
|
|
|
|
|
||
|
||||
|
:-) סיי ווט? כתבת שיר לירי שאת רובו המוחלט לא הבנתי. מה חבל, דבר לא יתיר את התוצרת של המנועים החלודים שעל החוף, כי הסטטיסטיקה היא זו שמייצרת את האנטרופיה והסטט' אינה יכולה להתהפך. (כי אם קיים עולם שבו לאירוע נדיר יש סיכוי גבוה לקרות ולאירוע ודאי כמו קיום אותו עולם עצמו סיכוי אפסי לקרות, אותו עולם לא קיים.) דיסקליימר: אלנמב"י (אין לי נסיון מוכח בבניית יקומים) |
|
|
|
|
|
|
||
|
||||
|
לצורך העניין, האם אתה מתבסס על משמעות כלשהי המשויכת למילה אינפורמציה בפיסיקה? סטיסטיקה היא תחום שמשתמש בטריק ה-'נגיד שידוע X', נראה לי שהקשר של התחום הזה למתמטיקה (הלא שימושית עלק) לא ידוע. אין סימן מתמטי ל'נגיד ש-'. |
|
|
|
|
|
|
||
|
||||
|
ובקשר לפסקה הראשונה - אז מה? פעם הגדרנו את האנטרופיה ביחס לחלקיקים, ופעם ביחס לביטים. ההבדלים בין הביטים לחלקיקים הם בעיקר: 1. יש הרבה פחות ביטים מחלקיקים במערכת מעניינת. 2. קל מאוד לבצע מדידות ומניפולציות מיקרוסקופיות על ביטים (קוראים או כותבים ביט), והמצב של הביט משתנה אקראית לאחר הקריאה, אם בכלל, תחת חוקים פשוטים יותר. עדיין ניתן לדבר על אנטרופיה בשני ההקשרים הללו. |
|
|
|
|
|
|
||
|
||||
|
אני מבין איך תגדיר אנטרופיה על *המצב* של חלקיקים. כלומר האנטרופיה על מיקום החלקיקים (מרחב המדגם הוא כל המיקומים האפשריים של החלקיקים, מהי האנטרופיה של מיקומי החלקיקים בהנתן שאנו יודעים את מיקומו של החלקיק הראשון). זו שאלה ראויה לתורת האינפורמציה. מה שלא הגיוני בעיני הוא משפט כמו "סך האנטרופיה במערכת סגורה לא יכול לקטון". סך האנטרופיה הוא תמיד יחסית לידע שלך על החלקיקים. הוא קוטן או גודל יחסית למשהו, אין לאנטרופיה האינפורמטית קשר לזמן. |
|
|
|
|
|
|
||
|
||||
|
החוק השני של התרמודינמיקה (אליו אתה מתייחס במשפט השני) לא מגדיר את האנטרופיה, הוא משתמש באנטרופיה. במערכות פיזיקליות עם אנטרופיה פיזיקלית הוא תמיד רלוונטי, אבל יש סיטואציות (בתורת האינפורמציה קל למצוא כאלה) שבהן הוא לא רלוונטי. אם היית מכניס למערכת שלך משהו שמשפיע אקראית על הביטים עם תלות בזמן (נניח, הסתברות מסויימת לביט להתהפך במהלך שנייה), גם לזמן היה קשר לאנטרופיה של המערכת. עם קצת זהירות ועוד כמה הגדרות יש להניח שיהיה גם אפשר להגדיר חוק דומה לחוק השני במערכת כזו. |
|
|
|
|
|
|
||
|
||||
|
אני לא חושב שיש לאנטרופיה האינפורמטיבית התייחסות לשינוי בביטים. הביטים לעולם לא משתנים. יש להם התפלגות מסויימת אפריורית, ולכן אנטרופיה קבועה אפריורית. לא מעניין מה קרה להם בפועל. האנטרופיה יכולה להשתנות בהנתן ידע מסויים על המערכת (ושוב, לא משנה מה קרה בפועל). אם אני יודע את הערך של הביט הראשון1 אז האנטרופיה הכוללת קטנה (בכמה? תלוי במרחב המדגם). 1 (אגב, אנטרופיה לא מחייבת ביטים או בסיס בינארי, אבל לא משנה.) |
|
|
|
|
|
|
||
|
||||
|
אתה: החוק השני של התרמודינמיקה לא רלוונטי לאנטרופיה אינפורמטיבית, כי אין לאנטרופיה האינפורמטית קשר לזמן (ולכן, במשתמע, היא "לא כמו" אנטרופיה פיזיקלית - אם אני מבין נכון את מה שאתה טוען. תקן אותי אם אני טועה). אני: אם אין זמן אן זה באמת לא רלוונטי.. אבל ניתן לחשוב על הכללה מסויימת שיש בה זמן ושבה יהיה משהו דומה לחוק השני של התרמודינמיקה גם לאנטרופיה אינפורמטיבית. אתה: אבל ההרחבה לא מעניינת/שימושית/מוכרת לי. אני: לא טענתי שהיא מעניינת, שימושית או מוכרת (אם כי ייתכן שיש שימושים ידועים לחישובי אנטרופיה של "רעש" שנוצר עם הזמן). רק טענתי שהעובדה שהחוק השני של התרמודינמיקה לא תקף לאנטרופיה אינפורמטיבית, לא משנה דבר לגבי הקשר שלה לאנטרופיה פיזיקלית. |
|
|
|
|
|
|
||
|
||||
|
אנא אל תכניס לי מילים לפה. לא אמרתי שההרחבה לא מעניינת או שימושית. אמרתי שלפי התיאור שלך, ההרחבה לא עובדת בתורת האינפורמציה. אנסה שוב. אנטרופיה אינפורמטית לא משתנה בזמן, ולא משתנה בכלל. בשביל לדבר על אנטרופיה, אתה צריך מרחב מדגם עם התפלגות, ועליו אתה יכול לשאול מה האנטרופיה בהינתן פיסת מידע מסויימת. מה שאמרת לא מתמפה לי לאנטרופיה אינפורמטית. עכשיו תסביר שוב בבקשה. מרחב המדגם שלך הוא מיקומי האטומים - עד כאן בסדר. מכאן לא הבנתי מה קורה. זה נראה כאילו אתה ממפה מידע לזמן, והאנטרופיה בזמן מסויים היא האנטרופיה של המערכת בהנתן המידע הזה. אבל לא ברור לי מהו המיפוי בין נקודת זמן למידע על המערכת. |
|
|
|
|
|
|
||
|
||||
|
אני מתנצל על התגובה הקודמת. אני גם מתחרט על ההכללה עם הזמן שנתתי. המחשה להכללה יכולה להיות למשל מודל מרקובי, שבו בכל צעד כל ביט יכול להחליף את ערכו. המיפוי לזמן הוא של האנטרופיה של המערכת בכל צעד על המודל המרקובי. אני מאמין שהאנטרופיה לא יכולה לקטון במערכת כזו, ואם מתחילים מאפס (כלומר ממצב ידוע) היא תגדל. אני מתחרט כי היה עדיף פשוט לשאול ישירות למה אתה חותר - מה הבעיה בזה שהאנטרופיה כקונספט נוכחת במודל שהזמן לא משחק בו תפקיד? |
|
|
|
|
|
|
||
|
||||
|
אין בעיה, אני פשוט לא הבנתי (ועדיין לא מבין), איך המודל עובד. זה יכול להיות אפילו הגיוני, או נוכחות מתבקשת, אבל עד עכשיו לא הבנתי איך האנטרופיה האינפורמטית נכנסת למודל. אני ממשיך. מודל מרקובי של מיקומי האטומים, מתאר את התפלגות האטומים כפונקציה של הזמן. נפלא - זהו מרחב המדגם. עכשיו נותר לי להבין מהו המשתנה המקרי שאת האנטרופיה שלו אנחנו מודדים. המיקום של האטומים באיזו נקודת זמן? אני משער שמה שאתה מתכוון הוא, אנחנו מודדים את האנטרופיה של מיקום האטומים בנקודת זמן רחוקה, וככל שאנחנו מתקרבים לנקודה זו, האנטרופיה קוטנת, כי אנחנו יודעים מה קרה כמעט רגע לפני הצעד האחרון. זו נשמעת הקבלה הגיונית. אם האנטרופיה האינפורמטית שווה לאנטרופיה הפיסיקלית של המודל - אז זה באמת קשר מעניין. אגב, אתה נשמע איש מעניין, תוכל בבקשה להצפין אימייל שניתן ליצור איתך בו קשר בהודעה הבאה באתר הזה עם המפתח המצ"ב? כאן אפשר לעשות זאת אונליין (תעתיק את המפתח הפומבי לתיבת הטקסט העליונה, והאימייל לתחתונה. תעתיק רק את הטקסט האתר לפעמים מוסיף תוים מוזרים אחרי ההודעה המוצפנת). -----BEGIN PGP PUBLIC KEY BLOCK----- האימייל שלי מוצפן לדוגמאVersion: BCPG C# v1.6.1.0 mI0ETuZhIAEEAKxZbR634JKCA/Z4XZCVmWfbbVBLeKmZlgO3TnAdXG/O2HMwV5IG 5uBAZZEd4KtqZijERpXRs59oLVILcN7Bp0mPxXNU5teffOM0BevPow3v6ook6Oa+ WrRDPGCsHOUTPIyhi725eTYb4fP72JcXaSI+G6IARaDtQs9w7XvX8W3xABEBAAG0 AIicBBABAgAGBQJO5mEgAAoJEO3NGVlCgdAgd5AD/R5nyWdi7dUs23H4TEyKpkQl iMod8g3GxdbME7dvL4EL5jsLw5FQskuggJ/cVgnWLrA2OyoL8hIHlXBB+HFkI2jY AZfZeYCV186P66FHSTneos4PrL49SKUVeHtvUryAKqe7OkizIThAG7Vo4DDTgRzu lPVWEs1f7zMmvQ2RlHGK =X1gz -----END PGP PUBLIC KEY BLOCK----- -----BEGIN PGP MESSAGE-----
Version: BCPG C# v1.6.1.0 hIwD7c0ZWUKB0CABBACCSq8JpBa3W/vsaPB3eIcxgl17XtwOG/kyewB6LDwkL7Wf qH+6apVpyiwdOEnvBxx/UpkUooOTSoTsIFlq4IFp/GLYLmeeCniqpIrpY7XQW1qu cn2JehEDuWRmAIC26r5ZRvXYFgw+BPTkykfLGUEN9Zhyh6RLTAFPKiEtlftGMMkv Yy2fOfnOY3HmzryLrv9j/RnMiGH0EuO32zLg/90fme/y7XfYqh4ATYfZW3NFfeM= =MKDT -----END PGP MESSAGE----- |
|
|
|
|
|
|
||
|
||||
|
לא, זה הרבה יותר פשוט. יש לך סדרה של ביטים (אם אתה מעדיף, סדרה של נתונים כלשהם על אטומים, אבל אני אשתמש בביטים לטובת הפשטות. זה לא משנה לצורך הדוגמא - הרי זה יעבוד על כל מה שאפשר לייצג בביטים). כל אחד מהביטים "מחובר" למודל מרקובי משלו. מודל מרקובי, על רגל אחת, זה פחות או יותר אוטומט שמגדיר הסתברות למעבר בין הצמתים שלו. (עם כמה דרישות והוראות הפעלה). זה יכול להיות משהו מאוד פשוט. למשל, שני צמתים, כל אחד עם הקשתות "להשאר באותו צומת - 99%, לעבור לצומת השני - 1%". נניח שהצומת הימני מסומן "1" והצומת השמאלי "0". בכל צעד זזים בין צמתי האוטומט לפי הסטטיסטיקה של המודל המרקובי, ומשנים בהתאם את מצב הביט. אם התחלנו עם ידע כלשהו על המערכת (כלומר סדרת הביטים והאוטומטים לעיל), אפשר להעריך כמה ידע יש לנו אחרי כל צעד, או במילים אחרות להעריך את האנטרופיה של המערכת בזמנים שונים. בדוגמא הזאת האנטרופיה כל הזמן גדלה, עד שאין שום הבדל בין הסדרה המקורית לסדרה אקראית. _____ אפשר לתאר ע"י מודל מרקובי גם דברים הרבה יותר מסובכים, לא בינאריים ולמיטב ידיעתי גם רציפים (אם כי אני לא בטוח שזה עדיין נקרא מודל מרקובי). הכל שאלה של איך נראה הגרף של המודל המרקובי ומה המצבים שלו מייצגים. -----BEGIN PGP MESSAGE-----
Version: BCPG C# v1.6.1.0 hIwD7c0ZWUKB0CABBAClfS/bzlgFq/ngO3lj61Hy4HT3BmL4F4bnFuFncfAGDN3E KsHRfqceqFI1dETRTPou5H3Kn8PsiQy3vzDGSn457ePCR/hOHl8ToaOd0nPX9bL0 I+BkD0JW2CpAitrRu3NWsljP5alAH1teSmHgOgXxVR5Y2PtXRY1okJQ9iatJZck1 kDXT4wZj835vgQGISe1x7hzo1g2ah9h8KZ7dlvidMUTtOgvYkZuvqaKDBCL91w6D R4Ibx1U= =KNIa -----END PGP MESSAGE----- |
|
|
|
|
|
|
||
|
||||
|
אני מכיר מודל מרקובי. אבל אני שואל מה האנטרופיה מודדת? את המצב של המודל המרקובי מתי? באיזה צעד? הרי בכל צעד יהיו לו ערכים אחרים. אולי אתה מתכוון שהאנטרופיה מודדת את מצב הביטים בכל שלב, מעכשיו עד אינסוף בהרצה מסויימת? |
|
|
|
|
|
|
||
|
||||
|
"אולי אתה מתכוון שהאנטרופיה מודדת את מצב הביטים בכל שלב, מעכשיו עד אינסוף בהרצה מסויימת?" - כן. | |
|
|
|
|
|
||
|
||||
|
המממ. אם ככה האנטרופיה אינסופית, ולא נראה לי שהיא משתנה גם בהנתן ידע על כמות סופית של צעדים שקרו. | |
|
|
|
|
|
||
|
||||
|
למה אין סופית? אם מדובר בסדרת ביטים באורך 1, כלומר בביט יחיד שמצבו ידוע, הרי שהאנטרופיה הראשונית היא 0 והמקסימלית שאפשר להגיע אליה, גם אחרי אינסוף צעדים במודל, היא 1. |
|
|
|
|
|
|
||
|
||||
|
נזכיר שהמשתנה המקרי שאת האנטרופיה שלו אנחנו בודקים מקבל את מצב הסיבית בכל נקודת זמן, או במילים אחרות, באינסוף נקודות זמן. האנטרופיה על מצב הסיבית בכל נקודות הזמן הוא סכום לוג של מספר המצבים (נניח כרגע שכולם שווי הסתברות, זה יצא אינסוף בכל אופן). כיוון שמספר המצבים בכל נקודות הזמן הוא אינסופי (כי יש אינסוף נקודות זמן), לוג של אינסוף גם הוא אינסוף. האנטרופיה בנקודת זמן 0 (בה אנחנו לא יודעים כלום על מצבי האטום בשום נקודת זמן) היא אינסוף. וידיעה של מצב הסיבית במספר סופי של נקודות זמן לא עוזר לך כל כך הרבה. |
|
|
|
|
|
|
||
|
||||
|
למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן? כל הסיפור כאן הוא אנלוגיה לאנטרופיה פיזיקלית, ושם האנטרופיה משתנה עם הזמן אבל מחושבת לכל זמן בנפרד. החוק השני משווה בין שתי אנטרופיות בזמנים שונים. |
|
|
|
|
|
|
||
|
||||
|
למה המשתנה המקרי מקבל את מצב הסיבית ביותר מנקודה אחת בזמן? לא יודע, חשבתי שאתה רוצה לעשות כך את האנלוגיה. תסביר לי אתה איך אתה מגדיר את המשתנה המקרי כך שהאנטרופיות הפיסיקלית והמידעית יהיו זהות. זה מה שאני מנסה להבין. כל הסיפור כאן הוא וכו'. אני מבין שזו המטרה, אבל אני עדיין לא מבין את ההקבלה, ואשמח אם תעזור לי להבין. הבסיס הוא, שאנטרופיה מידעית אפשר לחשב רק למשתנה מקרי מסויים. אין משמעות לאנטרופיה בלי משתנה מקרי, אז אתה חייב להסביר לי מהו המשתנה המקרי. אפשר גם לחשב אנטרופיה על משתנה מקרי בהנתן מידע כלשהו. עכשיו אנא הסבר לי, מהי האנטרופיה המידעית המקבילה לאנטרופיה הפיסיקלית אחרי n צעדים של שרשרת מרקוב. על איזה משתנה מקרי היא רצה? אני מנסה שוב לנחש, תגיד לי אם צדקתי: אתה מחשב אנטרופיה ל-n משתנים מקריים. המשתנה המקרי ה-n הוא מצב הסיבית אחרי n צעדים בשרשרת מרקוב. ואתה טוען, שהאנטרופיה של מצב הסיבית ה-n שואפת ל-0 ככל ש-n שואף לאינסוף. האם אני צודק? ברור (עם הנחות מקלות) שאם אני יודע את המצב של הסיבית בזמן n-1 אז האנטרופיה של מצב הסיבית בזמן n שווה לאנטרופיה של מצב הסיבית בזמן 0 (כי אני יודע את המצב ההתחלתי). האנטרופיה המקסימלית של סיבית היא לוג ½. |
|
|
|
|
|
|
||
|
||||
|
אני מחשב את האנטרופיה ל n משתנים מקריים - מצב n הסיביות הנוכחי. החישוב נעשה מחדש לאחר כל צעד במודל מרקוב. כלומר, לפני הצעד הראשון האנטרופיה היא 0 לכל אחת מהסיביות ובכל צעד היא גדלה. האנטרופיה של כל אחת מהסיביות שואפת ל 1 ככל ש n שואף לאינסוף. |
|
|
|
|
|
|
||
|
||||
|
למה הכוונה "מצב n הסיביות הנוכחי"? אין הגיון בלחשב מחדש אנטרופיה. האנטרופיה קבועה למ"מ מקרי מסויים. יש לנו כאן בעיה בטרמינולוגיה. אתה לא מדבר כמו שאני מכיר שמדברים בתורת האינפורמציה. נתחיל שוב במודל פשוט. שרשרת מרקוב של "הילוך השיכור בין שני עמודי חשמל". השיכור מתחיל מנקודה 0, בהסתברות של 50% הוא ילך לנקודה 1, ובהסתברות של 50% הוא יישאר במקום. נסמן ב-X_i את מצב השיכור אחרי i צעדים. מהם המשתנים המקריים שאתה רוצה לחשב את האנטרופיה שלהם? דוגמאות: אני רוצה לחשב את האנטרופיה של X_i עבור כל i, ואני רוצה לדעת מהי האנטרופיה של X_i כש-i שואף לאינסוף. במקרה הזה מובטח לך שהאנטרופיה היא בין 0 ללוג של חצי, כי ל-X_i יש רק שני אפשרויות. אני רוצה לחשב את האנטרופיה של המשתנה המקרי Z=X_1,...,X_n כלומר, את תוצאת שרשרת המרקוב מהתוצאה הראשונה, עד התוצאה ה-n. במקרה הזה די ברור שהאנטרופיה שואפת לאינסוף. כי באינסוף יש למ"מ אינסוף אפשרויות. |
|
|
|
|
|
|
||
|
||||
|
הדוגמא הראשונה שלך היא בדיוק מה שאני מתכוון אליו. ואתה צודק, זה 1/2 ולא 1. המודל של ההילוך שיכור טיפה בעייתי כי ההסתברות שלו להחליף מצב גדולה מדי, תעשה שינוי קטן ותחליף את הסיכוי למעבר ל 1%. עכשיו אתה יכול לחשב את האנטרופיה של המערכת אחרי כל צעד, ולראות שהיא גדלה כל הזמן ושואפת לחצי. |
|
|
|
|
|
|
||
|
||||
|
סליחה על העילגות המתמטית, חסר שם לוג בכל מיני מקומות. אני לא בפוזיציה להציע לאנשים לחשב, לוקח את ההצעה בחזרה. בכל מקרה קל לראות שהאנטרופיה תתחיל ב 0 (לוג של 1) ותגדל בכל צעד. הבעיה בהסתברות 50% להילוך השיכור היא שהיא מביאה אותך ישר ללוג של שתיים, ואין לה כבר לאן לשאוף אחרי זה. |
|
|
|
|
|
|
||
|
||||
|
זה נכון במקרה שלך, אבל זה תלוי מאד בשרשרת. אני לא יודע אם אתה מכיר, אבל אדם שיכור חוזר הביתה (=אנטרופיה סופית), וציפורת שיכורה עפה לה (=אנטרופיה אינסופית כשמס' הצעדים שואף לאינסוף). זה נראה נכון שהאנטרופיה לעולם לא תרד אחרי מס' כלשהו של צעדים. אני אנסה להוכיח את זה. עכשיו מה ההקבלה לאנטרופיה פיסיקלית? |
|
|
|
|
|
|
||
|
||||
|
אנטרופיה פיזיקלית זה בדיוק אותו דבר רק עם (הרבה) יותר מביט אחד ועם זמן רציף*. * או לא רציף. תלוי את מי שואלים. לי אין דעה בנושא :) ** אגב, אפשר כמובן למדל במחשב תהליך פיזיקלי שהחוק השני תקף בו, ולחשב את האנטרופיה בזמנים שונים של התהליך. לא יפתיע אותי אם למידול החוקים הפיזיקליים והאנטרופיה משתמשים במודל דומה למה שתואר למעלה. אם כן, אולי מעניין למדוד את האנטרופיה של מודל ממוחשב כזה, ברמת הביטים שמייצגים אותו... |
|
|
|
|
|
|
||
|
||||
|
יפה. האם אתה מסכים איתי שלשני צופים (שלא פועלים) שונים בלתי תלויים יכול להיות מידע שונה על אותה מערכת סגורה? | |
|
|
|
|
|
||
|
||||
|
ברור. אתה מתכוון להעביר אותי מסע לוגי שבסופו אכתוב "האנטרופיה לא מכמתת חוסר ידע"? 1. כבר ראינו שאם כל המדידות הן מאקרוסקופיות, אז המשפט "האנטרופיה מודדת חוסר ידע" תקף. 2. אם יש ידע על המצב המיקרוסקופי של המערכת, אפשר לנצל אותו להקטנת האנטרופיה ע"י פעולות מיקרוסקופיות מסויימות, *ובהעדרו אי אפשר לעשות זאת*. 3. באנטרופיות מסוגים אחרים (כמו בדיון המקביל) מכמתים את האנטרופיה בדיוק ע"י כימות חוסר הידע. מבחינתי הנקודות האלה מצדיקות את המשפט "האנטרופיה מכמתת חוסר ידע". אם לא היו לי סטנדרטים אסתטיים הייתי מוכן להתפשר על "האנטרופיה מכמתת חוסר ידע על המצבים השונים מיקרוסקופית של המערכת + ידע עליהם אשר לא נעשה בו שימוש, וקיימת התחייבות בכתב ובעל פה לא לעשות בו שימוש מאוחר יותר, גם אם הוא עדיין יהיה רלוונטי". |
|
|
|
|
|
|
||
|
||||
|
איפה ראינו את זה? מה שאני ראיתי, ושבסוף המסע הלוגי אולי גם אתה תראה (או שתראה לי איפה אני טועה), זה שהאנטרופיה לא מכמתת חוסר ידע (היא, אולי, מכמתת פוטנציאל של חוסר ידע). לא מאקרוסקופי ולא מיקרוסקופי. ואם זה עדיין לא ברור, בו נמשיך במסע (שלב ביניים שנוסף בגלל סעיף אחד כאן למעלה): האם אתה מסכים איתי שלשני צופים (שלא פועלים) שונים בלתי תלויים יכול להיות מידע מאקרוסקופי שונה על אותה מערכת סגורה? אם כן, האם תסכים איתי שיכול להיות מצב בו אחד מהצופים (שכזכור, לא פועלים על המערכת) יכול לפעול על מנת להשיג עוד ידע מאקרוסקופי על המערכת בלי לשנות את התכונות הפיזיקליות שלה ובלי שחברו הבלתי תלוי ירכוש את אותו ידע? |
|
|
|
|
|
|
||
|
||||
|
אוקיי, אז תחליף את 1. ל "כבר ראינו שאם כל המדידות הן מאקרוסקופיות, אז המשפט "האנטרופיה מכמתת פוטנציאל חוסר ידע" תקף." שאר התגובה עומדת בעינה. את מה שכתבת בשורה השניה והשלישית אני לא מבין. לשני צופים יש ידע מאקרוסקופי שונה? זה קצת נון-סנס, בטח לא רלוונטי לשאלה פיזיקלית. למערכת יש מצב יחיד. זה כמו לשאול "האם יכול להיות שלאחד משני אנשים יהיה מדחום מקולקל?". שאלה - יש לך אולי ניסוח נחמד לקשר בין חוסר ידע לאנטרופיה, בהתחשב בזה שראינו אותו מופיע כבר כמה פעמים בדיון הזה, למשל בשלוש הנקודות מתגובתי הקודמת (לאחר התיקון ותודה)? |
|
|
|
|
|
|
||
|
||||
|
בוודאי לשלני צופים יכול להיות ידע שונה, אחד יכול להסתכל על המדחום (ולכן לדעת את הטמפרטורה של המערכת) והשני יכול להסתכל על המאזניים (ולכן לדעת את המשקל של המערכת). | |
|
|
| חזרה לעמוד הראשי |  |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |