בתשובה לרון פרסלר, 23/09/11 4:43
 |
|
 |
||
|
||||
 |
שלום רון - קודם כל ברוך הבא. אני שמח שהשתלבת בדיון, ושתדע לך שאני קורא בשקיקה ובאופן קבוע את הטור החדש שלך. לגופו של עניין: עדיין יש ביננו מחלוקת, אני חושב, או לפחות אי-הבנה. אני לא רואה איך אפשר ליישב את המשפט שלך "לא כתבתי שמובהקות של 95% אומרת ש-5% מהמאמרים שגויים" (מהתגובה כאן מעלי) עם הציטוט מהכתבה "אם הסיכוי הזה גבוה מ-95%, הסף המקובל באקדמיה, התוצאות נחשבות מובהקות. כבר מראש, הסף הזה מניח ש-5% מהמחקרים שמתפרסמים, אינם נכונים." בנוסף, לא ניסיתי "להשתמש בנוסחת בייז ולאמוד את ההסתברות האפריורית של השערת האפס" (בשום מובן שאני יכול לייחס למשפט הזה). אבל בוא ניקח דוגמא מספרית. נניח שב-20 אחוז מהמחקרים שנערכים השערת האפס נכונה, וביתר ה-80 אחוז ההשערה האלטרנטיבית. עוד נניח שכדי שייצא ממחקר מאמר, צריך לדחות את השערת האפס במובהקות של 0.05 (המחקרים עם התוצאות הלא מובהקות נגנזים), ושהעוצמה של כל המבחנים היא מאד גבוהה, נאמר 0.99 (בגלל שהמדגמים גדולים, או שהאפקטים חזקים וכו'). אז בממוצע, מתוך כל 100 מחקרים, יתפרסמו 80.2 מאמרים: מאמר אחד שגוי שבו השערת האפס נכונה, ו-79.2 מאמרים נכונים שבהם ההשערה האלטרנטיבית נכונה. אחוז המחקרים השגויים מבין המחקרים המתפרסמים, אם כך, הוא 1:80.2, שזה בערך אחוז ורבע, כלומר די רחוק מ-5 אחוז. ברור שאפשר לשחק עם הפרמטרים ולקבל גם מספר גבוה יותר מ-5 אחוז, אבל אני חושב שהמחשתי כאן את הבעיה עם המשפט "כבר מראש, הסף הזה מניח ש-5% מהמחקרים שמתפרסמים, אינם נכונים." לגבי פירוש "עממי" למושג המובהקות, לטעמי אפשרות לא רעה היא "מדד לחוזק הראיות התומכות במסקנות המחקר". אין ספק שצריך ניסוח מובן להדיוטות שלא בקיאים במונחים כגון "השערת האפס", אבל הניסוח שהופיע בטור ב"הארץ" ("הסיכוי שתוצאות המחקר משקפות נכון את המציאות ואינן מקריות") הוא לטעמי, עדיין, פשוט שגוי. |
 |
 |
 |
|
|
|
||
|
||||
|
צודק, המשפט בנוגע ל-5% אכן שגוי, אבל לא בדיוק מהסיבה שציינת פשוט כי התכוונתי למשהו אחר. ראשית, השאלה היא "איזה חלק מהמחקרים שגויים?" אם נקרא למאורע השערת האפס H0 ולמאורע קבלת הנתונים D, אזי ערך ה-p שווה ל (P(D|H0 כלומר ההסתברות לקבלת הנתונים שנאספו בהינתן שהשערת האפס נכונה. כדי לדעת כמה מחקרים שגויים, אנחנו צריכים לחשב את (P(H0|D, כלומר ההסתברות להשערת האפס בהינתן הנתונים. על פי נוסחת בייז: P(H0|D) = P(H0)*P(D|H0)/P(D) = P(H0)*p/(P(H0)*p + (1 - P(H0))*P(D|H1)) כאשר H1 הוא ההשערה הנבדקת, או המשלים ל-H0. עכשיו (P(D|H1 הוא לא פשוט לחישוב (ואני חושב שהוא גם לא המשלים ל p) אבל נניח שניתן לאמוד אותו. עדיין, כדי לדעת את הסיכוי לשגיאה, ואפילו את היחס בין הסיכוי לנכונות הטענה לפני ואחרי המחקר, אנחנו צריכים הערכה של ההסתברות האפריורית: (P(H0 (או (P(H1). לכן כמות השגיאות מושפעת מאוד מאותה הסתברות אפריורית. זהו הבסיס לטיעונים של יונידיס, והוא העריך את הסיכויים בתחומים שונים ברפואה : http://www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/... מסקנותיו, שגובו בבדיקה אמפירית שערך, הן שכ-80% מהמאמרים ברפואה ובין שליש ל-40% מהמאמרים המפורסמים בכתבי העת היוקרתיים ביותר ברפואה שגויים או מופרזים. זה היה עיקרו של הטור.מה שהתכוונתי באותו משפט אומלל ושגוי על 5% הוא לא על הערכת הנכונות של המאמרים מול העובדות אלא על המאמרים מנקודת מבטם של עורכי כתבי העת שבחרו בסף השרירותי של p. לא ערכתי חישוב, והאינטואיציה שלי נפגמה בשנים הרבות שחלפו מאז עשיתי את התואר וחצי שלי במתמטיקה, אבל היה נדמה לי (מבלי שהשקעתי בכך מחשבה מרובה) שבהיעדר כל מידע על (P(H0 או על (P(D, ההערכה של העורכים היתה שכ-5% מהמחקרים יהיו שגויים, ולכן כתבתי שהם ויתרו מראש על 5%. כמובן שזה משולל יסוד כי בהיעדר כל מידע על הסתברות או מרחב המדגם אין משמעות לנסיון להעריך אותה. מה שכן, הדוגמה על אחד מכל עשרים מאכלים שיימצא כמסרטן באופן מובהק סטטיסטית עדיין נכונה. עכשיו הכל בסדר, או שעדיין אני טועה? :) אגב, אני שמח לדעת שאנשים נהנים מפינת ה"ממצאים". לצערי, אני לא יכול לקחת קרדיט על המצאת הקונצפט שנגנב בחוסר בושה מהמגזין האמריקאי האהוב עלי, Harper's. |
|
|
|
|
|
|
||
|
||||
|
קראתי עכשיו ברפרוף חלקים מהמאמר של יונידיס. מעניין מאד, וגם עצוב מאד. תודה על הלינק. אני נזהר שלא להיכנס לענייני הסקה בייסיאנית כאן (ידעת על התהום שפעורה בין סטטיסטיקאים "רגילים" לסטטיסטיקאים בייסיאניים?), אז בוא נעזוב את חישוב ההסתברות של נכונות השערת האפס :-) ולגבי עשרים המאכלים והסרטן - אני מסכים אתך לחלוטין שאם המחקרים ייעשו על-ידי עשרים חוקרים בלתי-תלויים שלא מודעים אחד לעבודת האחר, אז באמת נקבל (בממוצע) שאחד מהמאכלים יימצא כמסרטן באופן מובהק. מה שעצוב יותר זה שכפי הנראה רק המאמר (השגוי) הזה יתפרסם, וזה בדיוק אפקט המגרה שהזכרתי במאמר. מצד שני, אם חוקר יחיד יבדוק את עשרים המאכלים, והוא חוקר אחראי, אז הוא ישתמש באחת מהשיטות הקיימות להקטנת ההסתברות לגילוי שגוי (בד"כ תיקון בונפרוני או False discovery rate [Wikipedia]). |
|
|
|
|
|
|
||
|
||||
|
הנה הבדיקה האמפירית שיונידיס עשה על מחקרים "יוקרתיים" (הוא ספר כמה מחקרים שכאלו הופרכו או התגלו כמופרזים): http://jama.ama-assn.org/content/294/2/218.full.pdf+... לא ידעתי על התהום הפעורה, אבל אשמח לדעת. שוב, למדתי מתמטיקה, לא סטטיסטיקה, ושם מתמקדים בעיקר בהסתברויות רציפות ולא דיסקרטיות, וגם זה היה כבר לפני לא מעט שנים. בכל אופן אשמח לדעת איך סטטיסטיקאים "רגילים" אומדים נכונות השערה. כלומר איך עוברים מ- (P(D|H0 ל- (P(H0|D ללא בייז. מכיוון שלסטטיסטיקה יש כל-כך הרבה השפעה על מה שאנחנו חושבים שאנחנו יודעים כיום, חשוב לי להבין. |
|
|
|
|
|
|
||
|
||||
|
מתנצל על העיכוב בתגובה. סטטיסטיקאים "רגילים"1 בכלל לא מנסים לאמוד הסתברויות כמו (P(H0|D כי עבורם הנכונות של השערת האפס היא לא מאורע שמשייכים לו הסתברות. ניסיתי לכתוב משהו על ההבדלים שבבסיס בין שתי ההשקפות, אבל לא יצא לי משהו מוצלח, אולי בגלל שאני לא מתעסק באופן קבוע בסטטיסטיקה בייסיאנית. אני כן יכול להגיד שהרוב המוחלט (להערכתי הרבה מעל 90%) של הניתוחים הסטטיסטיים שנעשים כיום בפועל - כלומר במסגרת יישום של סטטיסטיקה ברפואה, הנדסה, כלכלה וכו' - הם לא בייסיאניים, אבל דומני שהחלק הבייסיאני הולך וגדל. לגבי ה"תהום" - קולגה שלי סיפר לי לא מזמן איך פעם בכנס, חוקר חשוב התחיל את ההרצאה שלו במילים "I have converted to Bayesianism", והפך לשיחת היום. בשיטוטיי ברשת לצורך כתיבת התגובה הזו נתקלתי בשני קישורים מוצלחים. הראשון הוא פוסט בבלוג של פרופסור ב-NYU, שמדגים איך שאלה מאד פשוטה2 מקבלת שתי תשובות הפוכות כשמנתחים אותה בכלים סטטיסטיים "רגילים" ובבייסיאניים. השני הוא המאמר Modern Science and the Bayesian-Frequentist Controversy של בראד אפרון מסטנפורד, שסוקר ממעוף ציפור מגביהת-טוס, ובשפה יפהפיה, את המקום של הסטטסיטיקה במדע. למרות הכותרת, אין במאמר הרבה תוכן "קשה" על ההבדלים שבין שתי הגישות, אבל הייתי ממליץ לכל מי שמתעניין בסטטיסטיקה לקרוא אותו (זה מאמר קצר ומאד נגיש). ציטוט יפה: Using Bayes rule doesn’t make one a Bayesian. Always using Bayes rule does. ועוד ציטוט שאהבתי מתוכו, שלא קשור למחלוקת הנ"ל:A cartoon history of western thought might recognize three eras: an unpredictable pre-scientific world ruled by willful gods and magic; the precise clockwork universe of Newton and Laplace; and the modern scientific perspective of an understandable world, but one where predictability is tempered by a heavy dose of randomness. Deterministic Newtonian science is majestic, and the basis of modern science too, but a few hundred years of it pretty much exhausted nature’s storehouse of precisely predictable events. Subjects like biology, medicine, and economics require a more flexible scientific world view, the kind we statisticians are trained to understand. 1. באנגלית קוראים להם frequentists, כדי להבדיל אותם מהבייסיאניים, אבל "תדירותניים" מצלצל לי לא משהו.2. מטילים מטבע לא בהכרח הוגנת 14 פעמים, והיא נוחתת על "עץ" 10 פעמים. האם ההסתברות שבשתי ההטלות הבאות היא תנחת על "עץ" גבוהה מחצי או קטנה? |
|
|
|
|
|
|
||
|
||||
|
1 שכיחותנים? | |
|
|
|
|
|
||
|
||||
|
ואללה, יותר טוב. | |
|
|
|
|
|
||
|
||||
|
2 לא התרשמתי. התשובות הבייסיאנית והשכיחותניות קרובות מאד, ורק הפרמטרים נבחרו כך שיצא מעל ומתחת לחצי. הבדל משמעותי הרבה יותר הוא כאשר יצא רק "עץ", אבל אז ברור שהתשובה השכיחותנית (ליתר דיוק, ניראות מירבית) היא שגויה. | |
|
|
|
|
|
||
|
||||
|
לא התכוונתי שתתרשם מהבדל דרמטי בתוצאות, כי באמת אין. זה סתם קישור נחמד שמדגים יפה, ובלי הרבה מתמטיקה, את שתי הגישות. | |
|
|
|
|
|
||
|
||||
|
סוף סוף נמצא לי מחנה (: כאשר צריך להעריך הסתברות על סמך m הצלחות מתוך n ניסיונות ואיני יודע מהי ההתפלגות אפריורי, אני משתמש ב: p=(m+1)/(n+2) שזה מה שמקבלים אם ממצעים על כל ההתפלגויות אפריורי האפשריות (=התפלגות אחידה) ומבצעים חישוב הדומה לזה שבקישור הראשון שלך.יתרון אחד של הערכה זו לעומת זו השכיחותנית (p=m/n) הוא טיפולה האחיד בכל המקרים, כולל מקרי קצה, במיוחד כאשר מדובר במדגמים מזעריים. יתרונה השני של הערכה בייסיאנית זו הוא (כאמור לעיל) שהיא נכונה. כלומר: אם נגריל סיכוי בין אחד לאפס ונטיל מטבע שנותן "עץ" עפ"י סיכוי זה, וננסה לנחש את הסיכוי עפ"י מספר ה"עצים", ההערכה הבייסיאנית תהיה מדוייקת יותר. הנה קוד שבודק ומאשר זאת. ההפרשים אינם מרשימים - 6% במקרה זה, אבל הם מראים בבירור שההערכה השכיחותנית רחוקה יותר מן הסיכוי האמיתי מאשר זו הבייסיאנית. |
|
|
|
|
|
|
||
|
||||
|
המשפט "אם נגריל סיכוי בין אחד לאפס ונטיל מטבע שנותן..." הוא בדיוק ההנחה הבייסיאנית הבסיסית. ברור שתחת ההנחה הזו, האנליזה הבייסיאנית היא הנכונה, וכך גם החיזויים שלה. השכיחותניים, מצד שני, לא מניחים שהסיכוי הנ"ל הוא משהו שמוגרל, אלא שהוא סתם קבוע לא ידוע. אפופידס - אתה ואני כבר דיברנו פעם בדיוק על הבעיה הזו, וכבר אז אמרתי לך שאתה בחברה מצוינת, זו של לפלאס, שניסה לענות בדיוק בדרך הזו על השאלה "מהי ההסתברות שהשמש תזרח מחר בבוקר?" (ראו את Sunrise problem [Wikipedia]). |
|
|
|
|
|
|
||
|
||||
|
אכן דיברנו, אבל רק עכשיו התברר לי שאני מקבל עמלה שמנה על כל מומר חדש (: תוכל להסביר לי מה ההבדל בין "לא ידוע" לבין "מוגרל"? הרי בפועל, כל עוד לא מערבים קוואנטים, תמיד מדובר על "לא ידוע" - כבדוגמת זריחת השמש. אוסיף דוגמא נוספת: במסגרת מפגש ראשון עם תרבות חוצנית, אתה נשלח להתארח בפלנטה נביולון 8. בלילה הראשון שם, נודדת שנתך ובשעה 26:34 (היממה שם ארוכה יותר) אתה ניגש לחלון ומבחין בהבזק סגול חזק המציף את השמיים לכמה שניות ונעלם. אתה מגרד את פדחתך ולא מוצא לתופעה כל הסבר או מקור אפשרי שאתה יודע עליו וזה גם לא דומה למשהו הזכור לך. מאחר שכך, אתה אומר לעצמך "לפחות סטטיסטיקה אני יודע, אז אחשב מה הסיכוי להבזק דומה גם מחר". בהיותך שכיחותן, אתה מעריך שהסיכוי להבזק סגול גם מחר הוא 1. אבל אז מתעורר הבייסיאני המפוקח שבך ומעריך, עפ"י הנוסחא שבתגובתי הקודמת (תוצאת החישוב הזה) שהסיכוי להופעת ההבזק גם מחר הוא רק 2/3. בשבוע בו אתה מבלה שם אתה ממשיך לחשב בשני אופנים את הסיכויי להישנות כל תופעה שאינה קשורה לשום דבר שאתה מכיר בה אתה נתקל (לעיתים יותר מפעם אחת), לטובת הארצן שיחליף אותך. בסופו של דבר מגיעים שניים לשהות של כמה שנים. לאחר שהם חוזרים לכד"א אתם נפגשים ואתה בודק את תיעודיהם הנוגעים לאירועים אותם תיעדת ומשווה את שכיחותם להערכות שנתתה. היכן תהיה השגיאה הממוצעת נמוכה יותר - בהערכות הבייסיאניות או באלו השכיחותניות? |
|
|
|
|
|
|
||
|
||||
|
מוגרל != מוגרל מהתפלגות אחידה. | |
|
|
|
|
|
||
|
||||
|
כמובן. טענתי היא שבהינתן שלא ידוע מהי ההתפלגות, ממצעים על כל ההתפלגויות האפשריות ומקבלים...התפלגות אחידה. | |
|
|
|
|
|
||
|
||||
|
מטבע יכול לפול גם על הצד הצר. למה אתה לא ממצע על כל ההתפלגויות על שלוש אפשרויות? למה לקחת רק את האפשרויות "יהיה הבזק סגול" ו"לא יהיה הבזק סגול", והתעלמת מ"יהיה הבזק ירוק", ו"יהיה ריח של כרוב כבוש"? |
|
|
|
|
|
|
||
|
||||
|
אבל מה התפלגות ההתפלגויות ? | |
|
|
|
|
|
||
|
||||
|
השאלות שאתה שואל נוגעות לתשתית הלוגית/פילוסופית של תורת ההסתברות, שאני לא בקיא בה במיוחד. אנסה להגג קצת בכל זאת. לגבי ההבדל בין "לא ידוע" ל"מוגרל" - אתה מן הסתם לא יודע מה אכלתי היום לארוחת הבוקר, אבל תסכים אתי שזה יהיה קצת מאולץ לחשוב על הגרלה בהקשר הזה. מהמלה "מוגרל" משתמע שקיימת איזושהי התפלגות ממנה מגרילים, ואולי הטענה המרכזית כנגד הגישה הבייסיאנית היא שכל ניסיון לנקוב במפורש בהתפלגות שכזו הוא בעייתי. למשל, אם מנסים לבחון האם מטבע נתונה, אמיתית לגמרי, היא הוגנת או לא, זה יהיה קצת מוזר להניח אפריורי (כלומר לפני שהטלנו אותה) התפלגות אחידה בין 0 ל-1 להסתברות שהיא מראה "עץ" (הרי ברור שההסתברות הזו היא באיזור 1/2); מצד שני, כל ניסיון לנקוב בהתפלגות אחרת יהיה שרירותי במידה רבה (זה מתקשר להבדל שבין informative prior לבין non-informative prior). כשהפרמטר שמנסים לאמוד לא מוגבל לתחום חסום שקצוותיו ידועים המצב יותר גרוע, כי קשה עוד יותר לחשוב על התפלגות אפריורית הגיונית: ההסתברות ל"עץ" בדוגמא הקודמת היתה בהכרח בין 0 ל-1, אבל כשמנסים לאמוד, למשל, דברים שקשורים לעוצמות של רעידות אדמה (שכידוע, אינן חסומות מלמעלה), אנחנו בבעיה. קיימת גישה סטטיסטית בשם Empirical Bayes שמנסה להתגבר על הבעיה הזו דרך שימוש בנתונים עצמם כדי להרכיב התפלגות אפריורית (נשמע אוקסימורון, נכון?), אבל אני לא מבין מספיק כדי לספר עליה עוד. בנוגע לדוגמת החוצנים: אף סטטיסטיקאי - שכיחותן, בייסיאני, או מה שזה לא יהיה - לא ינסה להסיק או לחזות ממדגם של נתון אחד בלבד, ולכן אני מוחה בתוקף כנגד ההשמצה הפרועה "בהיותך שכיחותן, אתה מעריך שהסיכוי להבזק סגול גם מחר הוא 1". בכלל, יש תופעות שלא צריך להחיל עליהן אנליזה הסתברותית/סטטיסטית כי הן לא שייכות לתחום השיפוט של הדיסציפלינות האלה (זה מתקשר יפה להבדל בין העידן השני לשלישי בהיסטוריה של המחשבה האנושית אליבא דאפרון, כפי שציטטתי אותו בתגובה 583799). גם את האנליזה של לפלס על ההסתברות שהשמש תזרח מחר אף אחד לא לוקח היום ברצינות, וזה לא בגלל שהיום יודעים שהעולם קיים יותר מ-6000 שנה. ולגבי השאלה האחרונה שלך, "היכן תהיה השגיאה הממוצעת נמוכה יותר - בהערכות הבייסיאניות או באלו השכיחותניות?", התשובה כמובן תלויה בהנחות המודל שלך על העולם. אם הן בייסיאניות, ואתה צודק בהתפלגויות האפריוריות שאתה מניח, אז כמובן שההערכות הבייסיאניות יהיו יותר מדויקות, ולהיפך. זו אולי נראית תשובה מתחמקת, אבל אם אתה מתכוון לערוך ניסוי אמיתי על כל מיני תופעות בחיים סביבנו, אז התוצאה שלו תהיה מאד תלויה בבחירה של התופעות שתחקור. בשאלות כמו "האם עצמים נופלים למעלה או למטה" הגישה הבייסיאנית תפסיד בנוק-אאוט, בשאלות כמו "האם גברים בממוצע גבוהים יותר מנשים" היא תפסיד בנקודות, ועל שאלות כמו "האם תרופה א' עובדת טוב יותר מתרופה ב"' ימשיכו הביוסטטיסטיקאים להתווכח. העניין שוב מתקשר לגבולות השיפוט של השיטה ההסתברותית/סטטיסטית. |
|
|
|
|
|
|
||
|
||||
|
הועלו כאן כמה עניינים הדורשים ממני חשיבה מחודשת. אחשוב ואשוב. | |
|
|
|
|
|
||
|
||||
|
מדגם של נתון אחד בלבד עשוי להיות בעל משמעות רבה מאוד. למשל, פגשת אדם חדש. באינטרקציה הראשונה בינכם הוא פישל (פשלות הן עניין סטטיסטי) האם אמונך בו ישתנה לאחר המדגם היחיד? בתיאוריה סטטיסטית, המצב מובהק (הא!) עוד יותר. מדגם של ניסוי אחד אינו שונה מהותית מכל מדגם אחר. ספציפית, נניח שההבזק הסגול הופיע ברצף 10 פעמים. האם מוצדק להסיק שהסיכוי לו הוא 1? השיטה הבייסיאנית מובילה לעיתים לתוצאות שנראות מוטעות, או נחותות, כמו למשל, שהשמש לא תזרח מחר. זכור, כי מבחינה פיזיקלית, יגיע יום כזה. אם הבייסיאנים היו יכולים לשרוד עד אז, הם היו צוחקים אחרונים. לגבי השגיאה הממוצעת - בהנתן בדיקה של תופעות ש*באמת* אין עליהן מידע מוקדם, השיטה הבייסיאנית תנצח בנוק אאוט מרהיב. השכיחתן שהגיע בלילה ימדוד כל דקה וימהר להכריז שתמיד יהיה חושך, וזה שיגיע בחורף יחליט שתמיד קר. |
|
|
|
|
|
|
||
|
||||
|
מצחיק שעושים ניסויים אמפיריים כדי להוכיח התפלגות סטטיסטית, מצחיק עוד יותר שזה עובד, SPOOKY... | |
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |