בתשובה לעוזי ו., 18/06/06 13:57
תהיה 391897
מאור גרינברג • בתשובה לעוזי ו. יום ג', 20/6/2006, 23:37
אני חושב שאני יכול לנסות להסביר מה צורם במדגם בגודל כזה.

נניח שבחרת באופן אקראי לחלוטין את אותם 12 איש, והסיכוי הוא אמנם רבע שהם יהיו מחוסנים.

אמנם קיבלת תוצאה בעלת מובהקות סטטיסטית, אבל אתה צריך להסביר למה בעצם נעצרת ב 12, או במילים אחרות - למה אתה בוחר להאמין שבחרת באקראי לחלוטין את אותו תריסר. דווקא‏1 בגלל שהתוצאה כל כך מובהקת אתה צריך לפקפק בניסוי שערכת.

אודה מאוד לתגובה!

‏1 אני לא בטוח אם אפשר לכמת את ה"דווקא" הזה, אבל אינטואיטיבית נראה לי שהוא גדל עם המובהקות.
תהיה 391903
אורי גוראל גורביץ' • בתשובה למאור גרינברג יום ג', 20/6/2006, 23:42
למה אני בוחר להאמין שבחרתי לחלוטין באקראי את אותו תריסר?
בגלל שלקחתי את הקוביות שלי, שאותן בחנתי מראש לוודא שהן חסרות הטיה, ובעזרתן הגרלתי 12 מספרים בין 1 ל10000 ואז שלפתי את האוטיסטים המתאימים למספרים הללו מתוך רשימת 10000 האוטיסטים שבידי. במילים אחרות: מה?
תהיה 391911
מאור גרינברג • בתשובה לאורי גוראל גורביץ' יום ד', 21/6/2006, 0:29
בכלל לא בטוח שככה נבחרו התריסר, אבל אני מסכים שצריך "להאמין" באקראיות של קוביות. השאלה מתעוררת כאשר הבחירה לא עברה רדוקציה כל כך ברורה אל אקראיות.

נניח למשל שאתה בודק את 12 הילדים הראשונים שהגיעו למרפאה החל מ 01.01.2006, וקיבלת את התוצאה המדוברת. במקרה כזה ניתן לדמיין מתאם מסויים שיטה את התוצאה (נניח "הורים בליינים ישנים אחרי הסילווסטר"), וגם אם לא - למה שלא תבחר עוד תריסר, בשיטה אחרת? הפעם תבחר ילדים לפי סדר א' ב' (עדה? ואולי יש קשר בין עדה לבליינות?).

ברור שהדוגמאות שנתתי מופרכות אבל העקרון הוא שלמעט מקרים מובהקים כמו הטלת קוביה ובחירה מתוך רשימה (גם אז תיאורטית אפשר לשאול "מי כתב את הרשימה ומי בדיוק נכלל בה?") קשה לבסס את תהליך הבחירה באופן שינטרל לחלוטין מתאמים נסיבתיים כלשהם, ובמקרה שהאוכלוסיה מספיק גדולה - למה שלא תמשיך את הניסוי כדי לנסות לחזק את האמונה שלך (ושל קוראי מאמרך) בנכונות הניסוי (קרי באקראיותו)?

במילים אחרות (וחובבניות) - הניסוי העלה תוצאות מובהקות, אבל האם הניסוי מובהק?
והתהיה המתמטית המקורית שלי - האם הגדלת (+ שינוי אופן הבחירה) המדגם יכולה ללמד משהו על ה*ניסוי*, להבדיל מללמד משהו (מיותר מבחינה סטטיסטית בתיאור של עוזי) על ה*תוצאה*?
תהיה 391916
אורי גוראל-גורביץ' • בתשובה למאור גרינברג יום ד', 21/6/2006, 1:34
כל אלה שאלות יפות, אבל הן לא קשורות לגודל המדגם או להערה המקורית של עוזי (שאפשר לבצע מחקר בעל משמעות סטטיסטית גם על 12 מקרים).

>ברור שהדוגמאות שנתתי מופרכות אבל העקרון הוא שלמעט מקרים מובהקים כמו הטלת קוביה ובחירה מתוך רשימה (גם אז תיאורטית אפשר לשאול "מי כתב את הרשימה ומי בדיוק נכלל בה?")

זו באמת הדרך בה ראוי לערוך מחקרים כאלה. ד"א, אם הרשימה מספיק גדולה (נניח, 90% מהאוטיסטים, להערכתנו) זה לא חשוב מי כתב אותה.

>למה שלא תמשיך את הניסוי כדי לנסות לחזק את האמונה שלך (ושל קוראי מאמרך) בנכונות הניסוי (קרי באקראיותו)?

למה כן? כמה אוטיסטים יספקו אותך? 50? 500?

את שאלותיך האחרונות פשוט לא הבנתי. מה ההבדל בין ניסוי מובהק לניסוי בעל תוצאות מובהקות?
תהיה 391918
האייל האלמוני • בתשובה לאורי גוראל-גורביץ' יום ד', 21/6/2006, 1:38
האם נראה לך שתגובה 391359 כתובה בנימה סרקסטית?
אם לא - האם אתה יכול להסביר?
תהיה 392002
אורי גוראל-גורביץ' • בתשובה להאייל האלמוני יום ד', 21/6/2006, 12:50
לא. התגובה נועדה להבהיר שמדובר במרפאה לאוטיסטים בלבד ואין משמעות לשאלה: "אתה מתכוון למצוא מרפאה שהאוכלוסייה המטופלת בה גם היא מתפלגת לרבע של מחוסנים והיתר לא?"
תהיה 392018
האייל האלמוני • בתשובה לאורי גוראל-גורביץ' יום ד', 21/6/2006, 13:44
מוזר מאוד. חשבתי שברור ש"האוכלוסייה המטופלת בה" היא האוכלוסייה הגרה בטווח הרלוונטי ושולחת את ילדיה האוטיסטים למרפאה זו דווקא. יש להניח שיש יותר ממרםאת אוטיסטים אחת באוכלוסיה של עשרות מיליונים. אשר על כן יש משמעות לשאלה: לא בטוח שבכל טווח מטופלים האוכלוסייה הרלוונטית מתפלגת ביחס לחיסון באותו אופן כמו האוכלוסייה הכללית.
תהיה 391937
מאור גרינברג • בתשובה לאורי גוראל-גורביץ' יום ד', 21/6/2006, 7:48
אנחנו לא באותו ראש...

אני לגמרי לא מפקפק במה שעוזי אמר, אלא רק מנסה לברר נכונות דבר נוסף: כאשר המדגם קטן והאוכלוסיה גדולה, ואתה נתקל בממצאים (גם אם מובהקים במיוחד), יש לך את הפריוילגיה כמדען לבחון גם את הניסוי שלך ולא רק את מה שהניסוי עצמו בודק. מתוך אוכלוסיה של 100,000, יותר קל לטעות *בבחירה* של תריסר מאשר בבחירה של 100 או 1,000.

יכול להיות שבניסוי ההיפותטי עוזי מניח שהבחירה אקראית לחלוטין, אבל זוהי כמובן הפשטה, שבעולם האמיתי לא תמיד תופסת - והתהיה שלי נוגעת בדיוק למידת האקראיות בבחירה בניסוי בעולם האמיתי וליתר דיוק הדרך להתמודד איתה אם אנחנו לא בטוחים בה.

את אותו אפקט של חיזוק האמון בניסוי ניתן להשיג גם ע"י מתודה אחרת לבחירה, אבל אם אתה מאמין שבחרת באקראי ואין לך שום דרך לשפר את האקראיות גם הגדלת המדגם יכולה לעזור.
תהיה 392013
אורי גוראל-גורביץ' • בתשובה למאור גרינברג יום ד', 21/6/2006, 13:06
אם המטרה היא לשפר את אקראיות הבחירה, הגדלת המדגם (ללא שינוי אחר) היא לא הדרך. לדוגמא: נניח שהרשימה ממנה בחרנו באקראי היא של מבוטחי קופת חולים בית"ר שנותנת חופשה משפחתית מתנה על כל חיסון ולכן שיעור המחוסנים בה הוא 90%. מובן שזה הופך את התוצאות שלנו (12 אוטיסטים מחוסנים) ללא מובהקות כלל (אבל אנחנו לא יודעים זאת).
נניח שהגדלנו (בעצת מ.ג. מתודולוגיות בע"מ) את המדגם ל-‏100 וקיבלנו שמתוכם 92 מחוסנים. מה עכשיו? איך מצבנו השתפר?

ככלל, הגדלת המדגם טובה בעיקר למצוא תופעות *חלשות* יותר ולא כהגנה מתודולוגית.
תהיה 392172
מאור גרינברג • בתשובה לאורי גוראל-גורביץ' יום ד', 21/6/2006, 23:37
מי אמר לך שאני אומר שצריך להמשיך לבדוק רק חולים של קופת חולים בית"ר? הרי אם נגדיל את המדגם מספיק נתחיל בלית ברירה לבדוק חולים אחרים.

בכל מקרה ראה תגובה 392171 שלי לעוזי.
תהיה 392176
אורי גוראל-גורביץ' • בתשובה למאור גרינברג יום ה', 22/6/2006, 0:14
>מי אמר לך שאני אומר שצריך להמשיך לבדוק רק חולים של קופת חולים בית"ר?

אם יש לי רשימה מקיפה יותר אני אשתמש בה מלכתחילה.

> הרי אם נגדיל את המדגם מספיק נתחיל בלית ברירה לבדוק חולים אחרים.

בלית ברירה? יש 11738 אוטיסטים ברשימה של בית"ר, ל-"בלית ברירה" נגיע רק באוטיסט ה-‏11739 .
תהיה 392204
מאור גרינברג • בתשובה לאורי גוראל-גורביץ' יום ה', 22/6/2006, 8:07
ניסיתי למקד את השאלה בתגובה 392202
תהיה 392114
עוזי ו. • בתשובה למאור גרינברג יום ד', 21/6/2006, 19:35
ככלל, מבצעים מחקר במדגם קטן רק כאשר אין ברירה (המדידות הנלוות יקרות; האוכלוסיה מפוזרת וקשה לאיתור; גיוס החולים יקר ומסובך), וניתוח מוקדם מראה שגם המדגם הזה מספיק מבחינה סטטיסטית.

למעשה, "ועדת הלסינקי" המקומית לא אמורה לאשר את הניסוי, אלא אם תשכנע אותה (מראש) שגודל המדגם אמור להספיק כדי לקבל תוצאות מבוהקות.
תהיה 392117
האייל האלמוני • בתשובה לעוזי ו. יום ד', 21/6/2006, 19:45
תגובה 392018
תהיה 392171
מאור גרינברג • בתשובה לעוזי ו. יום ד', 21/6/2006, 23:31
נו, אז מותר למצוא פגם בניסוי שבדק 12 אוטיסטים?

אבל זו לא השאלה שלי - השאלה שלי היא שאלה בסטטיסטיקה, או למעשה *על* סטטיסטיקה:
האם יש פרמטר שמכמת את האקראיות שבבחירה?
אם יש כזה, האם הגדלת המדגם משפיעה עליו?
תהיה 392173
מאור גרינברג • בתשובה למאור גרינברג יום ד', 21/6/2006, 23:44
הבהרת כוונתי:

הפרמטר שמכמת את האקראיות צריך כמובן להיות בלתי ידוע לחוקר, ולמעשה הוא מקביל ל"מידת האמון" בניסוי שהוא מציע.

כלומר ההשערה/שאלה שלי היא כזאת:
ברור שאם נבדוק את כל החולים נקבל ניסוי מאוד "אמין" ומאוד מובהק. אבל בניסויים עם מדגם קטן יחסית יש להשפעות לא ידועות מקום גדול יותר, ואפילו אם הניסוי מאוד מובהק סטטיסטית (כמו הניסוי ההיפותטי שהצעת), מידת האמון בבחירה האקראית לכאורה יכולה לרדת.
תהיה 392180
עוזי ו. • בתשובה למאור גרינברג יום ה', 22/6/2006, 0:36
יש בכל ניסוי ''משתנים בלתי תלויים'', שאפשר להעזר בהם כדי לבדוק שהמדגם אקראי ושהחלוקה שלו לתת-קבוצות (אם יש כזו) תלויה רק בגורמים הרלוונטיים. לדוגמא, אם רוצים לבדוק השפעה של שיטת חינוך מסויימת על ילדים בני שנתיים, כדאי לבדוק שבשתי הקבוצות יש לילדים (בערך) אותו מספר אחים - אחרת יהיו גורמים נוספים שעלולים להסביר הבדלים בין הקבוצות.

ברור שבניסויים עם מדגם קטן יש יותר מקום להשפעות לא ידועות - בדיוק בגלל זה המובהקות תלויה בגודל המדגם. אלא אם כוונתך היא שהחוקר יכול לרמות עשר פעמים בכל ניסוי, ואז כדאי לקבוע מדגם של ארבעים לפחות, כדי שהרמאויות לא יקבלו משקל גדול.
כל הגישה הזו (לתפוס את החוקר ברמאות דרך המספרים שלו) קצת בעייתית, כי בשלבים מכריעים של התהליך המספרים כולם יושבים בקובץ אחד על המחשב שלו (או של הסטטיסטיקאי שלו), ואפשר, עקרונית, לתפור אילו תוצאות שרוצים.
תהיה 392202
מאור גרינברג • בתשובה לעוזי ו. יום ה', 22/6/2006, 7:59
אני לא מדבר על חוקר שמרמה.

אני אעזר בדוגמאות שנתת כדי להסביר:

נוסיף משתנה לעולם הניסוי שהצעת - מגורים ליד קו מתח גבוה, בסיכוי של 50%.
נסתכל על שני מקרים:
1. החוקר בדק אקראית (מבחינתו ומבחינת כל שאר העולם) 12 ילדים אוטיסטים, כולם קיבלו חיסון, כך שהוא קיבל תוצאות מובהקות סטטיסטית. שנה לאחר מכן הסתבר ש 11 מהילדים גרים ליד קו מתח גבוה.
2. החוקר בדק אקראית (מבחינתו ומבחינת כל שאר העולם) 120 ילדים אוטיסטים, וחלק מהם קיבל חיסון, כך שהוא קיבל תוצאות מובהקות סטטיסטית בדיוק באותה מידת מובהקות של הניסוי הקודם. שנה לאחר מכן הסתבר ש 110 מהילדים גרים ליד קו מתח גבוה.

בשני המקרים סביר שהחוקר טעה והבחירה שלו לא הייתה אקראית, אפילו אם קשה למצוא קשר בין דרך הבחירה לבין מגורים ליד קווי מתח גבוה. השאלה שלי היא לאיזה משני המקרים יש סיכוי גדול יותר להתרחש מנקודת מבטנו *שישה חודשים* לאחר הניסוי המקורי.
השאלה שלי מנסה לכמת את הסיכוי לטעות של החוקר בעריכת הניסוי, לא את המובהקות הסטטיסטית של הניסוי המקורי.
תהיה 392212
עוזי ו. • בתשובה למאור גרינברג יום ה', 22/6/2006, 9:25
כל פרמטר שתרצה לנסח יהיה תלוי במודל - בלי הבנה של המציאות, אין הרבה טעם לערוך מחקרים. בעקרון, הסיכוי לתופעות מוזרות (כמו נפילת חלק משמעותי מן המדגם לקבוצה קטנה באוכלוסיה, במשתנים לא מבוקרים) יורד אקספוננציאלית עם גודל המדגם. המסקנה היא שעדיף לקחת מדגמים כמה שיותר גדולים. עדיף גם להיות חכם, בריא ועשיר.
תהיה 392228
מאור גרינברג • בתשובה לעוזי ו. יום ה', 22/6/2006, 10:39
הסיכוי יורד אקספוננציאלית עם גודל המדגם בהנחה שהמדגם אקראי. מה שמעניין אותי זה הרצף שמדגמים אקראיים לחלוטין הם רק הקצה שלו. החוקר של שני המקרים בתגובתי הקודמת חשב שהמדגם אקראי אבל לאחר שנה הסתבר שהוא טעה.

אני לא מצפה למספר שיתאר את הסיכוי לטעות כזו של החוקר, אבל אני חושב שמדגם גדול יותר משפיע על טעויות כאלו ועשוי לסנן ניסויים, וזה בלי קשר להשפעת הילד ה 13 על תוצאת הניסוי עצמו.
תהיה 392294
עוזי ו. • בתשובה למאור גרינברג יום ה', 22/6/2006, 17:19
לא צריך אקראיות מלאה - מספיק שהמדגם אינו דטרמיניסטי. ברגע שיש אנטרופיה, היא משפיעה בקצב אקספוננציאלי.

מעשית, בחישובים של מובהקות גודל המדגם משפיע בדיוק דרך היכולת של מדגם גדול להתגבר על תופעות אקראיות (וזה בדיוק מה שאתה מחפש). מצד שני, נכון שההשוואה תלויה במודל (שכן מניח אקראיות במקומות מוגדרים), ואפשר לתהות מה קורה אם המודל אינו מדויק ויש תלויות נוספות. כוחה של הסטטיסטיקה מגיע עד היכן שהחוקר מסוגל לנסח מודלים להשוואה; אחר-כך נשאר רק "זה לא נראה לי".
תהיה 392296
האייל האלמוני • בתשובה לעוזי ו. יום ה', 22/6/2006, 17:23
תגובה 392018
תהיה 392305
עוזי ו. • בתשובה להאייל האלמוני יום ה', 22/6/2006, 18:43
תודה, אבל כבר התעלמתי בפעם הראשונה.
תהיה 392311
האייל האלמוני • בתשובה לעוזי ו. יום ה', 22/6/2006, 20:08
התעלמת בפעמיים הראשונות. אבל תהיתי מדוע.
תהיה 392314
מאור גרינברג • בתשובה לעוזי ו. יום ה', 22/6/2006, 20:22
או קיי, תודה.
תהיה 392179
עוזי ו. • בתשובה למאור גרינברג יום ה', 22/6/2006, 0:29
מאי משמע "נו, אז"?

לא ברור לי מה אמור לעשות הפרמטר שלך; יש כל מיני פרמטרים שמודדים כל מיני היבטים של המדגם. חלקם תלויים בגודל המדגם, וחלקם (אלו שנרמלו אותם), לא תלויים. אם תשאל שאלה יותר ברורה, אולי אצליח יותר.
תהיה 392190
האייל האלמוני • בתשובה לעוזי ו. יום ה', 22/6/2006, 1:19
תגובה 392018
תהיה 392203
מאור גרינברג • בתשובה לעוזי ו. יום ה', 22/6/2006, 8:03
לא משנה, אבל כוונתי הייתה "האם בהתחשב במה שכתבת היו מסתפקים בתריסר נבדקים למרות שניתן לבדוק בלי יותר מדי השקעה מספר גדול בהרבה". כאמור - לא משנה.

בכל מקרה ניסיתי לנסח את השאלה בתגובה 392202.
חזרה לעמוד הראשי המאמר המלא
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים
האייל הקורא RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש © כל הזכויות שמורות