בתשובה לאורי גוראל-גורביץ', 21/06/06 1:34
תהיה 391937
מאור גרינברג • בתשובה לאורי גוראל-גורביץ' יום ד', 21/6/2006, 7:48
אנחנו לא באותו ראש...

אני לגמרי לא מפקפק במה שעוזי אמר, אלא רק מנסה לברר נכונות דבר נוסף: כאשר המדגם קטן והאוכלוסיה גדולה, ואתה נתקל בממצאים (גם אם מובהקים במיוחד), יש לך את הפריוילגיה כמדען לבחון גם את הניסוי שלך ולא רק את מה שהניסוי עצמו בודק. מתוך אוכלוסיה של 100,000, יותר קל לטעות *בבחירה* של תריסר מאשר בבחירה של 100 או 1,000.

יכול להיות שבניסוי ההיפותטי עוזי מניח שהבחירה אקראית לחלוטין, אבל זוהי כמובן הפשטה, שבעולם האמיתי לא תמיד תופסת - והתהיה שלי נוגעת בדיוק למידת האקראיות בבחירה בניסוי בעולם האמיתי וליתר דיוק הדרך להתמודד איתה אם אנחנו לא בטוחים בה.

את אותו אפקט של חיזוק האמון בניסוי ניתן להשיג גם ע"י מתודה אחרת לבחירה, אבל אם אתה מאמין שבחרת באקראי ואין לך שום דרך לשפר את האקראיות גם הגדלת המדגם יכולה לעזור.
תהיה 392013
אורי גוראל-גורביץ' • בתשובה למאור גרינברג יום ד', 21/6/2006, 13:06
אם המטרה היא לשפר את אקראיות הבחירה, הגדלת המדגם (ללא שינוי אחר) היא לא הדרך. לדוגמא: נניח שהרשימה ממנה בחרנו באקראי היא של מבוטחי קופת חולים בית"ר שנותנת חופשה משפחתית מתנה על כל חיסון ולכן שיעור המחוסנים בה הוא 90%. מובן שזה הופך את התוצאות שלנו (12 אוטיסטים מחוסנים) ללא מובהקות כלל (אבל אנחנו לא יודעים זאת).
נניח שהגדלנו (בעצת מ.ג. מתודולוגיות בע"מ) את המדגם ל-‏100 וקיבלנו שמתוכם 92 מחוסנים. מה עכשיו? איך מצבנו השתפר?

ככלל, הגדלת המדגם טובה בעיקר למצוא תופעות *חלשות* יותר ולא כהגנה מתודולוגית.
תהיה 392172
מאור גרינברג • בתשובה לאורי גוראל-גורביץ' יום ד', 21/6/2006, 23:37
מי אמר לך שאני אומר שצריך להמשיך לבדוק רק חולים של קופת חולים בית"ר? הרי אם נגדיל את המדגם מספיק נתחיל בלית ברירה לבדוק חולים אחרים.

בכל מקרה ראה תגובה 392171 שלי לעוזי.
תהיה 392176
אורי גוראל-גורביץ' • בתשובה למאור גרינברג יום ה', 22/6/2006, 0:14
>מי אמר לך שאני אומר שצריך להמשיך לבדוק רק חולים של קופת חולים בית"ר?

אם יש לי רשימה מקיפה יותר אני אשתמש בה מלכתחילה.

> הרי אם נגדיל את המדגם מספיק נתחיל בלית ברירה לבדוק חולים אחרים.

בלית ברירה? יש 11738 אוטיסטים ברשימה של בית"ר, ל-"בלית ברירה" נגיע רק באוטיסט ה-‏11739 .
תהיה 392204
מאור גרינברג • בתשובה לאורי גוראל-גורביץ' יום ה', 22/6/2006, 8:07
ניסיתי למקד את השאלה בתגובה 392202
תהיה 392114
עוזי ו. • בתשובה למאור גרינברג יום ד', 21/6/2006, 19:35
ככלל, מבצעים מחקר במדגם קטן רק כאשר אין ברירה (המדידות הנלוות יקרות; האוכלוסיה מפוזרת וקשה לאיתור; גיוס החולים יקר ומסובך), וניתוח מוקדם מראה שגם המדגם הזה מספיק מבחינה סטטיסטית.

למעשה, "ועדת הלסינקי" המקומית לא אמורה לאשר את הניסוי, אלא אם תשכנע אותה (מראש) שגודל המדגם אמור להספיק כדי לקבל תוצאות מבוהקות.
תהיה 392117
האייל האלמוני • בתשובה לעוזי ו. יום ד', 21/6/2006, 19:45
תגובה 392018
תהיה 392171
מאור גרינברג • בתשובה לעוזי ו. יום ד', 21/6/2006, 23:31
נו, אז מותר למצוא פגם בניסוי שבדק 12 אוטיסטים?

אבל זו לא השאלה שלי - השאלה שלי היא שאלה בסטטיסטיקה, או למעשה *על* סטטיסטיקה:
האם יש פרמטר שמכמת את האקראיות שבבחירה?
אם יש כזה, האם הגדלת המדגם משפיעה עליו?
תהיה 392173
מאור גרינברג • בתשובה למאור גרינברג יום ד', 21/6/2006, 23:44
הבהרת כוונתי:

הפרמטר שמכמת את האקראיות צריך כמובן להיות בלתי ידוע לחוקר, ולמעשה הוא מקביל ל"מידת האמון" בניסוי שהוא מציע.

כלומר ההשערה/שאלה שלי היא כזאת:
ברור שאם נבדוק את כל החולים נקבל ניסוי מאוד "אמין" ומאוד מובהק. אבל בניסויים עם מדגם קטן יחסית יש להשפעות לא ידועות מקום גדול יותר, ואפילו אם הניסוי מאוד מובהק סטטיסטית (כמו הניסוי ההיפותטי שהצעת), מידת האמון בבחירה האקראית לכאורה יכולה לרדת.
תהיה 392180
עוזי ו. • בתשובה למאור גרינברג יום ה', 22/6/2006, 0:36
יש בכל ניסוי ''משתנים בלתי תלויים'', שאפשר להעזר בהם כדי לבדוק שהמדגם אקראי ושהחלוקה שלו לתת-קבוצות (אם יש כזו) תלויה רק בגורמים הרלוונטיים. לדוגמא, אם רוצים לבדוק השפעה של שיטת חינוך מסויימת על ילדים בני שנתיים, כדאי לבדוק שבשתי הקבוצות יש לילדים (בערך) אותו מספר אחים - אחרת יהיו גורמים נוספים שעלולים להסביר הבדלים בין הקבוצות.

ברור שבניסויים עם מדגם קטן יש יותר מקום להשפעות לא ידועות - בדיוק בגלל זה המובהקות תלויה בגודל המדגם. אלא אם כוונתך היא שהחוקר יכול לרמות עשר פעמים בכל ניסוי, ואז כדאי לקבוע מדגם של ארבעים לפחות, כדי שהרמאויות לא יקבלו משקל גדול.
כל הגישה הזו (לתפוס את החוקר ברמאות דרך המספרים שלו) קצת בעייתית, כי בשלבים מכריעים של התהליך המספרים כולם יושבים בקובץ אחד על המחשב שלו (או של הסטטיסטיקאי שלו), ואפשר, עקרונית, לתפור אילו תוצאות שרוצים.
תהיה 392202
מאור גרינברג • בתשובה לעוזי ו. יום ה', 22/6/2006, 7:59
אני לא מדבר על חוקר שמרמה.

אני אעזר בדוגמאות שנתת כדי להסביר:

נוסיף משתנה לעולם הניסוי שהצעת - מגורים ליד קו מתח גבוה, בסיכוי של 50%.
נסתכל על שני מקרים:
1. החוקר בדק אקראית (מבחינתו ומבחינת כל שאר העולם) 12 ילדים אוטיסטים, כולם קיבלו חיסון, כך שהוא קיבל תוצאות מובהקות סטטיסטית. שנה לאחר מכן הסתבר ש 11 מהילדים גרים ליד קו מתח גבוה.
2. החוקר בדק אקראית (מבחינתו ומבחינת כל שאר העולם) 120 ילדים אוטיסטים, וחלק מהם קיבל חיסון, כך שהוא קיבל תוצאות מובהקות סטטיסטית בדיוק באותה מידת מובהקות של הניסוי הקודם. שנה לאחר מכן הסתבר ש 110 מהילדים גרים ליד קו מתח גבוה.

בשני המקרים סביר שהחוקר טעה והבחירה שלו לא הייתה אקראית, אפילו אם קשה למצוא קשר בין דרך הבחירה לבין מגורים ליד קווי מתח גבוה. השאלה שלי היא לאיזה משני המקרים יש סיכוי גדול יותר להתרחש מנקודת מבטנו *שישה חודשים* לאחר הניסוי המקורי.
השאלה שלי מנסה לכמת את הסיכוי לטעות של החוקר בעריכת הניסוי, לא את המובהקות הסטטיסטית של הניסוי המקורי.
תהיה 392212
עוזי ו. • בתשובה למאור גרינברג יום ה', 22/6/2006, 9:25
כל פרמטר שתרצה לנסח יהיה תלוי במודל - בלי הבנה של המציאות, אין הרבה טעם לערוך מחקרים. בעקרון, הסיכוי לתופעות מוזרות (כמו נפילת חלק משמעותי מן המדגם לקבוצה קטנה באוכלוסיה, במשתנים לא מבוקרים) יורד אקספוננציאלית עם גודל המדגם. המסקנה היא שעדיף לקחת מדגמים כמה שיותר גדולים. עדיף גם להיות חכם, בריא ועשיר.
תהיה 392228
מאור גרינברג • בתשובה לעוזי ו. יום ה', 22/6/2006, 10:39
הסיכוי יורד אקספוננציאלית עם גודל המדגם בהנחה שהמדגם אקראי. מה שמעניין אותי זה הרצף שמדגמים אקראיים לחלוטין הם רק הקצה שלו. החוקר של שני המקרים בתגובתי הקודמת חשב שהמדגם אקראי אבל לאחר שנה הסתבר שהוא טעה.

אני לא מצפה למספר שיתאר את הסיכוי לטעות כזו של החוקר, אבל אני חושב שמדגם גדול יותר משפיע על טעויות כאלו ועשוי לסנן ניסויים, וזה בלי קשר להשפעת הילד ה 13 על תוצאת הניסוי עצמו.
תהיה 392294
עוזי ו. • בתשובה למאור גרינברג יום ה', 22/6/2006, 17:19
לא צריך אקראיות מלאה - מספיק שהמדגם אינו דטרמיניסטי. ברגע שיש אנטרופיה, היא משפיעה בקצב אקספוננציאלי.

מעשית, בחישובים של מובהקות גודל המדגם משפיע בדיוק דרך היכולת של מדגם גדול להתגבר על תופעות אקראיות (וזה בדיוק מה שאתה מחפש). מצד שני, נכון שההשוואה תלויה במודל (שכן מניח אקראיות במקומות מוגדרים), ואפשר לתהות מה קורה אם המודל אינו מדויק ויש תלויות נוספות. כוחה של הסטטיסטיקה מגיע עד היכן שהחוקר מסוגל לנסח מודלים להשוואה; אחר-כך נשאר רק "זה לא נראה לי".
תהיה 392296
האייל האלמוני • בתשובה לעוזי ו. יום ה', 22/6/2006, 17:23
תגובה 392018
תהיה 392305
עוזי ו. • בתשובה להאייל האלמוני יום ה', 22/6/2006, 18:43
תודה, אבל כבר התעלמתי בפעם הראשונה.
תהיה 392311
האייל האלמוני • בתשובה לעוזי ו. יום ה', 22/6/2006, 20:08
התעלמת בפעמיים הראשונות. אבל תהיתי מדוע.
תהיה 392314
מאור גרינברג • בתשובה לעוזי ו. יום ה', 22/6/2006, 20:22
או קיי, תודה.
תהיה 392179
עוזי ו. • בתשובה למאור גרינברג יום ה', 22/6/2006, 0:29
מאי משמע "נו, אז"?

לא ברור לי מה אמור לעשות הפרמטר שלך; יש כל מיני פרמטרים שמודדים כל מיני היבטים של המדגם. חלקם תלויים בגודל המדגם, וחלקם (אלו שנרמלו אותם), לא תלויים. אם תשאל שאלה יותר ברורה, אולי אצליח יותר.
תהיה 392190
האייל האלמוני • בתשובה לעוזי ו. יום ה', 22/6/2006, 1:19
תגובה 392018
תהיה 392203
מאור גרינברג • בתשובה לעוזי ו. יום ה', 22/6/2006, 8:03
לא משנה, אבל כוונתי הייתה "האם בהתחשב במה שכתבת היו מסתפקים בתריסר נבדקים למרות שניתן לבדוק בלי יותר מדי השקעה מספר גדול בהרבה". כאמור - לא משנה.

בכל מקרה ניסיתי לנסח את השאלה בתגובה 392202.
חזרה לעמוד הראשי
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים
האייל הקורא RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש © כל הזכויות שמורות