 |
|
 |
||
|
||||
 |
איך רואים מהנתונים שהסלקציה אינה מגדילה את אחוז הזכאים לבגרות בבית-הספר? |  |
 |
 |
|
|
|
||
|
||||
|
קרא את הכתבה המלאה ב''הארץ'' בקישור המצורף. | |
|
|
|
|
|
||
|
||||
|
ההסבר שהמחקר נותן לטענה הזו (פסקאות 5-7 מהסוף, 1) הוא דוגמא מזהירה של שימוש עקום בסטטיסטיקה. : הנתונים מראים שיש קורלציה הפוכה בין שעור ההנשרה, לבין שעור ההצלחה בבגרויות: בתיכונים שהנשירו תלמידים רבים, שעור ההצלחה נמוך, ולהיפך. "מסקנה" (על-פי המחקר): יש קשר סיבתי בין הדברים. כדי לשפר את שעור ההצלחה שלו, כדאי למנהל התיכון להנשיר כמה שפחות. הנחה סמויה: קיימת עקומת-פלאים שקושרת את שני המשתנים. ראשה בנקודה "אפס נשירה, כולם זכאים", וזנבה באיזו נקודה רבת-נשירה עם מעט זכאים. לא רק זה, אלא שבתי הספר הם מין חרוזים שמושחלים על העקומה. כדי לעלות בציר אחד, יש לזוז בציר השני (בכיוון שמבטיח את העליה המיוחלת). מה קורה באמת: אין עקומה ואין חרוזים. בית-הספר "נולד" עם האוכלוסיה שלו; נתוני האוכלוסיה (עם המאמץ של בית-הספר) קובעים את אחוז הזכאים. אם מנשירים את חסרי-הסיכוי לבגרות, אחוז הזכאים *עולה* (כמובן). אז למה הקורלציה הפוכה? כי בתי ספר מסויימים מקבלים את השמנת; הם לא צריכים להנשיר כדי להגיע לאחוזי זכאות גבוהים. אחרים מקבלים תלמידים פחות טובים; כדי להגיע לאותה רמת זכאות הם צריכים להנשיר הרבה הרבה יותר; מכיוון שהם מנשירים יותר (אבל לא הרבה יותר), אחוז הזכאות שלהם נמוך יותר. העיקר ש"הפריכו הנחות יסוד". כן ירבו. : 1 "הנתונים שהעלה הסקר מפריכים את מדיניות החינוך הסלקטיווי. בשמונת התיכונים המצטיינים בתל אביב, ששיעור ההצלחה בבחינות הבגרות בהם, בקיץ שעבר, היה גבוה מאוד - %84-%93 - גם שיעור ההתמדה של התלמידים היה גבוה %65-%77 - כלומר, שני שלישים עד שלושת רבעים מהתלמידים שהחלו ללמוד ב-1997 בחטיבות הביניים של התיכונים הטובים ביותר התמידו וסיימו בהם את הלימודים. עם זאת, העובדה שאותם תיכונים לא ניפו את התלמידים החלשים יחסית, לא פגמה בפרופיל ההצלחה של בתי ספר אלה, אלא להיפך - שיפרה אותו. בתיכון עירוני בצפון, שבו שיעור ההתמדה של התלמידים היה נמוך יותר בהשוואה לתיכונים המצטיינים - %59 - גם שיעור ההצלחה בבגרות היה נמוך בהתאם - .%73 בתיכון עם שיעור הנשירה הגבוה ביותר - %47 - שיעור ההצלחה היה הנמוך ביותר - %49. בתיכון המצטיין ביותר בתל אביב שבו %93 מהתלמידים הצליחו בבחינות הבגרות, שיעור ההתמדה היה גבוה ביותר - %77." |
|
|
|
|
|
|
||
|
||||
|
המ... אוקיי. אפשר גם להוסיף שבעצם לא מדובר בסקר, שכן לא נדגמו תלמידים, אלא במפקד - המחקר התבצע על כל תלמידי התיכון בת"א. נכון? |
|
|
|
|
|
|
||
|
||||
|
נכון. לפעמים דוגמים את בתי הספר (ופוקדים את כל התלמידים בבתי-הספר שנבחרו). במקרה שלנו זהו אכן מפקד ביחס לנתוני השנה הזו, אבל ההנחה היא כמובן שהם מלמדים משהו על נתוני השנים הבאות, ובמובן הזה ''דגמנו'' את השנה הזו כדי ללמוד על האוכלוסיה כולה (השנים שלעתיד לבוא). | |
|
|
|
|
|
||
|
||||
|
נפלא! אני מת על דוגמאות כאלה. יש לי תחושה שדברים כאלה קורים הרבה פעמים במדעים ה-"רכים", וכשאני דן בכך חשוב לי שיהיה לי ארסנל של דוגמאות. תמיד אני מבטיח לעצמי לשבת פעם ולסרוק מאמרים בסוציולוגיה, נגיד, אבל אף פעם לא הגעתי לזה. אתה מכיר במקרה מקומות בהם דנים בבעייה הזו? יש לי זכרון עמום על מאמר שקראתי פעם (ב-Scientific American?) שתיאר הרבה מקרים כאלה. |
|
|
|
|
|
|
||
|
||||
|
פעם ראיתי ידעה בעיתון <מזיכרון>: אנשים הפורשים מעבודתם בשל בעיות בריאות חולים יותר מאנשים הפורשים מסיבות אחרות. |
|
|
|
|
|
|
||
|
||||
|
מכיר את הסיפור של קישון על פקח מס-ההכנסה, פישבאום יד הזהב? איך אפשר יהיה להסיק מסקנות אופרטיביות מן המחקר, אילולא היו הנבדקים חרוזים המושחלים על עקומות הרגרסיה? |
|
|
|
|
|
|
||
|
||||
|
את פישבאום יד-הזהב אני זוכר, לצערי, ממש במעורפל, מה שמראה שוב שאני מזדקן. אבל אם לא בא לך להזכיר לי, אני אבין. את המשפט השני בתגובתך לא הבנתי... (מזדקן אמרנו?) |
|
|
|
|
|
|
||
|
||||
|
פישבאום מעביר את אצבעו מעל ספר הטלפונים, ופתאום רוטטת יד-הזהב, עד שהיא מצביעה על אחד השמות. אצים-רצים פקידי המס לבדוק את החשוד, וראה זה פלא, מתברר שהוא מעלים מס. כך הוא לוכד פושעים בזה אחר זה, ואינו טועה אפילו פעם אחת. (הבדיחה שאני נאלץ להרוס: כולם מעלימים מס, ולכן כל חשוד - אשם). (הנמשל, למזדקנים: בכל פעם שמסיקים מסקנות אופרטיביות ממחקר סטטיסטי, יש כשלים מתודולוגיים). ובעצם, מה הפלא. אילולא היו הנבדקים חרוזים המושחלים על עקומות הרגרסיה, איך אפשר יהיה להשפיע על התוצאות בציר Y על-ידי תנועה בציר X? והרי תנועה בציר X היא כל מה שביכולנו לעשות (ישירות). מבחינת מיישם-המחקר-בשטח, יש לאמץ את מודל החרוזים (המופרך), או לחדול. רק לעתים נדירות הם בוחרים לחדול. |
|
|
|
|
|
|
||
|
||||
|
"בכל פעם שמסיקים מסקנות אופרטיביות ממחקר סטטיסטי, יש כשלים מתודולוגיים": אני מתאר לי שלא *בכל* פעם. אפשר לעשות מחקר סטטיסטי, לגלות איזו קורלציה שמצביעה אולי על קשר סיבתי, לבחון את ההשערה הסיבתית (לשחק עם ציר X ולראות שבאמת קורה משהו) ולהוכיח שאכן חרוזים. ברור שבמקרה דנן השלב של "בחינת ההשערה הסיבתית" לא בוצע, וגם אין טעם לבצע אותו כי ההשערה ממש לא משכנעת, כפי שהסברת. כמובן שיש לי בראש דוגמאות לא ממדעי החברה, אלא נניח מביולוגיה מולקולרית (ניתוח תוצאות של ניסויי צ'יפים, למשל - הרבה השערות של מי-משפיע-על-מי על-סמך קורלציות סטטיסטיות). אין לי מושג באיזו תכיפות, אם בכלל, עושים במדעי החברה ניסויים מבוקרים כאלה (ברור שזה די קשה). לגבי המשפט האחרון שלך - החוקר מפרסם המאמר לא חייב להיות המיישם בשטח, נכון? ומבחינתו לפרסם שיש קורלציה וזהו זה לא "לחדול", זה סתם לדווח על מה שיש לדווח ולא לקפוץ למסקנות מיותרות. אז למה הם מתעקשים להסיק מסקנות אופרטיביות? כנראה שעורכי העיתונים מעדיפים מסקנות סנסציוניות מניתוח זהיר והצבעה על כל המסקנות האפשריות. עצוב. |
|
|
|
|
|
|
||
|
||||
|
הקורלציה כשלעצמה בדרך-כלל לא מספיק מעניינת כדי להגיע לעיתון. הרבה יותר מושך את העין לקרוא ששתיית כוסית יין נוספת ביום תקטין את הסיכון להתקפי לב, גם אם במציאות אין שום אפשרות לבודד את ההרגל הזה מפרמטרים אחרים, שעשויים להיות משמעותיים בהרבה. | |
|
|
|
|
|
||
|
||||
|
זבוב בלי כנפיים ובלי רגליים לא שומע. | |
|
|
|
|
|
||
|
||||
|
תראו מי חזר מנמיביה. | |
|
|
|
|
|
||
|
||||
|
ביאפרה, אבל אין דבר. | |
|
|
|
|
|
||
|
||||
|
כן, כותבים על זה הרבה: תגובה 165116, תגובה 135911 וכל הדיון הארוך שאחריה, ובמיוחד מתגובה 136335 והלאה. בזמנו השתתפתי בקורס באוניברסיטה שהיה מעין "מבוא לשיטות מחקר לדוקטורנטים" או משהו כזה. כל שבוע קראנו ספר שנחשב לספר מרכזי בסוציולוגיה, ובילינו שלוש שעות בלבקר את המתודולוגיה בספר. תמיד, בלי יוצא מן הכלל, אפשר להעביר ביקורת על מתודולוגיה של חוקר, ודי בקלות - למה הוא עשה כך ולא אחרת, מה הייתי אני עושה במקומו וכיו"ב. |
|
|
|
|
|
|
||
|
||||
|
תודה. אני סבור שהטעות שעוזי הצביע עליה בתגובה 168194 איננה מצויה במתודולוגיה של הניסוי, אלא בהסקת המסקנות (ואם זה חלק מהמתודולוגיה, אז אני טועה בקריאת התגובות שהזכרת). כלומר, אפשר לערוך ניסוי המצביע על קשר מפתיע בין שני נתונים סטטיסטיים, ולעצור כאן - או אפילו לנסות לתת פרשנות סיבתית לקשר, אבל בזהירות ועם מניית כל האפשרויות. אם מישהו עורך את *אותו* הניסוי בדיוק, אבל *מסיק* ממנו מסקנה מופרכת, האם המתודולוגיה שלו שגויה? אני אומר כל זאת פשוט כי נדמה לי שהקורס שהזכרת ניסה לגשת לבעייה קצת שונה מזו שאני מדבר עליה, שהיא עריכת ניסויים מוצלחים מבחינה סטטיסטית, עם מסקנות סטטיסטיות מובהקות, אבל שגיאה בפרשנות. |
|
|
|
|
|
|
||
|
||||
|
כן, זה חלק מהמתודולוגיה וגם לזה התכוונתי. | |
|
|
|
|
|
||
|
||||
|
ואידך זיל גמור | |
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |