|
||||
|
||||
מיכל, את ראית כתבה בעיתון, אני קראתי את המחקר המקורי. את באמת עומדת לנסות לספר לי מה היה שם? אני ראיתי את הנתונים. הם יצרו, כמעט בלי יוצאים מהכלל, קשת נאה שתיארה בדיוק את מה שאמרתי - חשיפה בסיסית היא קריטית, ומעבר לרמה מסויימת - היא כבר לא כל-כך משנה. עוד משתנה שנבדק, שהיה בעל משמעות חשובה מאוד למחקר, היא מיומנות תקשורתית (שנמדדה הן ע"י שיפוט של עיתונאים והן ע"י שיפוט של ח"כים אחרים). שקלול של המשתנה הזה יחד עם כמות ההופעות בתקשורת, יצר דיוק מדהים בניבוי הצלחה אלקטורלית. נניח שניקח את גוז'נסקי וננתח אותה למוות כפי שתיארת - מה נעשה עם זה אחר כך? למה זה מעניין בכלל לדעת מה היו הנסיבות המדויקות והספציפיות שהביאו את גוז'נסקי לאיפה שהיא היום? זה לא עוזר בכלום. זה לא נותן לנו כלום, ואין שום טעם לחקור את זה. אני חושב שביטוי לשאיפות של האדם (במקרה זה, שלך), אפשר לראות דווקא בשלילה האוטומטית שלך של כל התחום של מדעי החברה - ועוד על בסיס ידיעה בעיתון, אפילו בלי לדעת שהמחקר נעשה על-ידי חוקר תקשורת ולא איש מדעי המדינה. אבל למה להתקטנן על עובדות, מה? |
|
||||
|
||||
עזוב את המחקר הזה... אתה מבין ממנו יותר ממני, אין לי ספק. אני לא שוללת את מדה"מ, באמת שלא!! אבל לעולם יהיו משתנים משפיעים שלא יהיו ניתנים לכימות. הטענה שלי היא יותר כללית וחלשה - מחקרים כמותיים רצוי שיבואו יחד עם ניתוח מקרה. לא מדובר במשתנים פיזיקליים שניתן לבודדם, לא ניתן ליצור מקרה מושלם נעדר מרכיבים פרטיקולריים (כמו ניסוי במכניקה בו ניתן לייצר סביבה מושלמת נעדרת חיכוך וכו'). מחקר כמותי, באופן טבעי,בגלל שאיפתו להכללה, לא יכול לקחת בחשבון מרכיבים פרטיקולריים מסוימים. במחקר כמותי העוסק בתופעה אנושית, חוסר הדיוק שינבע מהיעדר מרכיבים פרטיקולרים עשוי להיות גדול מדי. |
|
||||
|
||||
אני לא מצליחה להבין אם את כותבת ביקורת מתוך הכרה מעמיקה של מחקר כמותני ואיכותני, או שאת פשוט לא יודעת הרבה על שיטות מחקר, כך שאני לא יודעת לאן לכוון את התגובה שלי. את רוב מה שהיה לי לומר כתבתי בתגובה למעלה, אבל הנה, אני שוב כאן. נדמה לי שאת לחלוטין לא מבינה את הבסיס הלוגי לכל מחקר כמותני במדה"ח, ולא מבינה את הבסיס מאחורי שיטות מחקר כמותניות. כמובן שאין תנאי מעבדה במדה"ח; תמיד קיים גורם אנושי, וזוהי בדיוק הסיבה לשימוש במחקר כמותני והעדפתו על-פני מחקר איכותני כשמעוניינים בהכללות כלפי שאר האוכלוסיה. אם *למרות* הגורם האנושי, מצאתי קשר סיבתי מובהק בין מס' שעות הכנת שיעורי בית ביום לציון בבחינה, הרי שאני יכולה לומר בוודאות של 95% או 99% (תלוי) שקיים קשר בין השניים. לעומת זאת, מחקר איכותני יספר לי את סיפורה של מיכל, איזו מין סטודנטית היא ואלו ציונים היא מקבלת. בגלל כל הגורמים האנושיים האופייניים למיכל ולה בלבד, הרי שלא ניתן לבצע שום הכללה ממחקר כזה, ולא למדתי שום דבר חדש בתחום מלבד הרחבת ידיעותיי על ההרגלים של פרט אחד בשם מיכל. "ניתוח המקרה" לא חיזק את הטענה שלי כלל. אני עצמי עורכת מחקרים איכותניים מדי פעם, ולחלוטין לא שוללת את המתודולוגיה האיכותנית מכל וכל. אבל הרציונל בו השתמשת הוא בדיוק ההפוך לזה המנחה חוקרים בבחרם בשיטת מחקר איכותנית. |
|
||||
|
||||
ואם למרות הגורם האנושי ואקראי, מצאתי קשר סיבתי מובהק בין הסיכוי להיות מוכש ע"י נחש לאכילת תפוז בזמן ההכשה? אם אראה שאנשים שאכלו תפוזים כמעט ולא הוכשו לעומת אנשים שלא אכלו תפוז האם אוכל לטעון בודאות של 95% או 99% אחוז לקיום קשר *סיבתי* בין השניים? את הדוגמא הזו קיבלתי בשנה א' ללימודי כדי להשמר ממוקשים כאלו, כי אפילו אם נקבל מספר מובהק עד אין קץ, זה לא מבטיח סיבתיות. קשה להיות מוכש כשאוכלים תפוזים, כי תפוזים מבשילים בחורף, ונחשים פעילים בקיץ. לכן הקשר הוא בסופו של דבר רק *נסיבתי*. איסוף ערב רב של פרטים, כפי שמציעה מיכל, דווקא נראה לי, ואינו מחייב לשלוח אותנו ישר לגישה האיכותנית. בואי וניקח את הדוגמא שלך על איסוף פרטי סטודנטים, ונעשה ניסוי מחשבתי. לא נעשה את זה רק על מיכל אלא על מדגם גדול, כדי שזה יהיה שווה משהו. נמשיך, ולא נעצור ברמה האיכותנית, ונתרגם את כל התיאורים הללו, המפורטים ככול האפשר, למספר גדול של פרמטרים מספריים עפ"י הסקאלות האוביקטיביות ביותר שיכלנו להמציא. עכשו בידינו אוסף גדול של מספרים המייצגים גילאים, IQ, חתך אתני וסוציואקונומי, גודל משפחה, מיקום גיאוגרפי, טלנובלה מועדפת ומה לא. את כל השלל הזה ניתן לתוכנת מחשב המבוססת על רשת נוירונים, ו"נאלף" אותה לתת ציונים נכונים לסטודנטים על סמך נתוניהם. אחרי שנצלח בכך, וזה רק עניין של זמן מחשב להבנתי, תהיה בידינו מערכת מודל אשר נותנת משקל מסויים לכל גורם (גם משקל אפס לגורמים לא רלוונטיים), ויחסי גומלין בין הפרמטרים. כדי לראות אם עלה בידינו כלי או חרס, ניקח קבוצה אחרת של סטודנטים ונראה אם התוכנה-מודל תחזה את ציוניהם באותו דיוק, או בדיוק רב ("רב" נתון לשיקול דעת סטטיסטי). אולי לכך כיוונה מיכל. לפחות לכאן הייתי אני מכוון. |
|
||||
|
||||
כבר קרדיט לסטודנטים במדעי החברה - מה שאתה מדבר עליו פה הוא א''ב של מתודולוגיה. ברור שחלק מכל מחקר הוא העלאת סברות להסברים אלטרנטיביים, כולל משתנים נוספים שעשויים להסביר קשר סטטיסטי שמצאנו. או, במילים אחרות - לא הולכים ומלקטים המון המון נתונים, מוצאים איפה יש קשר סטטיסטי, ואז מכריזים על הגילוי (למעשה, כשמחשבים נעשו זמינים, היו כאלו שעשו בדיוק את זה. הם יצרו המון זבל). קודם מפתחים תיאוריה (לפעמים היא נבנית על סמך תובנות שנוצרו ממחקר איכותני או סתם חקר מקרה), ואז בודקים אותה דרך מחקר השוואתי כמותני. ואחרי שעשינו את זה, המחקר נמצא עדיין בתחום המדע, ויש מספיק חוקרים אחרים שיהפכו בו וינסו להוכיח שאתה אוויל משריש. אני לא חושב שלכאן כיוונה מיכל. היא הציעה להעביר את מדעי החברה למדעי הרוח... |
|
||||
|
||||
למה? למה "קודם מפתחים תיאוריה..ואז בודקים אותה דרך מחקר השוואתי כמותני" ו"לא הולכים ומלקטים המון המון נתונים, מוצאים איפה יש קשר סטטיסטי, ואז מכריזים על הגילוי", אם הקשר הסטטיסטי הזה הוא הדיר, במדגם גדול, ולא נסיבתי - מה רע בו? מה הפך את מחקרי המחשב לזבל והאם הדבר מחוייב המציאות? כשמשהו נשלח למדעי הרוח, העולם המדעי נאנח אנחת "ברוך שפטרנו" ויאוש מהיותו של התחום אי פעם מדוייק. בכלל, צירוף המילים מדעי הרוח צריך לקבל מקום של כבוד בהיכל האוקסימורונים. |
|
||||
|
||||
אפשר, אבל זה לא רחוק מאותם מיליון שימפנזים שמכים על מקלדות. הבעיה היא בדיוק במילים ''לא נסיבתי'' - אותם חוקרים שעשו את המחקרים הללו לא טרחו ממש לבדוק את הנושא. הדבר אינו מחוייב המציאות. אפשר לעשות מחקרים כאלו ולהוציא מהם תובנות משמעותיות, אבל צריך להשקיע הרבה מאמץ בשביל זה, יותר, לדעתי, מאשר בדרך ההגיונית לעשות מחקר... זה גם הרבה פחות מעניין ככה. |
|
||||
|
||||
עוד קצת על מדעי הרוח מול מדעי החברה: |
|
||||
|
||||
נתחיל בפסקה השניה: הוא שאמרתי. כיוונת היטב לדעתי, ושוב הוכחת למיכל שנקודת המבט שלה בנושא לא מדוייקת. ולפסקה הראשונה: נו באמת. כל ספר סטטיסטיקה שנה א' נפתח בדוגמא הזו (או בדוגמת רמת הפשיעה והגלידה וכיו"ב). מה ניסית להגיד? שכשחוקרים עורכים מחקר כמותני הם לא מודעים לבעיה של משתנים מתערבים וקשרים נסיבתיים? אז אני שמחה בזאת לגלות לכולם - הם יודעים. תסמכו עליהם (עלינו). הם חשבו על זה ולמדו את זה והם יודעים. והיה ולא שכנעתי עדיין, אשמח לספק דוגמאות מפורטות ממחקרים שאני כתבתי. |
|
||||
|
||||
יופי! אז אנחנו מסכימים! (איך זה קרה...?) את דוגמת הנחשים והתפוזים נתתי כקונטרא לדוגמת הציונים וזמן החרישה למבחן. מדעני המדינה מבינים את הסכנות לפתחה של המובהקות הסטטיסטית - מצויין. אני מניח שלא באמת ציפיתי שהם לא, הרי זה יהיה משול לאמירה שכולם שרלטנים, מה שאני לא אומר (כי אני לא מכיר אף מדען מדינה, וגם לא ממהר להלשין רעה). ולמרות שאני מאמין להיותך מקצוענית, אשמח לדוגמאות שהצעת. מה לגבי הניסוי המחשב(ת)י שהצעתי? עושים משהו כזה? (אפילו עם חוקר במקום מחשב?) פשיעה וגלידה? רוצה לספר לי? |
|
||||
|
||||
כן, אנחנו מסכימים (אכן מוזר). הניסוי שהצעת הוא פרפראזה על רוב המחקרים שקראתי (אם הבנתי אותך נכון). עם חוקר במקום מחשב. פשיעה וגלידה - ככל שעולה רמת הפשיעה, כך עולה צריכת הגלידה (כמובן ששניהם קשורים לעונת הקיץ, ואין קשר אמיתי בין השניים). ולדוגמאות - לצערי הן באנגלית, אבל הנה copy+paste מהרפורט לשנת 2001 (מילה במילה). TA הוא Teaching Artist, ו-PD הוא הקיצור ל- Professional Development. בשל מגבלות הפרוייקט (לא יכלנו לשלוט על מגוון משתנים), דיווח הממצאים נראה ככה: Teachers were surveyed regarding the regularity of meetings with Teaching Artists to develop student assessment tools (mean=6). Statistical analysis of the data substantiates statistically significant relations between this frequency, and teachers’ perceptions of the project’s success. Teachers who did not participate in any assessment meetings, rated “planning time for TA’s”, “PD time for teachers” and “PD time for TA’s” as greater obstacles (effect sizes 0.51, 0.52, 0.63). They agreed less strongly with “students apply themselves longer” (effect size 0.59), “students work more collaboratively” (0.68), “students communicate better with adults” (0.72) and “students feel more successful/positive” (0.62). And lastly, they were more unfavorable regarding the planning team’s performance. They agreed less strongly with “team communicates successfully with school staff” (0.59), “team has secured teacher buy-in” (0.7) and “team has secured parent buy-in” (0.55). קיימות דוגמאות נוספות, רובן דומות מאוד לזו הנ"ל. הקורא יכול לראות מיד את הבעייתיות בהסקת סיבתיות בין המשתנים, אשר חייבה אותי להיות מאוד מסוייגת בניסוח. הפרוייקט הוא פרוייקט "מוזמן", דהיינו - The Empire State Partnership for the Arts משלמת על הפרוייקט במסגרת התקציב של תכנית האמנויות, והכלים העומדים לרשותנו הם מוגבלים כתוצאה מאילוצים אלה ואחרים. כשחוקר נאלץ להסתמך על "דיווח עצמי" (לעומת עובדות בשטח, כמו ציונים במבחנים סטנדרטיים), קיימות בעיות רבות בניתוח הסטטיסטי, והקטע המצוטט הוא רק דוגמא אחת לנסיון להתגבר עליהן.
These findings generate three possible explanations: 1. Causal relationship: Teachers’ involvement in the assessment process affects their perceptions of the project’s success. Through involvement in assessment, teachers appreciate the project more. 2. Spurious relationship: More successful projects tend to embody both greater involvement of teachers in assessment as well as favorable teacher notions of the project’s success. (In this case, the teachers’ approach reflects the project’s real condition.) 3. Reversed relationship: Teachers who hold a more positive approach toward the project, tend also to be more involved in it. A future study may help us accept possible explanation #1 and reject the alternative explanations, thus leading us to the general recognition of causal relationship between attending assessment meetings and a positive approach toward the arts project. This logical conclusion, if proven to be statistically grounded, may be used to advocate the centrality and importance of assessment in arts projects in general. |
חזרה לעמוד הראשי | המאמר המלא |
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש | © כל הזכויות שמורות |