בתשובה להאייל האלמוני, 18/05/15 13:59
 |
|
 |
||
|
||||
 |
למה מבחן אקראי - בוא ניתן ציון אקראי בלי בחינה וחסל. זה יפתור כל כך הרבה בעיות פרוצדורליות מעיקות. |  |
 |
 |
|
|
|
||
|
||||
|
לא הבנתי מה אתה רוצה להגיד (או שאתה לא הבנת מה כתבתי). | |
|
|
|
|
|
||
|
||||
|
עם מבחן אקראי יהיו 5% (נניח) מבין התלמידים שיקבלו את השאלות הקשות יותר. אתה היית רוצה להיות אחד מהם? (אני הייתי רוצה להיות מה־5% בצד השני) |
|
|
|
|
|
|
||
|
||||
|
אתה מתכוון שאלות קשות באופן סובייקטיבי או שאלות קשות באופן אובייקטיבי? אם הראשון, זאת לא בעיה חדשה - ככה זה היה מאז ומעולם וככה זה יהיה גם בעתיד. אם השני, ברור שבנק הבחינות לא יבנה בצורה שטוחה, והבחירה האקראית תהיה כזאת (נגיד) 5 שאלות מתוך 100 מסוג 1 עם רמת קושי 2, 3 מתוך 100 שאלות מסוג 2 עם רמת קושי 3 וכך הלאה.... ככה בונים את החינת התיאוריה (ולא רק - לא מדובר בהמצאת הגלגל - עושים את זה בכל העולם כבר כמה יותר מעשור) |
|
|
|
|
|
|
||
|
||||
|
צפריר הבין. מספיק קשה לעשות מדידה דומה עד זהה של כישורי התלמידים בכל הארץ, גם כשהם עושים אותה באותו יום ומול אותו טופס. בבאר שבע היו 40 מעלות, ובטבריה היו 100 אחוז לחות וכולם הזיעו, ובירושלים היתה מגיפת יבחושים. עדיין, לפחות את הפרמטרים שאתה כן יכול להשוות בין כל הנמדדים - השאלות הנשאלות ותאריך המבחן - כדאי מאד שתשאיר. הי, אתה אפילו הצעת לחלק את תאריך הבחינה על כל השנה - איך אתה מצפה שתלמיד באמצע י"ב יתחרה ברמת הידע והמיומנות עם תלמיד בסוף י"ב? כן, ראיתי את ההצעה שלך למאגר של שאלות באותה רמה, זה נשמע לי מאד בעייתי ונתון לפרשנות. ובשביל מה כל זה? כדי לפתור בעייה נקודתית של אבטחת מידע שצריך לפתור באמצעים המתאימים? קצת כמו לשפוך את התינוק עם המים. |
|
|
|
|
|
|
||
|
||||
|
אתם רציניים? חלוקת גרסאות שונות של אותו המבחן כדי להתמודד עם העתקות הייתה פרקטיקה מקובלת ונפוצה בכל המסגרות בהן למדתי אי פעם, מהיסודי ועד האונ'. מה אתם עושים מזה סיפור גדול? ובכלל, במה זה שונה מהבדלי הקושי בין מועד א' למועד ב', בין סמסטר אביב לסמסטר סתיו, או בין המבחנים של המרצה שמוליק למבחנים של המרצה רותי? זאת ועוד, במבחנים ממוחשבים בהיקף גדול אין שום בעיה לתת ניקוד ומשקל לשאלות בדיעבד, לפי רמת הקושי האמיתית שלהן, כדי לאזן באופן מדוייק במיוחד את רמות הקושי ולנרמל את הציונים (באופן שמזכיר את מה שנעשה בפסיכומטרי). זה nonissue. |
|
|
|
|
|
|
||
|
||||
|
אני לתומי חשבתי שכל הרעיון מאחורי בחינת הבגרות הוא לנטרל את ההבדל בין המבחנים של המורה שמוליק למבחנים של המורה רותי1. שאחרת - מאחר וזה כל כך פשוט וגאוני - הבה נגדיר את ציוני המגן כציונים הסופיים, נחסוך למדינת ישראל כמה מיליארדים על המנגנונים והזמן שמוקדשים לבגרויות, נחסוך למאות אלפי תלמידים כאבי ראש, בטן ושלפוחית, ושלום על ישראל. איך לא חשבו על זה קודם? "אין שום בעייה לתתניקוד ומשקל לשאלות בדיעבד לפי רמת הקושי האמיתית שלהן" - זה די חדש לי, אשמח לדעת איך עושים זאת. לי זה נראה קשה מאד לבחון את רמת הקושי האמיתית הזאת, ואני גם כבר רואה את תלמידי תיכון הגאון ברעננה מתלוננים על זה שקיבלו פקטור 0.96 מול תלמידי תיכון הבלון מהרצליה שקיבלו פקטור 1.04. 1 מרצים יש באוניברסיטה, וזה לא רלבנטי לענייננו. |
|
|
|
|
|
|
||
|
||||
|
לכל שאלה מצמידים פקטור שמזיז את הגאוסיאן עד שהמקסימום מתקבל באותה נקודה (ואם ההתפלגות נורמלית כמצופה, הגאוסיאנים יחפפו). אף אחד מהתלמידים לא אמור לדעת איזה פקטור הוצמד לכל שאלה. | |
|
|
|
|
|
||
|
||||
|
הוא לא אמור, אבל בעידן המידע של היום שבו - שומו שמיים - לא מצליחים אפילו להסתיר את בחינות הבגרות עצמן מעיני התלמידים הפוחזים, להשיג את הפקטורים האלה יהיה הרבה יותר קל, וזה יקרה. יתירה מזו, גם לפני הפקטור אתה תראה שורה של מרצי פסיכומטרי ובגרויות חרוצים מנתחים את השאלות ומראים כחול על גבי אתר אינטרנט איך שאלה מס' 1 שלא טור א' היתה הרבה יותר קשה משאלה מס' אחת של טור ב'. אם רוצים לעשות פרקטיקות של פסיכומטרי, בוא נבטל את הבגרויות ונעשה פסיכומטרי. אני רוצה להבין - זה לא ברור שאותה שאלה לכולם זאת מדידה שיוויונית יותר מאשר פקטורים ונירמולים למיניהם1? לא מושלמת ונתונה לבעיות בגלל פרמטרים אחרים, אבל עדיין יותר טובה מכל הטכניקות שמטרתן לצמצם את השגיאה העודפת שנוצרה בגלל השיטה הזאת. 1 הרי לך בעייה קטנטנה: כשמזיזים את הגאוסיאן של שאלה 1 בטור ב' שלוש נקודות אחורה, כדי לנרמל אותו עם הגאוסיאן של שאלה 1 בטור א' - אזי יכול להיות שהציון המירבי על שאלון ב' יהיה 97 נקודות ולא מאה. כי, מה לעשות, גם מי שענה עליה באופן מושלם, קיבל פקטור שלילי. |
|
|
|
|
|
|
||
|
||||
|
לא הבעתי דיעה בקשר לרעיון כולו, חשבתי שיש לי תשובה מניחה את הדעת לבעיה אחת שהעלית. אולי טעיתי. 1 המממ. כן, אני חושב שיהיה קשה לנרמל הכל כך שבסוף כל שאלון אכן יסתכם ל-100. יובל? |
|
|
|
|
|
|
||
|
||||
|
1 דוקא לבעיה הספציפית הזאת אני חושב שיש לי תשובה - אתה צריך לנרמל את כולם לגאוסיאן הכי גבוה, ככה שכל הפקטורים שלך הם תמיד מעל אחד. אבל מן הסתם יש עוד בעיות אחרות שלא חשבנו עליהם בחמש דקות שהקדשנו לכך. |
|
|
|
|
|
|
||
|
||||
|
אכן, כנראה יש. מאז ההודעה האחרונה חלפה במוחי השאלה מה יקרה אם אחרי כל השקלול שמקנה לכל השאלות גאוסיאן חופף, נחשב את הציון המכסימלי של כל טופס בחינה (וירטואלי) ונשקלל שוב כך שהסיכום יהיה 100. מישהו ייפגע ומישהו אחר ירויח? | |
|
|
|
|
|
||
|
||||
|
אני בכלל לא בטוח שאפשר לעשות את מה שאתה מציע: מצד אחד, נניח שיש 5 שאלות בבחינה, ולכל אחת יש 50 שאלות אופציונליות מתוך המאגר, שנבחרו אקראית. אז מצד אחד יש לך 250 גאוסיאנים (אחד להתפלגות של כל שאלה מהמאגר), אבל מצד שני יש לך חמישים בחזקת חמש טפסי בחינה אפשריים - בערך 300 מיליארד כאלה. אז אתה לא יכול בעזרת הגאוסיאנים לנרמל את הבחינות. אם התכוונת שכל בחינה אינדיבידואלית תנורמל - נראה לי סביר מאד שיהיו כאלה שייפגעו: למשל אלה שהציון המקסימלי של הבחינה שלהם יצא 110. עכיו אתה צריך לתת להם פקטור של 0.9 בערך - מה ששוב ימנע אפילו מאיינשטיין1 לקבל 100 במבחן הזה. 1 ואל תקנה את המיתוסים על זה שהוא היה תלמיד גרוע. |
|
|
|
|
|
|
||
|
||||
|
מה ההסתברות שכל הקבוצות יהיו מספיק הומוגניות? אם לא, אתה עלול להקלע לקבוצה של תלמידים מוצלחים מהממוצע והפקטור שלך נמוך מהצפוי. | |
|
|
|
|
|
||
|
||||
|
1. נו, באמת. תלמיד שנבחן בבחינת חורף 2003 קיבל שאלות שונות לגמרי מתמיד שנבחן בבחינה של קיץ 2004. "הבעיה" הזאת קיימת היום בדיוק באותה מידה, והיא לא באמת בעיה. 2. החלוקה צריכה להיות, כמובן, בהתאם לבחירה של בית הספר, ובית הספר יכול לתכנן מראש את התאריכים של הבחינות והלימודים באופן שימקסם את הציונים של התלמידים. ההבדל בין רמת המיומנות באנגלית של תלמידים ביולי לבין הידע והמיומנות שלהם בפברואר היא לא משמעותית לציון של הבחינה באנגלית. 3. בכל העולם, וגם בישראל (מחוץ למשרד החינוך) משתמשים במאגרי שאלות לייצר מבחנים ברמה טובה. אין בזה שום בעייתיות, וזה בוודאי לא "נתון לפרשנות" (לא יותר מזה שמבחן שניתן לפני שנתיים שונה ממבחן שניתן לפני שלוש שנים "בעייתי" ו"נתון לפרשנות"). 4. איזה אמצעים מתאימים אתה מציע? 5. זה לא רק יפתור את בעיית האבטחה, למעשה - פתרון בעיית ההבטחה היא בונוס. זה יפתור את בעיית ההעתקות, את בעיית הלחץ על המערכת, את בעיית המבחנים הלא שיוויוניים, זה יחסוך למערכת הרבה כסף והרבה זמן, יאפשר לבתי הספר יותר גמישות בתכנון שנת הלימודים, יאפשר לתלמידים חולים להבחן ביום אחר בעלות אפסית ... |
|
|
|
|
|
|
||
|
||||
|
1. חלק מהענין הוא, שגם אם תכפיל פי שלוש את כמות השאלות, עדיין מי שיראה את כולן יום לפני יקבל יתרון, אז מה פתרת? 2. כן, כי מה שהתלמידים עושים בתיכון זה ריתמיקה ובזבוז זמן, ולכן חצי שנה שהיא שישית מכל הזמן שהם לומדים בתיכון לא משנה כהוא זה לרמת הידע שלהם - אתה רציני? 4. איזה אמצעים לאבטחה? מי שואל אותי, יש אנשים שמשלמים להם על זה, שיתמודדו. 5. לא הבנתי איך זה יחסוך למערכת כסף וזמן - זה שבמקום מאגר של 10 שאלות יהיו חמישים? ובחמישה (או עשרות קומבינציות של) טפסים שונים? זה נראה לי רק מסבך את הענין. ואיזה גמישות - הכי קל למערכת גדולה לבחון את כולם בכל יום וחסל, ככה מנהלים את האופרציה היקרה הזאת פעם אחת (פר בחינה) וזהו. תלמידים חולים - נו, שאלה יהיו הבעיות שלנו. |
|
|
|
|
|
|
||
|
||||
|
1. לא הבנתי למה אתה עונה. מי יראה את השאלות יום לפני כולם? 2. אם אתה, כמנהל בית הספר, יודע שאתה צריך להעביר את התלמידים בחינת בגרות במתמטיקה, באנגלית ובספרות בסוף כתה י"ב, ובשביל בחינת הבגרות באנגלית הם צריכים ללמוד 200 שעות בשנה, בשביל זאת במתמטיקה הם צריכים ללמוד 100 שעות בשנה ובשביל זאת בספרות הם צריכים ללמוד 300 שעות בשנה, אתה יכול לחלק את השעות האלה לאורך השנה באופן שווה, או שאתה יכול להחליט ללמד בסמסטר הראשון 90% אנגלית, לסיים את הבחינה באנגלית מוקדם, ללמד עוד חודש מתמטיקה 80% מהזמן, לסיים גם עם זה, ואז ללמד בשאר השנה ספרות. זה מה שעשו כשאני למדתי בבית הספר (היו בחינות שלקחנו בכתה י"א, היו תלמידים שלקחו את הבחינה במועד החורף...). אני רציני לגמרי ולא חושב שיש בזה שום בעיה אמיתית. מאפריל אף תלמיד לא לומד כלום מלבד להתכונן לבחינה הקרובה. 4. זה לא פתרון. אני לא חושב שאפשר לתת פתרון אמיתי לבעיה הזאת (בחינות תמיד דלפו, רק שהיום כשבחינה דולפת היא דולפת לכולם). 5. גם עכשיו יש מאגר של (הרבה יותר מ-)חמישים שאלות, זאת הדרך להבטיח שתוכן הבחינה לא ידלוף למרות שמאות אנשים חייבים לאשר כל שאלה. ברגע שאתה מכניס מחשב, "לייצר קומבינציה של טפסים" זה פעולה בעלות של אפס שקלים. לא ברור לי מה זה מסבך, נראה לי שאף פעם לא לקחת מבחן ממוחשב. ממש לא קל למערכת לבחון את כולם באותו יום, העובדה שהמערכת צריכה להעסיק עובדים חיצוניים רק לאותו יום צריכה להוכיח את זה לכל אחד. אני לא מבין מה זה אומר: "מנהלים את האופרציה היקרה הזאת פעם אחת" העלות של האופרציה נגזר מכמות הנבחנים - אם תחלק את הנבחנים לאורך השנה תחלק את העלות (ומן הסתם תוריד אותה, פעולות חד פעמיות תמיד עולות יותר). |
|
|
|
|
|
|
||
|
||||
|
2. אתה יודע, בית הספר התיכרון הוא לא מכונה (רק) לייצור בגרויות1, ואנשים הם לא מכונות, שאתה יכול להאכיל אותם חודש רק חסה וטופו וחודש רק עוף ואורז2. גם אני (מה אני - כל התלמידים במחזור שלי) עשיתי חלק מהבחינות בי"א, זה עדיין שונה מאד ממה שאתה מתאר. ואני מסכים שמסוף אפריל לערך לומדים בעיקר לבחינות, אבל זה באמת כבר החודשיים האחרונים של השנה, והמבחנים מפוזרים עליהם באופן כלשהוא, אז לא ברור לי למה זה דומה למה שאתה מציע. 5. העלות של אופרציה לא נגזרת רק מכמות הנבחנים. העלויות הקבועות של כל פעולה כזאת נצברות כשאתה מחלק אותן. לדוגמה - יותר קל מבחינה לוגיסטית למפעל להוציא את העובדים ליום טיול משותף, מאשר להוציא עשרה טיולים לעשירית מהעובדים כל יום (הי, תשווה את העלות של חתונה למאה איש (*4) לעלות של חתונה ל-400 איש. השנייה עולה פחות באופן משמעותי - דיג'יי אחד, הרבה פחות צלמים, אולם אחד, ושאר ירקות). 1 לפחות לא כפי שהוא אמור להיות. 2 מקביל ל"סמסטר אחד 90% אנגלית ושני 90% מתימטיקה", למען הבהר כל ספק. |
|
|
|
|
|
|
||
|
||||
|
2. כשכתבתי "אתה יכול להחליט ללמד בסמסטר הראשון 90% אנגלית" התכוונתי לכתוב "אתה יכול להחליט ללמד בסמסטר הראשון 90% - מתוך השעות שאתה חושב שצריך להדגיש להכנתם לבגרות - אנגלית". יותר ברור? בכלל, אני לא מבין מה הבעיה כאן - אם אתה המנהל אתה יכול להחליט שכל הבחינות יערכו בשבוע האחרון של יולי (ולראות כמה התלמידים שלך מאושרים מההחלטה הזאת) - זה היתרון בגמישות, היא גמישה. 5. כמה מהעלות של בחינות הבגרות נגזרת מכמות בתי הספר הנבחנים וכמה היא עלות קבועה? אני מניח (מהסיבות שפרטתי למעלה) שבאנגלית מדובר על 99% עלות שנגזרת אף ורק מכמות התלמידים וכמות בתי הספר. תחשוב מה היתה העלות של חתונה אילו היה אפשר לעשות חתונה רק בל"ג בעומר, כמה היה עולה די ג'יי (וכמה הוא היה טוב)... תחשוב כמה היה עולה נופש אילו כל המדינה היתה יוצאת לנופש רק בשבוע האחרון של אוגוסט.... |
|
|
|
|
|
|
||
|
||||
|
5. במשפט האחרון שלך אתה מבלבל בין העלות למעסיק לעלות למועסק. הסיבה שהמעסיק עושה חופשה מאורגנת בסוף אוגוסט היא בדיוק בגלל שזה עולה לו פחות. ומאחר שבמקרה של הבגרויות מעניינת אותנו רק העלות של המעסיק (משרד החינוך - שמקבל את תקציבו מכולנו) ולא של המועסק (התלמיד לא משלם על מלון כדי להופיע בכיתה לצורך הבחינה, ולכן כל ענין הביקוש הגבוה לטיסות וחופשות לא רלבנטי כאן), אז זה רק מחזק את הטיעון שלי. | |
|
|
|
|
|
||
|
||||
|
אם כל העובדים במדינה היו יוצאים לחופש בשבוע האחרון של אוגוסט אז העלות ל''מעסיק'' ול''מועסק'' - תגדיר אותם איך שתגדיר אותם - תהיה גבוה בהרבה. אותו הדבר מתקיים לגבי משרד החינוך שצריך להעסיק אלפי עובדים זמניים על מנת להשגיח ולבדוק את הבחינות. | |
|
|
|
|
|
||
|
||||
|
אחוז עצום של העובדים אכן יוצאים אז לחופש - על מה אתה מדבר? באשר לבדיקה, זה אכן לא נראה לי משנה פיזור הבחינות. כמות שעות העבודה שזה ייקח תהיה זהה בכל מקרה. |
|
|
|
|
|
|
||
|
||||
|
אחוז ניכר - 3% 5%? 10%? תחשוב מה יקרה אם נשנה את זה ל-100%. כן, כמות שעות העבודה תהיה זהה, רק שעובדים קבועים עולים פחות מעובדים זמניים והתוצרת שלהם פר שעה היא טובה יותר (ראה את הפסקה למעלה) |
|
|
|
|
|
|
||
|
||||
|
אתה מתבדר, זה כבר לא קשור לטיעון שלך. הראינו שחופשות מרוכזות כדאיות למעסיק, וזה כל הענין. אני לא בטוח שעובדים קבועים עולים פחות - יש להם תנאים שעות נוספות, הפרשות לפנסיה ושאר ירקות. |
|
|
|
|
|
|
||
|
||||
|
ה"מעסיק" "מועסק" מבלבלים אותך. בית ספר תיכון הוא גוף גדול מספיק (דומה ל"מעסיק" שלך) על מנת שיוכל לקבוע יום אחד או שניים בעלות מינימלית, המדינה כולה היא הרבה יותר מ"מעסיק", וכשכל המדינה קובעת את אותו יום (לבחינת בגרות, ליציאה לנופש או לחתונה) העלות (והתועלת) גדולה. אתה באמת רוצה שמי שיבחן את בחינת הבגרות של ילדי ישראל באנגלית יהיה במצב כלכלי שיגרום לו להסכים לעבוד ללא שעות נוספות? אתה בטוח שזאת הדרך להשיג את בודקי הבחינות המוצלחים והאמינים ביותר? |
|
|
|
|
|
|
||
|
||||
|
נסכים לא להסכים. ממילא אנחנו כבר מסתעפים הרחק מהענף העיקרי של הדיון. | |
|
|
|
|
|
||
|
||||
|
האם היום, בבחינת הבגרות בהיסטוריה נניח, נשאלות שאלות שלא נשאלו ב-50 השנים הקודמות? ובבחינת הבגרות במתמטיקה, האם בנטרול המספרים נשאלות שאלות חדשות? אם כן, הרי שכנראה "קל" יחסית להמציא עוד שאלות (50 כבר יש לנו...) בכל תחום, שפשוט יכסו את כל החומר הנלמד גם ככה, ומספרם יהיה כה גדול 1 שלא תהיה משמעות ללמידה שלהן מראש, גם אם יחשפו לתלמידים. אם לא, הרי שכבר היום, התלמידים למעשה חשופים לסט השאלות. התלמידים, אם השאלות הן אקראיות, יוכלו, בזמנם הפנוי, לקבוע תור ל"חדר הבחינות" מתישהו בין אפריל ליולי ובא לציון גואל. לחילופין, כל בית ספר יחליט שמחר כיתה י' 12 נבחנת בהיסטוריה בין השעות 2-5 ויא' 7 נבחנת במתמטיקה בין 8 ל11. יתרה מזאת, כל אדם (סטודנט או בוגר) יוכל בצורה כזאת, להיבחן שוב (נניח בפערים של כמה חודשים) במבחן הבגרות, במועדים גמישים יחסית, ולא להיות מקובע ללוז של משרד החינוך. 1 אם יש במבחן טיפוסי במתמטיקה 7 "סוגי שאלות", ומכל אחת יש במאגר של משרד החינוך 100 שאלות. הרי שאין משמעות לעובדה שהן חשופות, אי אפשר לשנן פתרון, רק להבין אותו. |
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |