בתשובה ליובל נוב, 20/04/03 5:01
 |
|
 |
||
|
||||
 |
מרשים. אם זה לא כרוך בדיווש נוסף (לאחר הטרחה שבתגובה 141640), אשמח אם תוכל להוסיף פרטים על המחקר הזה. בפרט: 1. איך נבחרו 120 הנבדקים? 2. איך בחרו, לכל אחד מהם, את 4+4 חוות-הדעת ה"שגויות"? 3. באיזה מבחן סטטיסטי השתשמשו כדי לנתח את התוצאות? מהם ארבעת המספרים שהתקבלו במבחן? |
 |
 |
 |
|
|
|
||
|
||||
|
הנבדקים במחקר היו 60 זוגות הטרוסקסואליים שנמצאו במערכת יחסים יציבה במשך לפחות שנה בזמן עריכת המחקר (ממוצע = 11.6); טווח הגילים היה 65 - 19. במאמר לא מצויין כיצד נבחרו הנבדקים, אך הרקע שלהם תואר כ-”primarily managerial and professional”. הנבדקים התבקשו למלא שאלון פסיכולוגי בשם Cattell 16PF, ומיד לאחר מכן לדווח בכתב-יד על חווית מילוי השאלון. את תוצאות השאלון הפסיכולוגי הזינו החוקרים ל"מערכת מומחה" ממוחשבת, שיצרה על פיו באופן אוטומטי חוות דעת מילולית על אישיות הנבדק. מערכת המומחה נקראת "the 16PF report generator, Psyconsult 1989", אך לא הצלחתי למצוא עליה פרטים נוספים ברשת. לצורך הניתוח הגרפולוגי, השתמשו החוקרים שוב במערכת ממוחשבת, הנקראת “Handwriting Analyst”. זוהי מערכת המבקשת מהמשתמש לענות על כמה עשרות שאלות בנוגע לכתב היד אותו הוא מבקש לנתח, ומפיקה על פי התשובות תיאור מילולי של אישיות הכותב. פרטים נוספים על המערכת ניתן למצוא ב- http://www.garthmichaels.com, וגם להוריד עותק נסיון (מעניין ומומלץ!). מהגרפולוגים שבקהל יש לי בקשה: התוכלו בבקשה לחוות דעתכם על תוכנה זו, ולשתף אותנו בדעתכם על הפוטנציאל האבחוני של תוכנות כגון זו? לאחר לפחות שבועיים ממועד מילוי השאלון, קיבל כל אחד מהנבחנים שתי חמישיות של חוות דעת: חמישיה אחת הורכבה מחוות דעות שהופקו על סמך מבחן ה- 16PF- אחת שנכתבה על בסיס כתב היד של נבדק וארבע אחרות שנבחרו באקראי; חמישיה שנייה הורכבה באופן דומה מחוות דעת שהופקו על בסיס כתבי היד. הנבדקים התבקשו לדרג את חוות הדעת בכל אחת מהחמישיות על פי מידת דיוקן, ולאחר מכן חזרו על התהליך עבור בן/בת הזוג. לא התאפשרה כל תקשורת בין בני הזוג בעת קביעת הדירוגים, מיקום חוות דעת ה"מטרה" נקבע באקראי בכל חמישיה, וסדר הצגת החמישיות (16PF כנגד כתב יד) היה counterbalanced. בצורה זו התקבלו ארבע קבוצות דירוגים (16PF עצמי, כתב יד עצמי, 16PF על בן/בת הזוג, וכתב יד על בן/בת הזוג). השערת האפס היתה שמיקום חוות דעת ה"מטרה" נקבע באקראי בתוך כל אחד מהדירוגים, כך שתחת השערה זו התפלגות מיקום חוות דעת ה"מטרה" בכל אחת מארבע הקבוצות היא מולטינומית. מבחן chi^2 סטנדרטי העלה את התוצאות הבאות: השערת האפס נדחתה עבור חוות הדעת שחוברו על בסיס שאלון ה- 16PF גם עבור חוות הדעת העצמיות וגם עבור חוות הדעת על בן/בת הזוג; ה- p-values היו, בהתאמה, מתחת ל- 0.00001 ומתחת ל- 0.005. השערת האפס לא נדחתה עבור חוות הדעת שחוברו על בסיס כתבי היד; ה- p-values של חוות הדעת העצמיות וחוות הדעת על בן/בת הזוג היו, בהתאמה, 0.43 ו- 0.14. התוצאות, אם כן, מראות באופן חד משמעי שחוות הדעת מבוססות ה- 16PF אינן "אקראיות", אך שלא ניתן לומר זאת על חוות הדעת מבוססות כתבי היד. עם זאת, הניסוח של השערת האפס הוא בעייתי מעט לדעתי: במבחן, כפי שתואר לעיל, גם דירוגים שישימו את חוות דעת ה"מטרה" במקום *האחרון* באופן שיטתי יגרמו לדחיית השערת האפס. מכל מקום, עיון בגרפים המתארים את התפלגות מיקום חוות דעת ה"מטרה" על פני המקומות 5 - 1 שולל אפשרות זו: הגרף המתאים לחוות דעת מבוססות ה- 16PF נראה מונוטוני יורד באופן חד, ואילו הגרף האחר אכן נראה כמתנודד באופן אקראי סביב הממוצע (= 24). אם יהיה ביקוש, אשמח לכתוב על שיטה סטטיסטית אחרת ל"מדידת" דירוגים, ועל שני ניסויים בעלי תוצאות מפתיעות שערך ברוך נבו באמצעותה. טיזר קצר: עדיף להיות גרפולוג חסר נסיון! |
|
|
|
|
|
|
||
|
||||
|
יובל, תקן אותי אם אני טועה, אבל המחקר המצוטט, לפי הבנתי, לא בדיוק בודק את הגרפולוגיה, אלא את תקפותה של חוות דעת שנכתבת על ידי תוכנה מסחרית ששוויה $14. נראה לי שאם אפילו מי שפיתח את התוכנה לא חושב שהיא ראויה יותר, תוצאות המחקר יהיו משמעותיות בהתאם. אז תגיד לי, זה לא מגמתי להציג ככה מחקר תקפות הבודק את תקפות הגרפולוגיה? ועל השטויות האלה אנשים מעבירים שנים באקדמיה? אדגיש שנית: כל מבחני האישיות שאינם שאלונים אינם ניתנים לכימות ולבידוד משתנים שכן כוחם דווקא באינטראקציות של המשתנים ובתמונה ההוליסטית המתקבלת. לפיכך שיטות מלאכותיות למיחשובם אינן מובילות לתוצאות משביעות רצון, וברור מראש שהשוואתם לשיטות כמותיות של שאלונים (כמו ה-16PF בו השתמשו כאן) נידונה לכשלון. את זאת ידעו מתכנני הנסיון, להערכתי, וסביר שלצורך כך תפרו את המחקר (כן, גם לזה יקרא מחקר במקומותינו). האם תקראו גם לפסיכולוגים כותבי המחקר נוכלים??? ה- 16PF מנתח במבודד 16 תכונות אישיות, אבל לא מאפשר להעריך איך תכונה 231 המשולבת בתכונה 85 עושה היפוך-תגובה או כל מודיפיקציה אחרת לתכונה מס' 12.לפיכך הוא עושה אנליזה למספר נתונים קטן באישיות אבל איננו מתאר את האישיות, צרכיה, תפקודיה, מניעי התנהגותה ופוטנציאל ההצלחה שלה בתפקידים שונים. אדגים מתחום המוכר לכם אולי יותר: מבחני IQ, כשאלוני אישיות (כ-16PF) נותנים ערך מספרי וניתנים לתיקוף מדעי מעולה בשל מהיימנות גבוהה מאוד בין שופטים ובתוך שופט. אבל זה שיש לרוב המשתתפים בדיון IQ גבוה מ-120, כמקובל בבוגרי אוניברסיטה מהווה חזא סטטיסטי מסויים להצלחתכם בתפקיד ניהולי, אך יהיה זה שיקול טראגי לבחור עובדים על פי מדד זה בלבד. גורמים חשובים לא פחות, ואפילו יותר, הם מוטיבציה הישגית (למשל - דרבון עצמי לתרום לעבודה, שלא תחת פיקוח - שלא מתקיים אצל אלה מכם שמשוטטים באתר זה בזמן העבודה), יחסי אנוש מעולים (והיום נחשבת האינטליגנציה הרגשית למדד חשוב יותר בהצלחת עובדים מאשר IQ), רמת האגרסיה, ההתמדה, יכולת האלתור במצבים משתנים, ייזום... רק מבחני האישיות שאינם שאלונים, ולכן אינכם רואים בהם כלים מדעיים, יכולים לתת מענה בו זמני על צירופי תכונות אלה ואחרות, ככל הנדרש בתפקיד. שהרי מנהל יוזמני ובעל יכולת אלתור יכשל כשלון חרוץ בתפקיד ניהולי שחשובים בו שימור קביעות, עיתוד מלאי ובקרת איכות, ולהפך. מעבר לזאת, כל מי שמצוי בניתוח עסקים יודע כי מערכות היחסים ויחסי הכוחות במקום העבודה, כפי שהם משתקפים בעיקר בדוח"ות ממונים, מונעים בעיקר על ידי יצרים (שליטה, כסף,לפעמים אלמנטים מיניים לא לגמרי מודעים) ועל ידי רגשות (נחיתות, קיפוח), שאינם בדיוק אלמנטים לוגיים. הלבשת מערכת חשיבה הלקוחה מעולם לוגי תיאורטי, המתאימה להחלטות ממוחשבות ותכנון מבנה חלבונים,על הקלחת הרוחשת האי-רציונאלית של מקום העבודה, כפי שתארתיה, נידונה לכשלון.כך, אגב, כפי שציין הגרפולוג - לא ניתן לחקור כמותנית יחסי משפחה והצלחת טיפול פרטני או משפחתי, שהם בכל זאת כלים ישימים, מועילים ונחשבים למכובדים בחברה המערבית. לכן לא מפתיעה אותי מסקנתו של זה ששינה עמדותיו על סוגית המיון המקצועי והחליט להתבסס מעתה רק על האינטואיציה שלו (שהרי זה כלי אי-רציונאלי מובהק בהגדרתו). מעניין איך יבדוק מחקרית את הצלחתו במיון עובדים... גם לא מפתיעה ההתבצרות של רבים מכם בדיעותיהם המקוריות ואף חיזוקן, דבר שכזכור לכם צפיתיו - לפי עקרונות הדיסוננץ הקוגניטיבי.לכן מפריע למתנגדים לגרפולוגיה המדגם הקטן במחקר תומך אבל לא במחקר שתוצאותיו הפוכות, לכן אוניברסיטה (ציריך) שיחדה כנס לגרפולוגיה והוציאה ספר מאמרים בנושא נחשבת אצלם ל"נידחת", ונטפלים לגרפולוג היחיד העוסק במיסטיקה באגודה המקצועית כהוכחה לתקשור הגרפולוגיה.פסיכולוג, כמו הקליני שעבר כאן ויצא לחופשה, מזהה בקלילות יתר-תגובה, היושב על חרדה (מפני חשיפה? מהלא מוכר? מפירוק ההגנות כאינטלקטואליזציה, רציונאליזציה, בידוד?), ונסיונות להיבנות מתוך דה-וולואציה של אחרים (הגרפולוגים שהם רק נוכלים ומכשפים, פרופ' נבו - שהוא רק מומחה לטסטולוגיה - ולא משנה שהקדיש מספר שנים מחייו לחקר הגרפולוגיה ולימוד אצל בכירי הגרפולוגיה וגם חוקרי הגרפולוגיה בעולם..) למדתי המון אצלכם, וכשיהיה לי פעם זמן אקרא חלק מהמאמרים שצוטטו כאן (איך אתם מספיקים להתעדכן בכל המאמרים מהר כל כך? כולם פה מובטלים? למרות הלוגיקה המפותחת והידע האינסופי אף בתחומים לא מוכרים לכם?). לפני פרידה -קשה לי לברכם בשלום, הגרפולוגית שאיחלה לכם זאת קבלה מקלחת של צוננים והשליכו עליה את הפחדים מפני מטיפים דתיים... אולי עדיף אם כך לסיים במשפט לוגי (והפעם - גם מציאותי) יותר: "צדיק באמונתו יחיה". ענת (שלמרות שאיננה גרפולוגית, ואף יש לה ביקורת מסוימת כנגד הדיסציפלינה וחלק מהעוסקים בה, ניסתה לשפוך כאן אור אחר, ולהוריד ממגדל השן אל קרקע המציאות) |
|
|
|
|
|
|
||
|
||||
|
אני מצטרף לתמיהתה של ענת זיו על-כך שמחקר שמתיימר להשוות חוות-דעת גרפולוגיות ופסיכולוגיות, משווה בעצם פלטים של תוכנה. זה אולי קביל במקרה של שאלון אישיות שממילא התשובות עליו הן מספריות, אבל הכשלון הגרפולוגי יכול בקלות להיות מוסבר בחוסר המקצועיות של המשתמש שאמור לענות על "עשרות שאלות בנוגע לכתב היד אותו הוא מבקש לנתח". מוסר השכל: לא תמיד אפשר להאמין למה שכתוב ב- Abstract. אם עתותיך בידיך, אשמח לשמוע על מחקר אחר באותו נושא. אגב, הבחירה במבחן chi-square בניתוח הסטטיסטי רחוקה מלהיות אופטימלית. מבחן קורלציה (בין המקום הסידורי לסיכוי להגיע למקום כזה) מתאים יותר, ואני מהמר שהוא יכול לזהות אי-חלקויות קטנות פי (sqrt(5. (התכוונת לכתוב שתחת השערת האפס התפלגות מיקום חוות הדעת היא אחידה; "מולטינומית" מתאים להתפלגות כלשהי). |
|
|
|
|
|
|
||
|
||||
|
אני מסכים גם עם ענת וגם אתך כי המחקר המדובר אינו מהמוצלחים או המשכנעים במיוחד. חשוב לזכור, עם זאת, כי זהו רק מחקר אחד מבין רבים על פיהם ביססתי את דעתי (ראו תגובה 141640). מחר אשתדל לכתוב על גישה סטטיסטית אחרת לניתוח "ניסויי דירוגים", שאינה מבוססת על מבחן chi^2. אני מתנצל אם לא הייתי ברור בהגדרת ההתפלגות: בכל אחת מארבע קבוצות הדירוגים יש 120 תצפיות, שכל אחת מהן יכולה "ליפול" לאחת מחמש הקטגוריות 1,2,3,4,5. תחת השערת האפס, ההסתברות ליפול לכל אחת מהקטגוריות היא אכן אחידה (דהיינו, 1/5), ולכן ל- 120 התצפיות *ביחד* מתאימה התפלגות מולטינומית עם הפרמטרים 120, 1/5,...,1/5. |
|
|
|
|
|
|
||
|
||||
|
להלן תיאור של שני ניסויים שערך ברוך נבו תוך שימוש בגישה סטטיסטית שונה מזו שתיארתי בתגובה 141987. למתלבטים: כדאי לקרוא! יש טוויסט בעלילה בסוף! בניסוי הראשון (נבו, 1989) התבקשו עשרה סטודנטים לתואר ראשון להשיג עותק בכתב יד של עמוד אחד מספר בראשית, כתוב בכתב ידו של אדם אותו הם מכירים היטב. כתבי היד נמסרו לעשרה *תלמידי* גרפולוגיה, שחיברו על פיהם עשרה תיאורי אישיות (כל תלמיד חיבר תיאור אחד). כל אחד מעשרת הסטודנטים קיבל עותק מכל אחד מעשרת התיאורים, והתבקש לדרג אותם בהתאם למידת התאמתם לאישיות הכותב אותו הוא מכיר. באופן זה נוצרו עשרה דירוגים. בכל דירוג ניתן למדוד את המרחק בין מיקום התאור שאכן התבסס על כתב היד הרלוונטי לבין המקום הראשון, ואז לחשב את ממוצע המרחקים הללו. לממוצע הנ"ל ניתן לבצע טרנספורמציה מסויימת, ולקבל מספר המכונה g, שבדומה למקדם מתאם רגיל, גם הוא מקבל ערכים בין 1- ל 1 1. אם כל המדרגים שמים את תיאור ה"מטרה" במקום הראשון, יתקבל g = 1; אם כולם שמים אותו במקום האחרון, יתקבל g = -1, ואם הם פשוט בוחרים דירוג אקראי, אזי (בתוחלת) g = 0. בניסוי התקבל g = 0.344. נבו מדווח כי ההסתברות לקבל ערך זה או גבוה ממנו באקראי היא נמוכה מ- 0.05, כך שתלמידי הגרפולוגיה הצליחו במשימתם באופן מובהק סטטיסטית. נבו מציין, עם זאת, כי ההצלחה היא נמוכה יחסית (רק שלושה מהסטודנטים דירגו את התיאור הרלוונטי במקום הראשון), וכי על סמך ממצאים אלה *לא* ניתן להמליץ על שימוש מעשי בגרפולוגיה בתור כלי פסיכודיאגנוסטי יחיד. מצד שני, נבו משער כי אילו גרפולוגים מנוסים היו משתתפים בניסוי, התוצאות היו מרשימות יותר. ייתכן שמסיבה אחרונה זו ערך נבו ניסוי משופר במועד מאוחר יותר (נבו ובניטה, 1993): שנתיים לפני מועד הניסוי, השתתפו 12 עובדים במפעל מסויים בסדרה של מבדקים פסיכולוגיים, שאחד מהם כלל כתיבת סיפור באורך שני עמודים. סיפורים אלה נמסרו לשלושה גרפולוגים בעלי נסיון של 10-15 שנים בתחום ההשמה התעסוקתית, שחיברו על פיהם תיאורי אישיות הכוללים התייחסות מיוחדת לתפקוד הכותבים בסביבת עבודה. כל גרפולוג חיבר 12 תיאורים, ובניסוי נכללו רק כתבי יד שהגרפולוגים מצאו "תקינים". שלושה פסיכולוגים תעסוקתיים קיבלו את תוצאות סדרת המבדקים הפסיכולוגיים שעברו הנבדקים, וכל אחד מהם חיבר על פיהם 12 תיאורי אישיות בדומה לגרפולוגים. בצורה זו נוצרו 12 סטים של תיאורים, שכל אחד מהם כלל שישה תיאורים: שלושה שנכתבו על ידי גרפולוגים, ושלושה שנכתבו על ידי פסיכולוגים. לכל אחד מ-12 הכותבים נבחרו שני מדרגים (סה"כ 24 מדרגים) שעבדו עם הכותב במפעל במשך שנתיים לפחות. כל אחד מהמדרגים התבקש שש פעמים (אחת לכל פסיכולוג/גרפולוג) לדרג שישה תיאורי אישיות של הכותב אותו הוא מכיר: תיאור אחד התבסס על כתב היד/תוצאות המבדקים של הכותב, והחמישה האחרים נבחרו באקראי מבין התיאורים של אותו פסיכולוג/גרפולוג. כך התקבלו 24*6 = 144 דירוגים; מחציתם נוצרו על בסיס ניתוחים גרפולוגיים, ומחציתם על בסיס מבדקים פסיכולוגיים. לכל אחד מהדירוגים חושב ערך ה- g המתאים. ומה היו התוצאות? ה- g החציוני אצל הפסיכולוגים היה 0.48 (שמתאים לרמת מובהקות של 0.001), ואילו אצל הגרפולוגים הוא היה 0.00. ------------- 1 אם m הוא הממוצע ו- n הוא מספר התיאורים, אז g = 1 - 2m/(n-1)
|
|
|
|
|
|
|
||
|
||||
|
יובל, בדקתי את התוכנה (בגרסת המקינטוש שלה) ומצאתי אותה מפורטת מאוד בשאלותיה, אך אין לי דרך לדעת מה ערך התשובות שהיא נותנת. נשאלות למעלה ממאה שאלות על מאפיינים שונים ומשונים של הכתב, אות אחר אות, עם דגש על אותיות כמו t או i ומאפייניהן השונים. בשלב מסויים כשל כוח סבלי ופרשתי. | |
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |