|
||||
|
||||
נו, באמת. בגלל שלא כל התיאוריות צודקות צריך לזרוק את כל הענף למדעי הרוח? הידעת, למשל, שבפיזיקה החוקרים *מצהירים בריש גלי* שהתיאוריות שלהם אינן אלא קירוב של המציאות, שעוזר לתת ניבויים אבל אינו משקף בהכרח את המציאות במלואה? אז אם מהפיזיקה אנחנו לא מצפים למציאות אחד לאחד, אז איך אפשר לצפות לדבר כזה ממדעי החברה? לפי גישתך, אין דבר כזה בכלל מדעי החברה - לא מדה"מ, לא יחב"ל, לא פסיכולוגיה, לא תקשורת, לא סוציולוגיה, לא כלום. אפשר לבטל את הפקולטה. יש חוקר אחד, וויליאם רייקר (לא זה מסטאר טרק), שנורא נורא רוצה שמדע המדינה יתן תיאור מדוייק אחד לאחד של המציאות. אז הוא לקח, למשל, את חוקי דיברג'ה1, וראה שהם לא תמיד מתאימים. אז מה הוא עשה? הוא נטל את כל המקרים הבעיתיים (קנדה ועוד אחד), ודאג לנסח את החוק כך שיכלול בתוכו גם את המקרים הבעייתיים. אז עם מה נשארנו? עכשיו זה כבר לא חוק, וגם לא הערכה - עכשיו זה פשוט תיאור. באותה מידה הוא היה יכול לכתוב "בשיטה רובית נוצרת מערכת דו-מפלגתית, חוץ מבקנדה ובעוד מקום". זה לא נותן כלום. התיאור הזה של המציאות פשוט לא נותן לנו כלום בבואנו לבחון אפשרויות עתידיות להתפתחות. למשל, כאשר רוצים לבנות חוקה למדינה, אם רוצים מערכת רב-מפלגתית, ברור שלא ננסח שיטת בחירות רובית. לפי הגישה שלך - המסקנה הזו בטלה, בגלל שהמציאות אינה *תמיד* נענית לקביעה הזו. אז אי אפשר לדעת כלום, ואפשר לזרוק את האוניברסיטאות לזבל. יופי. 1 שיטה רובית תיצור מערכת דו-מפלגתית |
|
||||
|
||||
אני חושבת שמדע המדינה צריך להילמד במסגרת מדעי הרוח. וכן, אני סבורה שיש בעייתיות במדעי החברה באופן כללי. הניסיון להסיק סיבתיות בין שני משתנים בלי כל יכולת לבודד משתנים אחרים הוא לב הבעיה. לא מזמן (לפני כשנה) התפרסמו ב''הארץ'' תוצאותיו של מחקר בנושא הקשר בין שלושה משתנים (ותסלחו לי על חוסר הדיוק, המאמר לא נמצא מולי) ''מספר הופעות ח''כ בתקשורת'', ''מספר החוקים שחוקקו'' (או היקף פעילותם הפרלמנטרית שנמדד באופן דומה) ו''התקדמותם המקצועית'' (המקום בו נבחרו בפריימריס של רשימתם). תוצאות המחקר היו משהו בסגנון ''הופעות בתקשורת משתלמות יותר מפעילות פרלמנטרית'' כי הוכח שם שיש יחס ישר בין ההופעות בתקשורת להתקדמות ברשימה, לעומת יחס כמעט הפוך בין פעילות פרלמנטרית להתקדמות ברשימה. זוהי דוגמא קלאסית להנחת סיבתיות במקום שהיא אינה קיימת בהכרח. לא נבדקו משתנים אחרים כמו האם ח''כ מתפקד גם כשר ואז סביר יותר שיופיע יותר בתקשורת, יחוקק פחות חוקים ויהיה במקום גבוה יחסית ברשימה... ישנם מחקרים רבים בהם הנחת סיבתיות כזו היא לב הבעיה. |
|
||||
|
||||
"בלי כל יכולת לבודד משתנים אחרים"? היכולת קיימת גם קיימת, ומנוצלת ע"י כל חוקר רציני. מחקר כגון זה שתיארת ב"הארץ" או לא בוצע כיאות, או - כפי שקורה פעמים רבות - העיתונות הפופולרית משמיטה את כל הפרטים ה"משעממים" ומתמקדת בממצאים ובמשתנים העיקריים. בדיחה קבועה בין החוקרים העובדים איתי (על פרוייקט הקשור ללימודי אמנות בבתי"ס בניו-יורק) היא כי מכל 60 העמודים של הדו"ח אשר אנו שולחים למשרד החינוך של מדינת ניו-יורק מדי שנה, מה שמגיע לעיתונות הן 3-4 כותרות סנסציוניות המוצאות לחלוטין מהקשרן. סיבתיות היא אכן נושא רגיש ומסובך, אך כל חוקר מנוסה מודע היטב לבעייתיות ולעולם לא יסיק מסקנות אשר אינן חד-חד-משמעיות. אם כבר חיפשת את "לב הבעיה", הרי שלדעתי הבעיה האמיתית עם סטטיסטיקה (ומדה"ח מסתמכים מאוד על סטטיסטיקה) היא היכולת של חוקרים בעלי אג'נדה מסויימת לבצע מניפולציות מתודולוגיות (בלי קשר לנושאי סיבתיות; אני מתכוונת לדיווח סלקטיבי וראיה סלקטיבית של כוח סטטיסטי). קל להוכיח מ.ש.ל, וקשה לשלוט בדעה האישית וברצון האישי לראות תוצאות מסויימות. הבעיה, מכאן, נובעת מטבע האדם, ומכך שביקורת אקדמית על מחקרים מסויימים נשארת בגבולות האקדמיה ולא מגיעה לתקשורת, וכך הציבור נותר עם הכותרות הסנסציוניות של המחקר הראשוני. |
|
||||
|
||||
על מנת שלא אובן שלא כיאות. ברור שיש מחקרים רציניים במדה''מ. אבל בתחום זה רבים המקרים בהם הסיבתיות מוסקת שלא כראוי, ואני לא חושבת שבאמת ניתן להסיק מסקנות חד-חד-משמעיות כאשר מנסים לכמת משתנים שכימותם פוגע במורכבותה של התמונה המלאה. מחקר שיישען בעיקר על השיטה הכמותית ההשוואתית, וייעדר ניתוח היסטורי מורכב מספיק (שיעמוד על ייחודו של המקרה הנחקר), עלול להיות בעייתי. מאמרו של קרל פופר המבקר שיטות מחקר שאינן עומדות במבחן ההפרכה הוא מעניין לדעתי. (אנסה לאתרו בהמשך).(נראה לי שהוא יוצא נגד הפסיכואנליזה). |
|
||||
|
||||
א. על איזה ניתוח היסטורי, למשל, אפשר לדבר במחקר הנ"ל של תמיר שפר? ב. מאז קרל פופר זרמו הרבה מים במזרקה של הר הצופים. קרו דברים מאז. הגיע הזמן להמשיך הלאה. |
|
||||
|
||||
במקרה נפלת על מחקר שלמדתי באופן ספציפי, שכן אותו חוקר (תמיר שפר, מהמחלקה לתקשורת באונ' העברית) העביר לי קורס בסמסטר שעבר. מספר ההופעות בתקשורת השפיע עד רמה מסויימת, ומעליה כל תוספת ברמת החשיפה לא סייעה להגביר את הצלחתו של המועמד בפריימריז. מספר החוקים שחוקקו, בין השאר, הוא אחד ממדדי הביקורת שנבדקו במחקר. נבדק גם מעמד פוליטי (כלומר, משרת שר, ראש ועדה ושאר ירקות), וכל אחד מהם נתן ניבוי ברמה פחותה מאשר רמת החשיפה בתקשורת. מה שהוצג בעיתון (סורפרייז סורפרייז) היה רק חלק מהמאמר, החלק שעניין את הכתב באותו הרגע - להראות שפעילות פרלמנטרית אינה משתלמת בישראל, ושמוטב לאנשים כמו תמר גוז'נסקי להתרכז בהופעות בטלוויזיה ולא בפעילות פרלמנטרית (למעשה, המחקר הזה לא אומר כלום על גוז'נסקי, שכן היא לא מתמודדת בפריימריז, אבל זו הדוגמא הכי מוכרת לח"כ פעלתן מבחינת חקיקה). איך לעזאזל את יכולה לשפוט מחקר שלא קראת לפי מה שכתבו עליו בעיתון?! |
|
||||
|
||||
המגמה של שני המשתנים ("הופעות בתקשורת", "התקדמות ברשימה") הייתה זהה, אבל בדיקת מידת הקשר בינהם, ההשפעה ההדדית ביניהם איננה ניתנת להוכחה. המשפט שאתה אומר "מספר ההופעות בתקשורת השפיע עד רמה מסויימת,ומעליה כל תוספת ברמת החשיפה לא סייעה להגביר את הצלחתו של המועמד בפריימריז" מניח מראש קשר הדוק מידי, שאותו אני מניחה ביקש החוקר להוכיח. במדה"מ הרבה יותר קשה לבודד משתנים על מנת להוכיח את מידת הקשר ביניהם, אין מקרים מושלמים - כל המקרים הם מקרים פרטיים עם מורכבויות שאינן ניתנות לכימות!! אני תומכת במחקרים ברמת ניתוח המקרה - למשל שיבדקו את תמר גוז'נסקי, היקף חקיקתה, התפקידים השונים שמילאה, אישיותה, ספרים שכתבה, היותה כריזמטית או לא כריזמטית, מוצאה ומאפיינים רבים אחרים, ואולי גם מאפיינים כמותיים השוואתיים במקביל - ורק אז ינסו להעניק הסברים שונים ומגוונים יותר מה הביא לקידומה או לאי קידומה. השאיפה להעניק הסברים חובקי כל בעלי תוקף מדעי עלולה להוביל להסברים שמבטאים את השאיפה הטבעית של האדם למצוא היגיון וסדר במקומות בהם אין חוקיות. אני חושבת שפופר וביקורתו רלוונטים גם היום. |
|
||||
|
||||
מיכל, את ראית כתבה בעיתון, אני קראתי את המחקר המקורי. את באמת עומדת לנסות לספר לי מה היה שם? אני ראיתי את הנתונים. הם יצרו, כמעט בלי יוצאים מהכלל, קשת נאה שתיארה בדיוק את מה שאמרתי - חשיפה בסיסית היא קריטית, ומעבר לרמה מסויימת - היא כבר לא כל-כך משנה. עוד משתנה שנבדק, שהיה בעל משמעות חשובה מאוד למחקר, היא מיומנות תקשורתית (שנמדדה הן ע"י שיפוט של עיתונאים והן ע"י שיפוט של ח"כים אחרים). שקלול של המשתנה הזה יחד עם כמות ההופעות בתקשורת, יצר דיוק מדהים בניבוי הצלחה אלקטורלית. נניח שניקח את גוז'נסקי וננתח אותה למוות כפי שתיארת - מה נעשה עם זה אחר כך? למה זה מעניין בכלל לדעת מה היו הנסיבות המדויקות והספציפיות שהביאו את גוז'נסקי לאיפה שהיא היום? זה לא עוזר בכלום. זה לא נותן לנו כלום, ואין שום טעם לחקור את זה. אני חושב שביטוי לשאיפות של האדם (במקרה זה, שלך), אפשר לראות דווקא בשלילה האוטומטית שלך של כל התחום של מדעי החברה - ועוד על בסיס ידיעה בעיתון, אפילו בלי לדעת שהמחקר נעשה על-ידי חוקר תקשורת ולא איש מדעי המדינה. אבל למה להתקטנן על עובדות, מה? |
|
||||
|
||||
עזוב את המחקר הזה... אתה מבין ממנו יותר ממני, אין לי ספק. אני לא שוללת את מדה"מ, באמת שלא!! אבל לעולם יהיו משתנים משפיעים שלא יהיו ניתנים לכימות. הטענה שלי היא יותר כללית וחלשה - מחקרים כמותיים רצוי שיבואו יחד עם ניתוח מקרה. לא מדובר במשתנים פיזיקליים שניתן לבודדם, לא ניתן ליצור מקרה מושלם נעדר מרכיבים פרטיקולריים (כמו ניסוי במכניקה בו ניתן לייצר סביבה מושלמת נעדרת חיכוך וכו'). מחקר כמותי, באופן טבעי,בגלל שאיפתו להכללה, לא יכול לקחת בחשבון מרכיבים פרטיקולריים מסוימים. במחקר כמותי העוסק בתופעה אנושית, חוסר הדיוק שינבע מהיעדר מרכיבים פרטיקולרים עשוי להיות גדול מדי. |
|
||||
|
||||
אני לא מצליחה להבין אם את כותבת ביקורת מתוך הכרה מעמיקה של מחקר כמותני ואיכותני, או שאת פשוט לא יודעת הרבה על שיטות מחקר, כך שאני לא יודעת לאן לכוון את התגובה שלי. את רוב מה שהיה לי לומר כתבתי בתגובה למעלה, אבל הנה, אני שוב כאן. נדמה לי שאת לחלוטין לא מבינה את הבסיס הלוגי לכל מחקר כמותני במדה"ח, ולא מבינה את הבסיס מאחורי שיטות מחקר כמותניות. כמובן שאין תנאי מעבדה במדה"ח; תמיד קיים גורם אנושי, וזוהי בדיוק הסיבה לשימוש במחקר כמותני והעדפתו על-פני מחקר איכותני כשמעוניינים בהכללות כלפי שאר האוכלוסיה. אם *למרות* הגורם האנושי, מצאתי קשר סיבתי מובהק בין מס' שעות הכנת שיעורי בית ביום לציון בבחינה, הרי שאני יכולה לומר בוודאות של 95% או 99% (תלוי) שקיים קשר בין השניים. לעומת זאת, מחקר איכותני יספר לי את סיפורה של מיכל, איזו מין סטודנטית היא ואלו ציונים היא מקבלת. בגלל כל הגורמים האנושיים האופייניים למיכל ולה בלבד, הרי שלא ניתן לבצע שום הכללה ממחקר כזה, ולא למדתי שום דבר חדש בתחום מלבד הרחבת ידיעותיי על ההרגלים של פרט אחד בשם מיכל. "ניתוח המקרה" לא חיזק את הטענה שלי כלל. אני עצמי עורכת מחקרים איכותניים מדי פעם, ולחלוטין לא שוללת את המתודולוגיה האיכותנית מכל וכל. אבל הרציונל בו השתמשת הוא בדיוק ההפוך לזה המנחה חוקרים בבחרם בשיטת מחקר איכותנית. |
|
||||
|
||||
ואם למרות הגורם האנושי ואקראי, מצאתי קשר סיבתי מובהק בין הסיכוי להיות מוכש ע"י נחש לאכילת תפוז בזמן ההכשה? אם אראה שאנשים שאכלו תפוזים כמעט ולא הוכשו לעומת אנשים שלא אכלו תפוז האם אוכל לטעון בודאות של 95% או 99% אחוז לקיום קשר *סיבתי* בין השניים? את הדוגמא הזו קיבלתי בשנה א' ללימודי כדי להשמר ממוקשים כאלו, כי אפילו אם נקבל מספר מובהק עד אין קץ, זה לא מבטיח סיבתיות. קשה להיות מוכש כשאוכלים תפוזים, כי תפוזים מבשילים בחורף, ונחשים פעילים בקיץ. לכן הקשר הוא בסופו של דבר רק *נסיבתי*. איסוף ערב רב של פרטים, כפי שמציעה מיכל, דווקא נראה לי, ואינו מחייב לשלוח אותנו ישר לגישה האיכותנית. בואי וניקח את הדוגמא שלך על איסוף פרטי סטודנטים, ונעשה ניסוי מחשבתי. לא נעשה את זה רק על מיכל אלא על מדגם גדול, כדי שזה יהיה שווה משהו. נמשיך, ולא נעצור ברמה האיכותנית, ונתרגם את כל התיאורים הללו, המפורטים ככול האפשר, למספר גדול של פרמטרים מספריים עפ"י הסקאלות האוביקטיביות ביותר שיכלנו להמציא. עכשו בידינו אוסף גדול של מספרים המייצגים גילאים, IQ, חתך אתני וסוציואקונומי, גודל משפחה, מיקום גיאוגרפי, טלנובלה מועדפת ומה לא. את כל השלל הזה ניתן לתוכנת מחשב המבוססת על רשת נוירונים, ו"נאלף" אותה לתת ציונים נכונים לסטודנטים על סמך נתוניהם. אחרי שנצלח בכך, וזה רק עניין של זמן מחשב להבנתי, תהיה בידינו מערכת מודל אשר נותנת משקל מסויים לכל גורם (גם משקל אפס לגורמים לא רלוונטיים), ויחסי גומלין בין הפרמטרים. כדי לראות אם עלה בידינו כלי או חרס, ניקח קבוצה אחרת של סטודנטים ונראה אם התוכנה-מודל תחזה את ציוניהם באותו דיוק, או בדיוק רב ("רב" נתון לשיקול דעת סטטיסטי). אולי לכך כיוונה מיכל. לפחות לכאן הייתי אני מכוון. |
|
||||
|
||||
כבר קרדיט לסטודנטים במדעי החברה - מה שאתה מדבר עליו פה הוא א''ב של מתודולוגיה. ברור שחלק מכל מחקר הוא העלאת סברות להסברים אלטרנטיביים, כולל משתנים נוספים שעשויים להסביר קשר סטטיסטי שמצאנו. או, במילים אחרות - לא הולכים ומלקטים המון המון נתונים, מוצאים איפה יש קשר סטטיסטי, ואז מכריזים על הגילוי (למעשה, כשמחשבים נעשו זמינים, היו כאלו שעשו בדיוק את זה. הם יצרו המון זבל). קודם מפתחים תיאוריה (לפעמים היא נבנית על סמך תובנות שנוצרו ממחקר איכותני או סתם חקר מקרה), ואז בודקים אותה דרך מחקר השוואתי כמותני. ואחרי שעשינו את זה, המחקר נמצא עדיין בתחום המדע, ויש מספיק חוקרים אחרים שיהפכו בו וינסו להוכיח שאתה אוויל משריש. אני לא חושב שלכאן כיוונה מיכל. היא הציעה להעביר את מדעי החברה למדעי הרוח... |
|
||||
|
||||
למה? למה "קודם מפתחים תיאוריה..ואז בודקים אותה דרך מחקר השוואתי כמותני" ו"לא הולכים ומלקטים המון המון נתונים, מוצאים איפה יש קשר סטטיסטי, ואז מכריזים על הגילוי", אם הקשר הסטטיסטי הזה הוא הדיר, במדגם גדול, ולא נסיבתי - מה רע בו? מה הפך את מחקרי המחשב לזבל והאם הדבר מחוייב המציאות? כשמשהו נשלח למדעי הרוח, העולם המדעי נאנח אנחת "ברוך שפטרנו" ויאוש מהיותו של התחום אי פעם מדוייק. בכלל, צירוף המילים מדעי הרוח צריך לקבל מקום של כבוד בהיכל האוקסימורונים. |
|
||||
|
||||
אפשר, אבל זה לא רחוק מאותם מיליון שימפנזים שמכים על מקלדות. הבעיה היא בדיוק במילים ''לא נסיבתי'' - אותם חוקרים שעשו את המחקרים הללו לא טרחו ממש לבדוק את הנושא. הדבר אינו מחוייב המציאות. אפשר לעשות מחקרים כאלו ולהוציא מהם תובנות משמעותיות, אבל צריך להשקיע הרבה מאמץ בשביל זה, יותר, לדעתי, מאשר בדרך ההגיונית לעשות מחקר... זה גם הרבה פחות מעניין ככה. |
|
||||
|
||||
עוד קצת על מדעי הרוח מול מדעי החברה: |
|
||||
|
||||
נתחיל בפסקה השניה: הוא שאמרתי. כיוונת היטב לדעתי, ושוב הוכחת למיכל שנקודת המבט שלה בנושא לא מדוייקת. ולפסקה הראשונה: נו באמת. כל ספר סטטיסטיקה שנה א' נפתח בדוגמא הזו (או בדוגמת רמת הפשיעה והגלידה וכיו"ב). מה ניסית להגיד? שכשחוקרים עורכים מחקר כמותני הם לא מודעים לבעיה של משתנים מתערבים וקשרים נסיבתיים? אז אני שמחה בזאת לגלות לכולם - הם יודעים. תסמכו עליהם (עלינו). הם חשבו על זה ולמדו את זה והם יודעים. והיה ולא שכנעתי עדיין, אשמח לספק דוגמאות מפורטות ממחקרים שאני כתבתי. |
|
||||
|
||||
יופי! אז אנחנו מסכימים! (איך זה קרה...?) את דוגמת הנחשים והתפוזים נתתי כקונטרא לדוגמת הציונים וזמן החרישה למבחן. מדעני המדינה מבינים את הסכנות לפתחה של המובהקות הסטטיסטית - מצויין. אני מניח שלא באמת ציפיתי שהם לא, הרי זה יהיה משול לאמירה שכולם שרלטנים, מה שאני לא אומר (כי אני לא מכיר אף מדען מדינה, וגם לא ממהר להלשין רעה). ולמרות שאני מאמין להיותך מקצוענית, אשמח לדוגמאות שהצעת. מה לגבי הניסוי המחשב(ת)י שהצעתי? עושים משהו כזה? (אפילו עם חוקר במקום מחשב?) פשיעה וגלידה? רוצה לספר לי? |
|
||||
|
||||
כן, אנחנו מסכימים (אכן מוזר). הניסוי שהצעת הוא פרפראזה על רוב המחקרים שקראתי (אם הבנתי אותך נכון). עם חוקר במקום מחשב. פשיעה וגלידה - ככל שעולה רמת הפשיעה, כך עולה צריכת הגלידה (כמובן ששניהם קשורים לעונת הקיץ, ואין קשר אמיתי בין השניים). ולדוגמאות - לצערי הן באנגלית, אבל הנה copy+paste מהרפורט לשנת 2001 (מילה במילה). TA הוא Teaching Artist, ו-PD הוא הקיצור ל- Professional Development. בשל מגבלות הפרוייקט (לא יכלנו לשלוט על מגוון משתנים), דיווח הממצאים נראה ככה: Teachers were surveyed regarding the regularity of meetings with Teaching Artists to develop student assessment tools (mean=6). Statistical analysis of the data substantiates statistically significant relations between this frequency, and teachers’ perceptions of the project’s success. Teachers who did not participate in any assessment meetings, rated “planning time for TA’s”, “PD time for teachers” and “PD time for TA’s” as greater obstacles (effect sizes 0.51, 0.52, 0.63). They agreed less strongly with “students apply themselves longer” (effect size 0.59), “students work more collaboratively” (0.68), “students communicate better with adults” (0.72) and “students feel more successful/positive” (0.62). And lastly, they were more unfavorable regarding the planning team’s performance. They agreed less strongly with “team communicates successfully with school staff” (0.59), “team has secured teacher buy-in” (0.7) and “team has secured parent buy-in” (0.55). קיימות דוגמאות נוספות, רובן דומות מאוד לזו הנ"ל. הקורא יכול לראות מיד את הבעייתיות בהסקת סיבתיות בין המשתנים, אשר חייבה אותי להיות מאוד מסוייגת בניסוח. הפרוייקט הוא פרוייקט "מוזמן", דהיינו - The Empire State Partnership for the Arts משלמת על הפרוייקט במסגרת התקציב של תכנית האמנויות, והכלים העומדים לרשותנו הם מוגבלים כתוצאה מאילוצים אלה ואחרים. כשחוקר נאלץ להסתמך על "דיווח עצמי" (לעומת עובדות בשטח, כמו ציונים במבחנים סטנדרטיים), קיימות בעיות רבות בניתוח הסטטיסטי, והקטע המצוטט הוא רק דוגמא אחת לנסיון להתגבר עליהן.
These findings generate three possible explanations: 1. Causal relationship: Teachers’ involvement in the assessment process affects their perceptions of the project’s success. Through involvement in assessment, teachers appreciate the project more. 2. Spurious relationship: More successful projects tend to embody both greater involvement of teachers in assessment as well as favorable teacher notions of the project’s success. (In this case, the teachers’ approach reflects the project’s real condition.) 3. Reversed relationship: Teachers who hold a more positive approach toward the project, tend also to be more involved in it. A future study may help us accept possible explanation #1 and reject the alternative explanations, thus leading us to the general recognition of causal relationship between attending assessment meetings and a positive approach toward the arts project. This logical conclusion, if proven to be statistically grounded, may be used to advocate the centrality and importance of assessment in arts projects in general. |
חזרה לעמוד הראשי | המאמר המלא |
מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
RSS מאמרים | כתבו למערכת | אודות האתר | טרם התעדכנת | ארכיון | חיפוש | עזרה | תנאי שימוש | © כל הזכויות שמורות |