 |
|
 |
||
|
||||
 |
לפני שנים נוכחתי בהרצאה של עורכת המחקר הזה שטענה שלפי הממצאים שלה אין הבדל מהותי בין מח גברי למח נשי. שמתי לב שמסקנתה סותרת לא רק את זו של הכומר מארק גונגור, אלא גם את הנתונים שהיא עצמה הציגה. לשון אחרת, אילו יצרה היא מן הנתונים שבמחקרה מודל סטטיסטי, אפילו מן הפשוטים ביותר דוגמת רגרסיה לינארית, או את הנאיבית של הכומר תומאס, היא היתה מקבלת כושר אבחנה חד בין מח נשי לגברי. תוצאות מפתיעות מתחום אחר: מתמחים בעלי ציונים גבוהים יותר טובים יותר בעבודתם (סטטיסטית כמובן). |
 |
 |
 |
|
|
|
||
|
||||
|
לפי מה שהבנתי מהכתבה היא לא טוענת שאין הבדלים, אלא שבניגוד לאברי מין יש לכל אחד ואחת תערובת אישית של מאפיינים זכריים ונקביים במוח. סטטיסטית לזכרים יהיו יותר מאפיינים זכריים ולהיפך, אבל בהינתן מוח אקראי אי אפשר לקבוע חד משמעית אם הוא שייך לגבר או לאישה. אולם לפי כמות הנשים שהולכות לדוג בנחל הייתי אומר שכנראה ישנם מאפיינים מובהקים יותר מאחרים. |
|
|
|
|
|
|
||
|
||||
|
''בהינתן מוח אקראי אי אפשר לקבוע חד משמעית אם הוא שייך לגבר או לאישה.'' - זה פחות או יותר מה שהופרך במחקר החדש (בהגדרה נאותה של ''חד משמעית''). | |
|
|
|
|
|
||
|
||||
|
ידעתי שזה נשמע לי מוכר. | |
|
|
|
|
|
||
|
||||
|
אני רק ארמוז שהבדיחה על הסנילים שכל יום מכירים אנשים חדשים הפסיקה להצחיק אותי לפני, המממ, זמן מה, גם שהיא מוחלת על מידע מכל סוג ולא על אנשים. | |
|
|
|
|
|
||
|
||||
|
*כ*שהיא מוחלת. :-) |
|
|
|
|
|
|
||
|
||||
|
אכן, גם חוקי הלשון מתחדשים כל בוקר. | |
|
|
|
|
|
||
|
||||
|
ב/חנה בבלי, אומרים תסו"ש אחר כך. | |
|
|
|
|
|
||
|
||||
|
למען האמת, מעל 90% זה מספיק "חד משמעי" בשבילי. השאלה הנותרת היא כמה מההבדל נוצר על ידי חיברות. במחקר הבא הייתי רוצה לראות תוצאות על מוחות של בני פחות משנה. |
|
|
|
|
|
|
||
|
||||
|
איפה משיגים מוח אקראי? (שואל בשביל חבר) | |
|
|
|
|
|
||
|
||||
|
כאן | |
|
|
|
|
|
||
|
||||
|
כמדען נתונים1, הופתעתי לא פעם ע"י חוסר הטריוויאליות של יצור דוגמא אקראית, פעולה שלכאורה אין פשוט ממנה. אין לי כרגע בראש דוגמא ספציפית אבל חלקן דרשו עבודה תאורטית ותכנותית משמעותיות, תמיד באופן בלתי צפוי. אבל כאשר מדובר במוחות - אין כמו מונטי, הדוגם הגדול שבהברקה של רגע הבין שרק המשווה הגדול יכול לספק לו את האקראיות המושלמת - בקלט ובפלט. 1 או מה שיובל בוודאי מכנה "אחד שנדמה לו שחישוב סטיות תקן ביחד עם היכולת לשלב במשפט את המילה "קולמוגורוב", מתירים לו לפנות אל סטטיסטיקאי בשמו הפרטי" |
|
|
|
|
|
|
||
|
||||
|
מה רע בפונקציית רנדום של פייתון (כמהנדס, לא כתאורטיקן)? | |
|
|
|
|
|
||
|
||||
|
אין בה רע, אבל נתקלתי בהרבה סיטואציות שבהן השאלה היא על מה להפעיל את פונקציית האקראיות. נזכרתי בינתיים באחת. נניח שצריך לאמן מודל על דגימה של הנתונים לצורך חיזוי בזמן אמת. אופן הדגימה המתבקש הוא בחירה אקראית פשוטה מתוך, נניח עשרות מיליוני מקרים מחמש השנים האחרונות. אלא שמדובר במאגר הטרוגני במיוחד עם זנב סטטיסטי ארוך. כלומר, לצד דפוסים נפוצים שחוזרים כל אחד עשרות אלפי פעמים, ישנם אלו הנדירים, שחוזרים כל אחד רק עשרות פעמים ולעיתים אף פחות מכך, ואלו מהווים נניח 60% מסה"כ מאגר הנתונים. כיצד בכלל נוכחים שישנה בעייה? כאשר המודל שבנית נתן חיזוי טוב על הנתונים שנשארו מחוץ לקבוצת עליה הוא אומן, אבל אז, בזמן אמת, כאשר זורמים נתונים חדשים ממערכת הלקוח, צונחת איכות החיזויים באופן דרמטי. זוהי תופעה נפוצה, אם לא הכלל בתחום זה, ויש לה סיבות שונות. במקרה שאליו אני מתייחס נתקלנו בבעיית האיזון בין עדכניות לבין מובהקות: עם חלוף השנים, משתנים גם דפוסים - כלכליים, סוציולוגיים, רפואיים וסייבריים (התנהגות בוטים). כאשר אתה דוגם באופן פשטני, אתה מפסיד חלק גדול מן החזרות של כל דפוס נדיר, עד כדי איבוד יכולת החיזוי. עבור הדפוסים הנפוצים הבעייה היא פחות או יותר הפוכה. יכולת החיזוי נפגמת בשל המשקל השווה אותו קיבלו דפוסים שהתיישנו. אתה כמובן יכול לקחת רק את הדפוסים מן השנה האחרונה, אבל אז אין לך מספיק מובהקות עבור הנדירים, שכאמור, מהווים חלק ניכר מן המאגר הרלוונטי. שם, חשובה יותר הכמות (מובהקות) על פני העדכניות. מה עושים? אם ישנה יכולת לחלק לדפוסים מוגדרים היטב, הפתרון המתבקש הוא כמובן לקחת מכל אחד מהם כמות קבועה או כזו שמתחת למקסימום מוגדר של חזרות, החל מן החדשים ביותר. לפעמים די בכך. אבל לעיתים, עיוות ההתפלגות המקורית של המאגר שהדבר גורם גורר התנהגויות שקשה לחזות - במיוחד עם רשתות נוירונים, שם אתה נדרש לחשוב גם במונחים פסאודו(?) פסיכולוגיים ולא רק מתמטיים וסטטיסטיים. בנוסף, לא תמיד ברור כיצד לדגום את האירועים שקדמו ובישרו את ארועי המטרה. פתרון מורכב יותר הוא הכנסת מרכיב הזמן אל החיזוי ושינו שיטת האימון. אבל זה לא תמיד מתאפשר ולעיתים נאסר. כאשר הוא כן מתאפשר, הוא מסבך משמעותית את האופרציה והעלויות, מה שמחייב שיפור במידה שתצדיק זאת. הארכתי, ולכן אסיים. |
|
|
|
|
|
|
||
|
||||
|
תודה על ההסבר הארוך בנושא שאינו מוכר לי לעומק. לדעתי אבל, רק מבחינת הגדרה, הבעייה שלך היא לא אקראיות, אלא כמעט להיפך - בחירה שבעיותיה נובעות ממדגמים קטנים מדי ומכאן לשגיאות דגימה. וממה שציינת נראה שדוקא הכנסת מידע אפריורי מושכל ולא אקראי בכלל, שיעזור לך ב(משהו עם חלוקת אוכלוסיות/דפוסים/נדירות) ושיגרור פחות בעיות של תת-דגימה, הוא מה שאתה מחפש. (במונחים אחרים - אתה מחפש יותר מידע ופחות אקראיות). |
|
|
|
|
|
|
||
|
||||
|
לפעמים יש לך מרחב מדגם עם מבנה מסויים שלא מובן מאליו איך להגדיר עליו התפלגות אחידה, ולפעמים אתה מעוניין בהתפלגות "טיפוסית" ולא אחידה. המקרה השני הוא טכנית פחות אקראי (מבחינת אנטרופיה אל מול התפלגות אחידה על אותה קבוצה), אבל לדעתי יש במסגרתו הרבה דוגמאות שמרגישות יותר כמו משימה של הגדרת התפלגות עם תכונות מסוימות ופחות כמו הכנסת מידע לא אקראי לתהליך דגימה. הנה דוגמה נאיבית למקרה הראשון: דגימת נקודות ממעגל היחידה במישור. אפשר להגריל שני מספרים בהתפלגות אחידה מ-0 עד 1, לקחת את הנקודה שהתקבלה לפי קורדינטות קרטזיות ולנרמל אותה למקבילתה על המעגל ע"י חלוקה באורך הקטע מהראשית אליה. זה מגדיר התפלגות על המעגל, אבל היא לא אחידה1. מצד שני, אפשר להגריל מספר בהתפלגות אחידה מ-0 עד 360° (למי שלא אוהב פאי), להתייחס אליו כזווית בהצגה פולרית של נקודה באורך 1 ולקבל התפלגות אחידה על המעגל. אבני הבניין הן עדיין פונ' רנדום של פייתון, אם רוצים, אבל השימוש בהן הוא האתגר. כדוגמה למקרה השני, ובתקווה שלא הגזמתי כבר בפירוט, אני מתעסק לפעמים באלגוריתמים על גרפים והיפר-גרפים (קודקודים וקשתות2, לא ערכי פונקציה מול קלטים) וכשאני רוצה לבדוק אם משהו עובד טוב אמפירית לגרפים שאתקל בהם "בטבע", אני צריך דרך להגריל גרפים טיפוסיים. נניח שיש לי מדגם של גרפים, אני יכול (מבין הרבה אפשרויות אחרות) 1. להגריל אחיד גרפים מהמדגם. 2. להגריל גרפים עם כמות קודקודים שמתפלגת אמפירית כמו הכמות במדגם, וקשת בין כל זוג קודקודים באופן בלתי תלוי ולפי צפיפות הקשתות בגרפים במדגם. 2. לדגום אחיד גרף מהמדגם, ולערבל לו את הקשתות — לבחור הרבה פעמים זוגות קשתות בדגימה אחידה ולהצליב אותן (קודקוד אחד של קשת אחת מתחבר לקודקוד שני של קשת שניה, והשני בהתאם). 3. להשתמש בשיטה להגרלת scale free netowrks כמו Barabási-Albert model (דמיינו קישור לויקיפדיה, לא הצלחתי לפרמט אותו לפי ההוראות) עם התפלגות קודקודים כמו בדגימה. כל אחת מהדרכים מגדירה התפלגות אחרת ובעלת תכונות אחרות, ועלולה להיות טובה יותר או פחות בהתאם להתפלגות המדגם, החשיבות של דגימת דוגמאות שלא נראו, החשיבות של שימור תכונות (דרגות קודקודים, כמות קודקודים), אילוצי כח החישוב וכח מי שנאלץ לממש את שיטות הדגימה, וכו'. אמנם כולן בסופו של דבר ימומשו כסדרת קריאות לדגימה אחידה על טווחי מספרים או קבוצות סופיות, אבל יש הרבה עבודה בלבנות דברים מאבן הבניין הזאת. --- 1. אינטואיציה — הנקודות לפני נרמול נדגמו אחיד על ריבוע סביב הראשית. קחו קשת מעגל בגודל זוויתי מסויים ותזיז אותה לאורך המעגל. השטח בין הקרניים שמגדירות את הקשת והריבוע הוא הסיכוי לדגום מהקשת אחרי נרמול, אבל השטח הזה גדול יותר ככל שהקרניים מתקרבות לפינת הריבוע. 2. פעם היה אפשר לומר "רשתות" בבטחה, עכשיו המושג הזה יותר מסיח. |
|
|
|
|
|
|
||
|
||||
|
תיאור יפה, אני מבין ממנו שהבעיה היא איך לגרום להתפלגות מסוימת רצויה על מרחבים שהם מטיבם "מעוותים" ולכן מאד לא ברור מלכתחילה מהי התפלגות אחידה עליהם. (יש לי אגב זכרון מאד עמום של דיון על התובנה הלא-אינטואיטיבית שהמושג "התפלגות אחידה" כשלעצמו הוא לא כל כך פשוט כמו שזה נשמע). אבל לגבי דוגמת המעגל, יש לי שאלה מכיוון אחר: אז קיבלת התפלגות שסוטה בעשרה אחוז פלוס-מינוס מהתפלגות אחידה. אז מה? ממילא בסוף אתה מריץ איזה רשת שתלמד על חמישים אחוז (נניח) מהמידע ותכוונן על חמישים אחוז אחרים. כמה זה כבר ישנה את הביצועים הסופיים שלה, התפלגות שהיא "קרובה לאחידה עד כדי אפסילון גדול-אבל-לא-עצום"? (אנקדוטה - לפני רגע המתקן האוטומטי הציע לי 'תפילין' במקום אפסילון. יש אלוהים!) |
|
|
|
|
|
|
||
|
||||
|
אנחנו במרחק תפילין אחד מאחידות! קודם אני רוצה להתחרט על הנחת היחידות של ההתפלגות האחידה בעקבות הפרדוקס לעיל. אני חושב שההתפלגות האלטרנטיבית בדוגמה מגדירה יפה מאוד מידה שהיא אחידה עבורה ולכן אפשר לקרוא לה (ולמעשה לכל התפלגות) התפלגות אחידה. לא צריך תפילין ולא הכשר מהרבנות. בכל מקרה לגבי המעגל, אולי אין בעיה רצינית, אלא אם כן התחרות קשה והרשת שלך צריכה לנצח אלטרנטיבות טובות. אם התחרות על הביצועים צמודה, האפסילון הזה במה שהגדרת כפונקציית אובדן לרשת עלול להיות משמעותי. אבל זאת דוגמה מאוד חלבית. אם אנחנו מתעסקים בהתפלגות אחידה על כדור היחידה במימדים גבוהים יותר (ורוב הזמן אנחנו מעוניינים, אם מדברים על מדעי עוזרי הסטטיסטיקאים), אז קללת המימדים שהתאפקתי מלהזכיר מקודם רלוונטית (curse_of_dimensionality [Wikipedia]). התהליך שהגדרנו מגדיר התפלגות שמרחקה מההתפלגות "האחידה" הולך וגדל עם המימד. במקרה הזה אנחנו מודעים אבל קל למצוא את עצמך חוזר על דבר כזה במרחב שהוא לא הכדור בלי לשים לב שההתפלגות שהגדרת שונה מאוד ממה שחשבת שהיא תהיה. |
|
|
|
|
|
|
||
|
||||
|
אני לא ממש עוקב אחרי הדיון ואיבדתי את ההקשר, אבל אני מחזק את המסר: דגימה אקראית (ממרחבי ההסתברות מורכבים או אפילו "מאד פשוטים" אבל בממד גבוה) היא אכן בעיה אלגוריתמית קשה (בלי קשר להיות ההסתברות אחידה או לא). תת-ענפים שלמים במדעי המחשב, למידת מכונה והסתברות מוקדשים לעניין זה בדיוק. אגב, דגימה אקראית יכולה להיות בעיה אלגוריתמית מעניינת ולא טריוויאלית גם במיקרים מאד פשוטים. למשל, הקורא הסקרן מוזמן לחשוב איך הוא היה כותב פונקציה לדגימה מתוך הסתברות דיסקרטית (בלי לקרוא ל-np.random.choice...). ההנאה מובטחת. |
|
|
|
|
|
|
||
|
||||
|
>> הקורא הסקרן מוזמן לחשוב איך הוא היה כותב פונקציה לדגימה מתוך הסתברות דיסקרטית (בלי לקרוא ל-np.random.choice...). ההנאה מובטחת. תוכל לחדד מה בדיוק המטלה? אם היא לכתוב פונקציה שמגרילה, למשל, את המספר 0 בהסתברות 0.5, את המספר 17 בהסתברות 0.4, ואת המספר 18 בהסתברות 0.1, ואם מותר להשתמש במספר אקראי מהתפלגות אחידה (רציפה) בין 0 ל-1, אז אני לא רואה מה הקושי. |
|
|
|
|
|
|
||
|
||||
|
הבנת נכון. בפירוט: בהנתן וקטור סטוכסטי באורך שרירותי, הגרל אינדקס בהתאם להסתברות שהוקטור מייצג. אתה רשאי להניח גישה להתפלגות אחידה על קטע היחידה או להתפלגות ברנולי, כרצונך (כל הנחה כזו מובילה לכיוון קצת שונה ומעניין בפני עצמו). כתבתי שזו בעיה "מעניינת ולא טריוויאלית", לא קשה :) אבל האמת היא שהיא גם לא קלה (לפחות עבורי, אני לא יכול להעיד בשמך). על מה חשבת? ארשה לעצמי לנחש: נעבור מהוקטור הנתון להתפלגות המצטברת, נגריל מספר בין 0 ל-1 (בהסתברות אחידה), ונבצע חיפוש בוקטור? אם כן זה אכן פותר את הבעיה, אבל בסיבוכיות מקום של n, סיבוכיות זמן של n לאתחול וסיבוכיות זמן של o(log(n)) לכל הגרלה. אפשר לשפר זאת משמעותית, ואז זה גם ניהיה מעניין. |
|
|
|
|
|
|
||
|
||||
|
הניחוש שלך נכון, זה הכיוון שחשבתי עליו. איך אפשר לשפר את הסיבוכיות? | |
|
|
|
|
|
||
|
||||
|
אלגוריתם אחד, שהוא בעיני לא פחות מיפהפה, מכונה בד"כ Alias Method והוא מבוסס על התבנית הרעיונית של rejection sampling - רק אלגנטי פי 100 ממה שבד"כ מקבלים מהכיוון הזה. חשוב מה היה קורה אילו היינו מגרילים מהתפלגות אחידה במקום מההתפלגות הנתונה: אז אברים שהסתברותם נמוכה מ-p=1\n היו נדגמים יותר מידי, ואיברים שהסתברותם גבוהה מכך היו נדגמים פחות מידי. אפשר לקוות לתקן זאת: אם הגרלנו איבר שהסתברותו נמוכה, אז נבצע הגרלה נוספת, ובהסתברות כלשהי(?) נחזיר אותו ואחרת... נחזיר איבר אחר כלשהו? כך שהכל יסתדר? על פניו בכלל לא ברור ששטיק כזה יכול לעבוד, אבל מסתבר שהוא עובד מושלם: אפשר תמיד להתאים לכל איבר i שהסתברותו נמוכה (ולכן סובל מדגימת-יתר) "הסתברות דחייה" p_i ואיבר אלטרנטיבי קבוע j_i שהסתברותו גבוהה (ולכן סובל מדגימת-חסר) באופן כזה שבסופו של דבר כולם נדגמים בדיוק בהסתברות המתאימה להם. את הבנייה הזו אפשר לעשות באופן מחוכם למדי ב-o(n), ואח"כ כל דגימה מבוצעת טריוויאלית בסיבוכיות זמן של o(1). האלגוריתמיקה עצמה אלגנטית1, אבל החיבה הגדולה שלי לאלגוריתם הזה נובעת מכך שזה בכלל עובד. ולמרות שלא נורא קשה לראות (לפחות בדיעבד) למה הוא נכון, אישית אני עדיין לא משתחרר מהתחושה שמדובר בקסם2. אלגוריתם אחר, עם סיבוכיות דומה אך trade-offs שונים, שגם לו מעלות אסתטיות רבות, מבוסס על בניית סדרה של lookup-tables בהתאם לבסיס-ספירה ודיוק-עשרוני שנבחרו מראש כמתאימים לייצוג ההסתברויות הנתונות והגרלה מתוכם. יהיה קשה לתאר את הפרטים בפורמט של האייל, אבל אני מתאר לעצמי שלא תתקשה למצוא רפרנס אם תתעניין. הפינה הזו היא האחת האטרקציות החביבות עלי בג'ונגל הגדול של האלגוריתמיקה. בין השאר בגלל שמצד אחד הבעיה עצמה כל כך פשוטה וטבעית, מצד שני הפתרונות מעניינים ויפים גם מבחינה אלגוריתמית וגם מבחינה מתמטית3, ומצד שלישי הם לא קשים עד כדי כך שאין להם שום שימוש (הם מאד פרקטים) או שנדרשים שנים של מאמץ כדי להתחיל להבין אותם (הם אפילו פשוטים, יחסית). 1 ונמצאת על סיפה של מחילת ארנב מעניינת בפני עצמה, כי הבניה אינה יחידה, ומסתבר (אני מקווה שאני זוכר נכון...) שמציאת בנייה אופטימלית היא בעיית NP קשה. 2 יש להודות שחלק ניכר מהאהבה שלי למתמטיקה כנראה מוסבר ע"י טפשות שמפריעה לי להבין דברים עד הסוף, כך שאני נותר תמיד עם תחושה של עיסוק באיזושהי תורת סוד מיסטית במקום בדיסציפלינה האנליטית והמכניסטית מכולן. 3 משחקים בהם תפקיד מרכזי ולא תמיד צפוי גם האנטרופיה של ההסתברות, גם המימד של המרחב וגם פרטי הייצוג הנומרי של ההסתברויות עצמן. |
|
|
|
|
|
|
||
|
||||
|
אם ההסתברויות הן: 0.1, 0.29 ,0.3, 0.31 אז איך האלגוריתם הראשון עובד? |
|
|
|
|
|
|
||
|
||||
|
ההגרלה תעבוד כך: בחר אינדקס אקראי בין 0 ל-1. * אם קיבלת 0: בהסתברות 0.4 החזר 0, ואחרת החזר 3. * אם קיבלת 1: תמיד החזר 1. * אם קיבלת 2: בהסתברות 0.84 החזר 2, אחרת החזר 1. * אם קיבלת 3: בהתסברות 0.64 החזר 3, אחרת החזר 2. נבדוק: * ההסתברות לקבל 0: 0.4*0.25 = 0.1. * ההסתברות לקבל 1: (1-0.84)*0.25+0.25 = 0.29 * ההסתברות לקבל 2: 0.84*0.25 + (1-0.64)*0.25 = 0.3 * ההסתברות לקבל 3: 0.64*0.25 + (1-0.4)*0.25 = 0.31 אם אתה רוצה לדעת איך קיבלתי את ההסתברויות והבחירות האלטרנטיביות האלה בסיבוכיות של o(n), ראה כאן. |
|
|
|
|
|
|
||
|
||||
|
(את האינדקס בחר, כמובן, בין 0 ל-3 - כולל). | |
|
|
|
|
|
||
|
||||
|
(אני מבין שהראש שלך עובד בפייתון / C, ולא ב-R / מטלאב.) ותודה על האלגוריתם, לא הכרתי. |
|
|
|
|
|
|
||
|
||||
|
תודה על ההסבר. בתגובה המקורית דובר על כך שאיברים שקיבלו "יותר מדי" (למשל האיבר הראשון שקיבל 25 במקום 10) צריכים לתרום חלק למישהו אחר. עכשיו אני רואה שלפעמים איברים שקיבלו "מעט מדי" (כמו האיבר השלישי שקיבל 25 במקום 30) צריך לתרום, אבל איכשהו זה מתקזז (האיבר השלישי תרם 4 וקיבל 9 וזה הביא את המאזן שלו ל 30). זה קצת כמו מה שקורה ב splid בשלב ההתחשבנות (רק בכיוון ההפוך). |
|
|
|
|
|
|
||
|
||||
|
זה האיזכור השני של "תפילין" בו אני נתקל היום! סימן משמיים? |
|
|
|
|
|
|
||
|
||||
|
איכשהו עלתה לי מהסיפור הזה אסוציאציה לאגדה האורבנית על הכושי במעלית שאומר "שב!" | |
|
|
|
|
|
||
|
||||
|
נדמה לי ששמעתי את זה לפני כמה עשורים בתור חוויה של ישראלי שפגש את אדי מרפי ושומרי הראש שלו במעלית. | |
|
|
|
|
|
||
|
||||
|
ואצל אחרים זה איטלקי עם מייק טייסון. זה מה שיפה בסיפורים האלה, הגנריות. |
|
|
|
|
|
|
||
|
||||
|
בשולי הדברים: אולי זאת הזדמנות טובה להזכיר שוב את ה"פרדוקס" של ברטרנד שכבר הזכרתי פעם. אם הבנתי נכון מילה או שתיים מהסינית שמעלי, הוא מציף בעיה דומה לאלה שאתם מדברים עליהן | |
|
|
|
|
|
||
|
||||
|
תודה, לא הכרתי. כדי לסדר לעצמי את המחשבות ואת אי הנוחות (עם סיכוי לתיקון ממישהו אם אני טועה): במרחבים סופיים יכול להיות קשה להגדיר תהליך דגימה שנותן התפלגות אחידה, אבל קל להגדיר את ההתפלגות האחידה — לכל איבר סיכוי שווה להדגם. במרחב מעוצמה אינסופית המקבילה היא שלכל תת-קבוצה בעלת מידה, הסיכוי של איבר ממנה להדגם הוא מידתה ביחס למידת הקבוצה המלאה. אבל אפשר להגדיר מידות שונות על אותו מרחב, ומכאן שהתפלגות אחידה תלויה לא רק בקבוצה. | |
|
|
|
|
|
||
|
||||
|
ניטפוק: אני לא חושב שהגדרת כאן "הסתברות אחידה", אלא סתם "הסתברות" (דרך נרמול מידה סופית). אני לא מכיר הגדרה כללית לגמרי ל-"הסתברות אחידה". אינטואטיבית, אולי אפשר לומר שמידת הסתברות היא אחידה אם היא מתקבלת כנרמול מידת Haar של חבורת הסימטריות של המרחב בהנחה שהכל מוגדר היטב (אבל אולי לא). | |
|
|
|
|
|
||
|
||||
|
(ההצעה הסו-קולד אינטואטיבית לעיל לא ממש מתקמפלת, אבל נראה לי שאפשר להוציא ממנה הגדרה הגיונית. לא חשוב.) | |
|
|
|
|
|
||
|
||||
|
זה מה שניסיתי לומר — לפי ההגדרה האינטואיטיבית שלנו להתפלגות אחידה (ההסתברות לדגימה מתת קבוצה פרופורציונלית לגודלה), כל התפלגות על מרחב מעוצמה אינסופית היא אחידה, אז צריך לזרוק לפח את האינטואיציה. | |
|
|
|
|
|
||
|
||||
|
זה לא נשמע לי הגיוני. התפלגות שנראית כמו גאוסיאן סביב 0 מעל הממשיים (שעוצמתם אינסופית הרי), היא לא אחידה לא באינטואיציה ולא במציאות. |
|
|
|
|
|
|
||
|
||||
|
למה לא במציאות? הגדר לכל קטע אורך לפי הפרש פונקציית ההתפלגות המצטברת של הגאוסין על קצותיו, ותשלים למידה על הממשיים. קיבלת מידה שבה הסיכוי לקבלת נקודה בקטע פרופורציונלי (ואפילו זהה) לגודלו. לא אחיד? אני חושב שמה שלא נשמע הגיוני זה מידות על הממשיים שהן לא מידת לבג. זאת באמת מידה אינטואיטיבית ומיוחסת, אז אולי אני צריך לחזור בי לגבי לזרוק את האינטואיציה לפח. ומצד שני, יש הרבה מרחבים (כולל הממשיים עצמם) עליהם אין מידה מיוחסת אינטואיטיבית שעבורה הם ממידה סופית. אז מקבלים את זה שאין כזה דבר התפלגות אחידה עליהם, לא? |
|
|
|
|
|
|
||
|
||||
|
יופי, זו הגדרה עקומה (תרתי משמע) של המידה ומאד לא אינטואיטיבית. אינטואיטיבית - זה אורך כל קטע. ועל מידה כזו ההתפלגות הזו רחוקה (עד אינסוף) מלהיות אחידה. |
|
|
|
|
|
|
||
|
||||
|
ואכן, הייתי צריך לבחור קטע סופי ולא כל הממשיים כדי לא ליפול בפח. | |
|
|
|
|
|
||
|
||||
|
קיבלתי, אתיישר. לא עולות לי בראש שום דוגמאות למרחב מדגם מעניין לצורך מעשי שאי אפשר להחיל עליו (אולי עם טיפת עבודה, כמו מעגל במישור ושיכונים אחרים) את אורכי הקטעים ממידת לבג. | |
|
|
|
|
|
||
|
||||
|
תוך שאני צופה הבוקר בדייויד בנט, תהיתי אם ניתן לבסס מתאם, אפילו חלש, בין שמו של שיר לבין הצלחתו. אם זה היה לפני 15 שנה, אולי הייתי משתמש בשאלה זו לראיון עבודה עבור משרת מדען נתונים. למעשה, השאלה הזו היתה כנראה מאפשרת לי לפסול מועמד ששכרתי ונאלצתי לפטר אחרי שנה. אבל במחשבה נוספת, לא יודע אם זה טוב, שכן למדתי ממנו המון בתקופה בה עבדנו ביחד (הבעייה היתה שהוא לא למד ממני כלום). מדוע נזכרתי? כי זה מתחיל במשקל שנותנים לייצוגיות הדגימה של בנט, שנובעת מן האופן בו הוא אסף את השירים שברשימה - הוא לקח את כל(?) השירים שהצליחו לעשות דרכם לספוטיפיי וויקיפדיה. נדמה לי שאני לא הייתי נותן לזה משקל משמעותי, אבל אם למועמד היה נימוק חצי משכנע כנגד זאת הייתי מקבל זאת. השלב הבא הוא מידול. פרמטרים רלוונטיים יכולים להיות, מלבד שם השיר, מאפיינים של השיר עצמו ופופולריות האמן. המועמד נדרש לחשוב על משהו פשטני, שניתן להוציא לפועל תוך שעתיים, ולאחר מכן משהו מעמיק יותר, שיכול לקחת כמה ימים. |
|
|
|
|
|
|
||
|
||||
|
אתה מתאר היטב את טענותיה. לכאורה, אין סתירה בין "סטטיסטית לזכרים יהיו יותר מאפיינים זכריים ולהיפך" לבין "בהינתן מוח אקראי אי אפשר לקבוע חד משמעית אם הוא שייך לגבר או לאישה". אלא שבהינתן שהסטטיסטיקה (המצטברת) במקרה זה חדה, מדובר במניפולציה (עצמית, אם יורשה לי לשלול זדון). ובנימה אישית... לפני שנים רבות התבקשתי ע"י המנכ"ל להבדיל בין נשים לגברים. מאחר ועוד כילד הוכחתי יכולת גבוהות בסוגיה זו, יכולת שבעקבות השיר ההוא של שלום חנוך חודדה עוד, ניגשתי אל המלאכה בעזוז. עמדו לרשותי תבניות השימוש של מאות אלפי משתמשים ביותר ממאה אפליקציות, כאשר בחלק מספיק מן המקרים נרשמו המשתמשים כלקוחות בחברת תקשורת שהיתה קשורה לעניין תוך ציון מינם. המשימה העיקרית היתה השגת המידע, נירמול, הצלבה וכיו"ב. אבל ברגע שאלו היו מוכנים, בניית המסווג הבסיסי היתה פשוטה ואכן קיבלתי שם כושר אבחנה גבוה במיוחד, מעבר למה שציפיתי. חזרתי את המנכ"ל בשמחה עם התוצאות. אלא שזה, ברגע שהבין שלא מדובר ב-100% החליט שזה לא שימושי. חשבתי שאני לא שומע טוב. מדובר היה בשיפור המיקוד של פרסומות, שעד לאותו הרגע לא הבדילו בין גברים לנשים, יכולת שלא היתה מצוייה אצל המתחרים. כל ההסברים שלי על זה שבפרסום אין דבר כזה 100% נפלו על אוזניים ערלות בטענה שהמפרסמים לא יהיו מוכנים לפחות מוודאות מוחלטת. כך היה גם בהמשך עבודתי בחברה. אבל היו יתרונות אחרים שהשאירו אותי שם עוד שלוש שנים. יש לציין שמדובר היה באדם אינטילגנטי, עם יכולות מוכחות, כולל חשיבה מחוץ לקופסא, ושהייתי איתו ביחסים מצויינים. באותן שנים, אחרי ששמעתי סיפורים דומים מחברים לתחום העיסוק, התחלתי להבין שיש איזושהי תקלה שאני לא מבין, שפוקדת גם, ולעיתים בייחוד, אנשים חכמים. |
|
|
|
|
|
|
||
|
||||
|
מקרה קצת מטריד - ועוד יותר במציאות של היום כשה-100 אחוז כולל בהכרח טרנסג'נדרים, א-בינאריים, ועוד קשת שלמה שמראש מגבילה אפילו את המסווג הטוב ביקום להרבה מתחת 100 אחוז. | |
|
|
|
|
|
||
|
||||
|
לפי הסטטיסטיקה שאני מכיר, הבינריות המינית (מינית? מגדרית?) היא בערך של 99% מהאוכלוסייה. הם לא הגיעו עדיין לרמת הדיוק הזו. כמוכן, אני לא אתפלא אם הם מראש ניפו בעלי ובעלות סיווג לא מספיק ברור מהמדגם שלהם. זה נראה לי רעיון טוב לבדיקה ראשונית. אבל אם יש מסווג, זה יכול להיות מעניין לראות מה יש לו להגיד גם על כאלו שנראה שהסיווג שלהם מעניין יותר. זה בוודאי יעזור להבין לפי מה נוצר הסיווג. | |
|
|
|
|
|
||
|
||||
|
המספר המקובל ללהט"ביות הוא כמעט 10 אחוז מהאוכלוסיה. לא הייתי מתפלא שזה קצת משפיע על הסיווג. |
|
|
|
|
|
|
||
|
||||
|
משונה ביותר, בייחוד הטענה ''שהמפרסמים לא יהיו מוכנים לפחות מוודאות מוחלטת''. | |
|
|
|
|
|
||
|
||||
|
בגלל זה "חשבתי שאני לא שומע טוב". בימים שלאחר מכן ניסיתי להבין אם לא פירשתי אותו נכון או משהו אחר שאני מפספס, אבל זה חזר על עצמו, כל פעם בנימוק אחר, כולל מודל שנאבקתי שיוצב ב-production, והתברר שהוא עושה לנו אלפי דולרים בשבוע (במקום אפס עד אז), ואז הוא הושבת לצמיתות מחשש לאי וודאות שהוא עשוי להוסיף למערכת. כאמור, פגשתי רבים במקצוע שעברו דברים תמוהים לא פחות, אבל יש לציין שבשנים שחלפו מאז חל שיפור גדול ביחס אל מדעני נתונים ואל התוצר שלהם. | |
|
|
|
|
|
||
|
||||
|
תחליף תחום. בתחום שלי 60% זה טוב, 70% יוצא מהכלל, 80% מדהים. יותר מ 80% ברני מיידוף. ולכן תגובה 769057 |
|
|
|
| חזרה לעמוד הראשי |  |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש
|
© כל הזכויות שמורות |