 |
|
 |
||
|
||||
 |
למיטב הבנתי המוגבלת לא מדובר על קוד פתוח אלא על משקלים פתוחים (שזה שווה ערך לווקטור הבטא של אומדן סטטיסטי רב משתנים). במילים אחרות, החברה לא חולקת את קוד האימון (ש״לומד״ את הנושא) אלא רק את המסקנות שלו. אתה יכול לכתוב אפליקציה שמשתמשת במסקנות האלה, אבל לא לייצר חדשות. פרסמו מאמרים על מודל האימון, אין לי כלים לנחש אם הם מפורטים ברמה המאפשרת שכפול של קוד האימון. ואני תוהה אם בעולם בו סין מייצרת משקלים שכאלה לצד ג׳ יגיע היום בו גם תוכל להטות את המשקלים למטרותיה. |
 |
 |
 |
|
|
|
||
|
||||
|
זה לא מה שאני הבנתי, כך שכנראה אתה צודק. | |
|
|
|
|
|
||
|
||||
|
מצטער אם אני חוזר על המובן מאילו, אבל המודל החדש זימן לנו לפחות ארבע הפתעות: 1. אופן הבניה 2. עלות הבנייה 3. איכות התוצר 4. עלות ההפעלה מספר 3 היא עובדה מוצקה בעוד שאישושם של 1 ו-2 דורש מאמץ ניכר. קבלת הערכה באשר למספר 4 לעומת זאת דורשת רק טעינה של המודל הפתוח והפעלתו. ייתכן שנדרש קצת תיחכום (קוונטיזציה, טעינה חלקית). אם יתברר שצריכת האנרגיה פר בקשה אינו מצדיק את הכמעט חינמיות של השירות, ופשוט מדובר בסיבסוד אגריסיבי, הרי שגם 1 ו-2 עומדים בספק. לא שזה פוגם באיכות התוצר - זו עדיין מעוררת התפעלות - וחשש (צבאי בראש ובראשונה). צעדים בכיוון עורך עתה Matthew Carrigan. לפחות עפ"י דיווחיו, מדובר בהספק שמתקרב ל-400W עבור קצב של 6-8 טוקנים לשניה, שזה הרבה חשמל, נדמה לי. אני לא יודע מה צריכת החשמל של מודלים אחרים (יש מידע ברשת). בנוסף, ייתכן שעם יותר GPUs צונחת דרמטית צריכת האנרגיה פר בקשה. נמתין לתוצאות נוספות. |
|
|
|
|
|
|
||
|
||||
|
בכל מקרה, משום מה אני לא רואה יותר מדי התייחסויות ברשת לשאלה איך סין איפשרה את המהלך הזה. | |
|
|
|
|
|
||
|
||||
|
באמת מפתיע שסוגייה זו אינה זוכה ליותר תשומת הלב. אפשרות אחת צויינה למעלה - מדובר בטעות. האפשרות התמימה היא שסין החליטה לעלות על נתיב אחר - של שקיפות ושיתוף לפחות באופן חלקי. ההסתייגות היא שאין לכך אינדיקציות נוספות. האפשרות הצינית היא שכבר יש להם משהו הרבה יותר מתקדם. כך שאין להם בעייה עם חשיפת שיטות שגם כך סביר שממתינות במרתפי חברות ה-AI (יכול לקחת שנה עד שמודל עובר את כל הבדיקות והתיקונים). גם לא צריכה להיות להם בעייה עם מתן שירות באיכות דומה לזו של מקביליו, ועוד במחיר שזורע מבוכה תוך פיחות ביוקרתה של תעשיית ה-AI במערב לטובת זו הסינית, מה שאולי יוליך אל סין כמה מן המובילים בתחום שמוצאם משם. |
|
|
|
|
|
|
||
|
||||
|
גם אם יש להם משהו יותר מתקדם הרעיון לעזור למערב לסגור את הפער לא נשמע לי משהו שמאפיין את סין, שלא לדבר על כך שעצם העלאת האפשרות שיש להם משהו יותר מתקדם (אני מניח שאתה לא היחיד שעלה על האפשרות הזאת) אינה לטובתם. בכל מקרה, למה לתת למערב מתנה שיכולה היתה להימכר במיליארדים רבים? דיפסיק עצמה אולי מורכבת מאידיאליסטים אמיתיים, אבל זה שהם קיבלו אישור לייצא את זה (אני מניח שבסין חייבים לקבל אישורים כאלה) מרמז שסין לא התייעצה עם ג'פטו אם זה כדאי. |
|
|
|
|
|
|
||
|
||||
|
המאמר הזה משער שההחלטה לפרסם את המודל כ open source היתה מחוסר ברירה. הנתונים הם ש: 1. deepseek ענייה בהרבה מהשחקנים הגדולים 2. המודל שלה לא חכם יותר, אלא יעיל יותר (זול יותר לתפעול) 3. יש חשדנות מובנית של המערב כלפי מוצרים סינים ותוספת שלי: 4. deepseek מיישמת רעיונות שחלקם כבר קיים בספרות והתחום מתפתח במהירות; הייתרון הטכנולוגי שלה הוא לא גדול (משהו שחברות אחרות עשויות לסגור מהר) במצב הזה, עדיף ל deepseek לשנות את חוקי המשחק מאשר לשחק לפי הכללים הנתונים. |
|
|
|
|
|
|
||
|
||||
|
והרווח הוא של כולנו. זה כבר מזמן דיפולט שמה שטוב לצרכנים רע לשחקניות הגדולות ולהיפך. למשל הזכות לתקן מכשירים של אפל. |
|
|
|
|
|
|
||
|
||||
|
תיקון: במקרה זה חסר זיכרון רגיל ולא GPU. | |
|
|
|
|
|
||
|
||||
|
חלף חודש, יצאו מודלים חדשים של החברות המובילות, כולל X שבאופן מפתיע עברה להובלה, ואנתרופיק שחביבה עלי במיוחד. המודלים הללו עולים ברובם על זה של מחלתעומק ולא ברור מה נותר מן הסערה. אפילו מניית Nvidia התאוששה במידה ניכרת. האיכות של המודל הסיני עדיין מרשימה, אך באשר לטענות על עלויות אימון והפעלה מזעריות, אלו לא הביאו למיזעור העלויות בקרב החברות במערב, בין השאר מאחר ולא נמצאו להן תימוכין (?). הנה דבריו של אנדרו נג, בתרגומו של קלוד: בתחילה הפתיעה DeepSeek רבים בקהילת הבינה המלאכותית בטענה שאימנה מודל שפה גדול בעל ביצועים גבוהים בחלק קטן מהעלות הרגילה. • באופן ספציפי, דווח כי DeepSeek-R1 עלה פחות מ-6 מיליון דולר ו-2,048 כרטיסי GPU לאימון. (להשוואה, Claude 3.5 Sonnet של Anthropic עלה "כמה עשרות מיליוני דולרים לאימון," לפי דבריו של המנכ"ל דריו אמודיי, ו-GPT-4 עלה כ-100 מיליון דולר לאימון, לפי דבריו של המנכ"ל סם אלטמן). דיווחים מאוחרים יותר שפכו אור על התשתית האמיתית של DeepSeek וציינו כי הסכום של 6 מיליון דולר ייצג רק את ריצת האימון הסופית של DeepSeek-R1, חלק קטן מהעלות הכוללת של הפיתוח. • יתר על כן, בעוד שדיווחים ראשוניים אמרו ש-DeepSeek נשענה על מחשב-על בעל 10,000 כרטיסי GPU בבעלות חברת האם שלה High-Flyer, קרן גידור, חברת המחקר SemiAnalysis הטילה ספק באם DeepSeek הסתמכה על החומרה של High-Flyer. DeepSeek הוציאה כ-1.6 מיליארד דולר על אשכול של 50,000 כרטיסי Nvidia GPU, כך דיווח Tom's Hardware. • ההתלהבות הראשונית מעלויות האימון הנמוכות של החברה פינתה מקום לחששות בנושא ריבונות נתונים, אבטחה, ועלות ההפעלה של DeepSeek-R1, אשר מייצר מספר גדול יותר של טוקנים להיסק בהשוואה למודלים דומים. בהתאם לכך מתעתדות החברות המובילות להשקיע השנה מאות מיליארדי דולרים בתשתיות בינה ובעלויות הפעלה. |
|
|
|
|
|
|
||
|
||||
|
יאפ. הן ישקיעו מאות מיליארדים והשוק מתחיל לחשוש שלא יראו מזה ברכה. ה Mag 7 כבר חודשיים בביצועי חסר על השוק. 5 מתוכן נפלו אחרי פרסום הדוחות (כולל נבידיה היום, אם כי המסחר עדיין בעיצומו). מיקרוסופט, לדוגמה, עשתה את הגבוה שלה ביולי שעבר, ומאז שצנחה עם פרסום הדוחות בחודש שעבר היא נסחרת מתחת לממוצע נע 200 יום שלה (כלל אצבע שמורה שממוצע הקניות בשנה האחרונה הוא בהפסד). גרוע מזה, אותו ממוצע נע בלם את העליה שלו בסוף דצמבר, ועושה רושם שיתחיל לרדת בקרוב לראשונה מאז תחילת 2023. |
|
|
|
|
|
|
||
|
||||
|
פוסט מעניין של נדב שנרב, ותגובה לא פחות מעניינת בחסות קלוד. שנרב: "[בעבר] לא היה מספיק אוכל לכולם. מלחמות ושאר מאבקים רצחניים בין אנשים וקבוצות אנושיות שיקפו את משחק סכום האפס הזה... אילו היינו שואלים אדם לפני אלף או אלפיים שנה איך ייראה עולם בו אין מגבלות מזון והאתגר המרכזי של אנשים הוא מניעת השמנה, הוא היה חוזה שבעולם כזה לא תהיינה מלחמות. על מה יש לריב? ... צורתה הלינארית של העליה מאד מסקרנת ... בהתחלה הגיעו הדשנים הכימיים, אחר כך קוטלי החרקים, הזנים המעורבים, הטרקטורים והקומביינים וכדומה, והיום מדובר על הנדסה גנטית וכל מיני טריקים מיקרוביולוגיים. היינו מצפים שאוסף כזה של גורמים מגוונים יגרום לעלית היבול בצורה של "מדרגות", או לפחות קו עם שיפוע משתנה. במקום זאת קיבלנו משהו שנראה כמו עליה רצופה של 5 קלוריות לדונם לשנה או משהו דומה." בפוסט הוא מציג הגרף. תשובת קלוד: 1. **מגבלות ביולוגיות ופיזיקליות בסיסיות** - למרות שהטכנולוגיות משתנות, הן פועלות על אותן מערכות ביולוגיות עם אותן מגבלות יסודיות. יש גבול לכמה אנרגיה צמח יכול לקלוט מהשמש, כמה חנקן הוא יכול לספוג, וכו'. טכנולוגיות חדשות מתקרבות בהדרגה לגבולות אלו. 4. **התקדמות הדרגתית של ידע ואימוץ** - אימוץ טכנולוגיות חדשות לא קורה בבת אחת. גם כשיש פריצת דרך מדעית, לוקח זמן להטמיע אותה בקנה מידה רחב. זה מחליק את העקומה. 5. **סינון השוק והמדיניות** - חקלאים וקובעי מדיניות נוטים לאמץ חידושים בקצב שמייצר תשואה כלכלית אופטימלית, ולא בקצב של ההתקדמות המדעית עצמה. 7. **אפקטים של משוב ואיזון** - מערכות ביולוגיות וחברתיות מגיבות לשינויים עם מנגנוני משוב שיכולים למתן השפעות קיצוניות, ובכך ליצור דפוס יותר לינארי. אני: לפני שראיתי את תשובת קלוד, רציתי להגיב עם משהו שדומה למספר 4 שלו. אלא שתשובתו המלאה ריפתה את ידי. ככלל, המצב החדש מייתר כמות גוברת של אינטראקציה אנושית... |
|
|
|
|
|
|
||
|
||||
|
התשובה של קלוד נשמעת כמו אוסף של היפותיזות אפשריות להסבר הגרף הנתון. מי מהן הם הגורמים המשפיעים באמת, כימות ויחסים שלהם, הוא לא נותן. אולי אחת ההיפותיזות שגויה לחלוטין? מי יידע? |
|
|
|
|
|
|
||
|
||||
|
מעבר לנושא שמעניין כשלעצמו, הבאתי את הדברים בשל השורה האחרונה. אדגים זאת באמצעות תוכנית רדיו שחביבה עלי. זוג המגישים בתוכנית דן נושאים שונים מחייהם המקצועיים, המשפחתייים, המדינתיים ועוד. מידי פעם מציגה המגישה מבין השניים תמיהה בסוגיה אנושית כללית ("מדוע אנחנו עושים X כשקורה Y"), או בשאלה מדעית/חברתית או בעניין היסטורי כלשהו. כאייל מוסמך אני שם לב במקרים רבים שמדובר בנושא שכל הגישות האפשריות לו כבר נטחנו עד דק ולפעמים שהוא הוא כבר הוכרע מחקרית לפני שנים רבות. לפעמים אני נאנח ולפעמים מייחל להתערבותה של העורכת המוכשרת ורחבת האופקים. אלא שזו, כך מתברר חכמה ממני, וגם אם מתברר שהיא מודעת ל"נדושותו" של הנושא, אין היא בד"כ גודעת באיבה את השיחה. התוצאה היא בד"כ דיון בעל ערך כשלעצמו לעיתים ללא קשר לשאלה המקורית. למשל בגלל הדוגמאות, האסוציאציות, ההומור וכו'. החשש שהבעתי הוא שחלקים גדולים מן השיח האנושי, במיוחד זה האינטלקטואלי, יתמעטו ונישאר רק עם האישי, הריגשי, הרכילותי. אבל כשאני חושב על זה שוב, יהיו וכבר ישנן צרות גדולות יותר. אני מושך משום כך את טרונייתי זו לטובת ראויות ממנה. | |
|
|
|
|
|
||
|
||||
|
נו, השם של התכנית היה צריך לתת לך רמז... | |
|
|
|
|
|
||
|
||||
|
נתונים דומים אפשר למצוא כאן. ר’ קישור ל־Yield by Year. ואמנם יש בכולם הרבה קפיצות, אם מעבירים קו מגמה לינארי, זה נראה שהגידול לינארי. אם נמנעים ממנו, יש לי הרגשה שהגידול קטן בשנים האחרונות. |
|
|
|
|
|
|
||
|
||||
|
אני חושב שההסתכלות היא מהזווית הלא נכונה. ההיצע מתאים את עצמו לביקוש. לא נראה לי שיש מחסור בחיטה, תירס או אורז בעולם. אנשים רעבים פשוט לא יכולים לשלם את המחיר (הזול בעיניים מערביות) שלהם. לכאורה ארגוני סיוע היו יכולים לרכוש מספיק מוצרי מזון בסיסיים כדי שלא יהיה רעב אחד בעולם. בפועל יש המון חיכוך והרבה מהמוצרים לא מצליחים להגיע אליהם, ונשדדים או נרקבים בדרך. |
|
|
|
|
|
|
||
|
||||
|
"לא נראה לי שיש מחסור בחיטה, תירס או אורז בעולם" - ליפסטיק מסכים איתך. לטענתו 30-40% מהיבול מתבזבז בגלל הקשיים שהזכרת. | |
|
|
|
|
|
||
|
||||
|
ואתה משתף פעולה עם הרוגלה הסינית הזו? | |
|
|
|
|
|
||
|
||||
|
בהסתכנות ששוב אקלע למצב מסכים - לא מסכים, אומר שאני מקבל את הטענה, שבאופן תאורטי, יש מספיק מזון על כדוה"א כדי להזין את כל תושביו. הבעייה היא בפרקטיקה. ברור שחלוקת המזון לא שווה וברור שהחברה האנושית מלאת פגמים הגורמים לאובדן חלק גדול מן המשאבים (כפי שאכן כתבת). בפרקטיקה, נראה כי תושבי כדוה"א חשים מחנק ביותר ממובן אחד, גם במקומות שאינם סובלים ממחסור במים ומזון. אני חושב למשל על ההתחממות הגלובלית, זיהום האויר והפקקים בדרכים (ועל רוגל אלפר שנתקף ב-road rage, כאשר המוני מכוניות של ישראלים בדרך לקניון חדש, חסמו את הדרך שלו ושל בנו לקניון אחר). נראה לי, כי עוד לפני שהגענו לרעב מבני במימדים רחבים, הגענו למצב בו צפוף מדי על כדוה"א. דוקא בשל פגמיהם הרבים של בני האדם, נראה שהם זקוקים למרחב מסויים שיאפשר להם לא רק לגדל מזון, אלא גם להמלט זה מזה לפעמים. |
|
|
|
|
|
|
||
|
||||
|
נראה שהמערכת תאזן את עצמה. כבר כמה עשורים שבמדינות העשירות שיעור הילודה ירד מתחת לשיעור התחלופה, וזה הולך ומחריף. הגידול באוכלוסיית העולם הולך ונבלם. אני חושב שההאטה בגידול תפוקת המזון פשוט מציגה את ההאטה בגידול של הביקוש למזון, כאשר האוכלוסיה גם גדלה יותר לאט וגם הולכת ומתבגרת, שלא לומר מזדקנת. הצרכנים הגדולים של קלוריות הם ילדים וצעירים, ונראה לי שכמותם בעולם כבר לא גדלה. כלומר שהגידול בהם בעולם השלישי כבר לא מחפה על הקיטון בהם במדינות העשירות ובסין. |
|
|
|
|
|
|
||
|
||||
|
אגב העולם השלישי, נראה שגם בהודו אנחנו מתחת לסף ההחלפה של 2.1 ילדים לאשה. גם העולם הערבי בדרך לשם. | |
|
|
|
|
|
||
|
||||
|
|
|
|
|
|
|
||
|
||||
|
מתחת לשיעור התחלופה ==> התרסקות של כלכלות והסחר העולמי. זה לא מוביל לאיזון שיוביל לפחות רעב. זה מוביל לקטסטרופות, נזק לכלכלה העולמית וליותר רעב. אני בספק שיש משהו בטענה שיש קשר בין גודל האוכלוסיה העולמית וצפיפות לבין רעב. נראה לי שבדיוק להיפך (הרי העולם בעבר היה צפוף פחות ורעב יותר). רעב נובע מהעדר תשתיות מודרניות + גאופולוטיקה באיזורים/תרבויות מסוימות. זה לא נובע מזה שיש יותר מידי אנשים. |
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש והצהרת נגישות
|
© כל הזכויות שמורות |