בתשובה להפונז, 24/03/24 14:33
 |
|
 |
||
|
||||
 |
נראה לי מאוחר. לא יודע אם מאוחר מדי. הסיפור של ההרזיה באמצעות תרופות לסוכרת התפרץ ברשתות החברתיות כבר לפני שנה, וכבר היה מחסור מסויים באוזמפיק ובמונג'רו בגלל השימוש מחוץ להתוויה. לא בדקתי מספרית אבל אני מנחש שכרגע גם לילי וגם נובו נורדיסק כבר מתומחרות די מלא להצלחה. לפי העקרון של Buy by rumor, sell by news אנחנו כבר יותר בשלב המכירה מאשר בשלב הקניה. מצד החלום- אצל לילי הוא נראה לי יותר גדול כי התרופה הקיימת שלהם עובדת על שני קולטנים, ויש להם בדרך גם תרופה שתעבוד על שלשה קולטנים וגם תרופה לבליעה (התרופות הקיימות הן בזריקה שבועית) מצד הסיכונים- האנליסטים נותנים תחזיות מכירה ל 2030 כשלדעתי הם לא לוקחים מספיק בחשבון תחרות עתידית. כמו החלום של טסלה מלפני כמה שנים שמתקשה להפרט עכשיו לדולרים בגלל התחרות הגוברת. אמנם לא באותו קנה מידה (קשה להאמין שלילי תיחתך למחצית שוויה) אלא מבחינת השלב בסיפור. נובו נורדיסק היא לטעמי יותר מדי one trick pony. |
 |
 |
 |
|
|
|
||
|
||||
|
רק שמי שהשקיע בחלום של טסלה לפני כמה שנים ראה ברכה נאה בעמלו, ולכן אם זו ההשוואה אז כנראה שכדאי גם בלילי. | |
|
|
|
|
|
||
|
||||
|
לפני חמש שנים כן, לפני שנתיים שלוש ממש לא. טסלה מפגרת אחרי השוק בערך 3 שנים כבר. כמה שנאמר timing is everything. ה"טסלה" של השנתיים שלוש האחרונות היא נבידיה. נבידיה ל AI זה כמו סיסקו לאינטרנט. אני משוכנע שנראה מה AI גדולות ונצורות, כמו שראינו מהאינטרנט. סיסקו ב 1999 היתה החברה שהרוויחה הכי הרבה כסף מהאינטרנט (הרוב לא הרוויחו בכלל) ולמשך יומיים שלשה במרץ 2000 היתה החברה עם שווי השוק הגדול בעולם. היא עברה את מיקרוסופט שעברה כמה חודשים לפני כן את ג'נרל אלקטריק. מי שקנה את סיסקו בהנפקה שלה, רק 10 שנים קודם, הרוויח פי 1000 (כל 1000 דולר הפכו למיליון) לשיא. מאז, יותר מ 20 שנה, היא נשארה חברה רווחית מאוד, אבל לא חזרה למחירים של סוף 99' תחילת 2000. השאלה היא האם אנחנו עכשיו כמו בתחילת 99' או כמו בסופה. אם ההיסטוריה תחזור על עצמה אז יש לנבידיה עוד 40% בערך כדי לעבור את מיקרוסופט (שוב מיקרוסופט, שעברה את אפל) ולהיות החברה עם שווי השוק הגדול בעולם. ואם זה כל מה שנשאר לה לשיא אז אנחנו כמו בסוף 99' ולא כמו בתחילתה. |
|
|
|
|
|
|
||
|
||||
|
למקרה שמישהו פספס את הכותרות בעתונות הכלכלית- נבידיה עברה את מיקרוסופט לפני שבועיים, ובמשך יומיים וחצי היתה החברה עם שווי השוק הגדול בעולם. | |
|
|
|
|
|
||
|
||||
|
התכוונתי לשידור החוזר של שנת 2000. אז היומיים במרץ בהם סיסקו היתה הגדולה בעולם סימנו את השיא של בועת הדוט קום, ומשם הנסדק הלך אחורה. הפעם הנסדק עדייו ממשיך, אבל זה מתחרז. |
|
|
|
|
|
|
||
|
||||
|
איך מדריך שלי פעם אמר- גם תרנגולת עיוורת מוצאת לפעמים גרגר. |
|
|
|
|
|
|
||
|
||||
|
עברה כמעט שנה, אז היינו כמו בתחילת 99'. עכשיו החרא פגע במאוורר. אפילו אם דיפסיק יתגלה כפחות מאיים, נניח משום שנבנה בעלויות גבוהות ממה שהוצהר, עדיין יש שתי השלכות שליליות מאוד למניות ה Mag 7. נבידיה- לנבידיה אין עכשיו מחיר. כל הנתונים והתחזיות שהכניסו האנליסטים לגליון האלקטרוני שלהם כדי להמציא תחזית מחיר למניית נבידיה שווים לתחת. לאף אחד עכשיו אין מושג בכמה יסתכמו מכירות נבידיה ב 2026, אפילו לא מה יהיה איזור החיוג. עד עכשיו מניית נבידיה נסחרה על פי תחזיות אופטימיות מאוד לצמיחה במכירותיה בשנים הבאות. מספיק שהתחזית תהיה כעת לצמיחה מתונה כדי שהמניה תהיה מתומחרת ברבע מהתמחור הנוכחי. אבל כמו שאמרתי - לא יכולה להיות עכשיו שום תחזית עם שמץ אמינות. רק ניחושים וחוסר וודאות. אם יש משהו שהשוק שונא זה חוסר וודאות. יתר ה Mag 6- תחרות מסין זה הדבר האחרון שכל חברה רוצה. הסינים מתמחרים הכל יותר זול לצרכן. מיקרוסופט ואפל הן חברות שבמשך עשרות שנים תמחרו את מוצריהן כמו שרק מונופול יכול לתמחר. מאות המליארדים שחברות הענק השקיעו כבר בפיתוח ובעיקר בהקמה של תשתיות ה AI נתפסו עד כה כמנוף לרווחיות עתידית אדירה. עד כה אף אחד לא ידע מאיפה תבוא הרווחיות הזו, אבל סמכו על חברות הענק שכבר ימצאו את הדרך למונטיזציה של ה AI. הרי הביקוש יהיה אדיר, ואלו חברות שיש להן רקורד מצוין במונטיזציה. אבל עם תחרות מסין הכל נראה אחרת. וזה לא משנה אם דיפסיק הוא לא בדיוק מה שהוצהר. העיקר הוא לא מה קורה עכשיו אלא מה יקרה בעוד שנה, שנתיים וחמש. אם הסינים פיתחו אחד הם יפתחו עוד עשרה. ההנחה היתה שהסינים רחוקים מאוד מהחזית בתחום ה AI, וההנחה הזו התבדתה. עוד הנחה שהתבדתה היא שרף הכניסה לתחום הוא בשמיים. החפיר (moat) הזה מסביב לחברות הענק היה גם הוא חלק משמעותי מהתמחור של מניותיהן. בקיצור, רעידת אדמה. את ההשלכות לא נראה ביום אחד. |
|
|
|
|
|
|
||
|
||||
|
אני חושב ההיפך ממך, ולמעשה די נדהם מתגובת השוק (למרות שהתיקון כבר התחיל) ובעיקר אני לא מבין מה בדיוק קרה לשלטונות סין שאיפשרו להפיץ את הקוד לכל העולם, וזאת בשעה שהתחרות בין ארה"ב לסין על ההגמוניה העולמית בתחום בעיצומה. על חשיבות ההולכה של התחום אין צורך להכביר מלים, וכאן לא מדובר על שטויות כמו יוקרה (ע"ע תוכניות חלל למיניהן) ואפילו לא על כלי נשק מתוחכמים (ע"ע חמקנים, טילים היפרסוניים, לייזרים ודומיהם) אלא על זרז רב עוצמה של מליון ואחד תחומים, אזרחיים וצבאיים, ועל יתרונות כלכליים עצומים למוליכים בתחום. לדעתי מישהו נרדם בשמירה שם בסין, וראשים עוד יעופו, אבל לשמחתנו הסוס הזה כבר יצא מהאורווה. גם אם כל טענות deepseek בעניין עלות הפיתוח והצ'יפים בהם השתמשו יוכחו כנכונות (ספק גדול, אבל נדע את זה מהר בזכות הפצת הקוד) חברות כמו נבידיה רק ירויחו מהעסק, ובגדול. מאחר שהקוד פתוח, אפשר רק לנחש מה יקרה כשיפעילו אותו - וזה הולך לקרות מהר - עם הטכנולוגיה המתקדמת על הצ'יפים הכי מהירים של נבידיה ועל מאגרי הנתונים שבידי המערב. דומני שהמרחק ל-AGI יצטמצם בהרבה, אם לא ייעלם לגמרי, והשווקים שייפתחו בעקבות ההתקדמות העצומה הזאת רק יגבירו את הביקושים לשבבים של נבידיה, אם ניקח רק את החברה הזאת לדוגמא. הנסיון מלמד שטכנולוגיות הרבה פחות גרנדיוזיות מבינה מלאכותית של ממש, שעברו תהליכים של הוזלה משמעותית של הייצור (שבבי מחשב, למשל, או מכוניות לפני כמאה שנים) רק הגבירו את הביקושים ולפיכך את הרווחים של היצרניות, ואין שום סיבה להניח שזה לא יהיה נכון גם כאן. |
|
|
|
|
|
|
||
|
||||
|
אני מסכים עם הפסקה האחרונה שלך. אבל הנסיון גם מלמד שבכל תחום שבו הסינים נכנסו לתחרות היתה לשאר צניחה משמעותית בשולי הרווח. אם אני מבין את הפסקה הקודמת אז אתה מציע שיפעילו את הקוד של דיפסיק על ערכה חזקה בהרבה ממה שהם עצמם הפעילו, ונקבל AI חכם יותר? אין לי מושג אם זה עובד ככה (שאלה לקהל). אם כן, אז אתה צודק לגבי נבידיה, אבל לדעתי שאר ה 6 יסבלו הרבה יותר. |
|
|
|
|
|
|
||
|
||||
|
בקשר לשאלה ששאלת בסוף, הנה מה שיש לצבי מוסקוביץ1 להגיד: "... doing the same thing with more compute would have gotten better results, and indeed more compute is getting other labs better results if you don’t control for compute costs, and also they will now get to use these innovations themselves." 1- האיש שעובד 240 שעות ביממה.
_____________ |
|
|
|
|
|
|
||
|
||||
|
תודה. חומר קריאה מעולה. וממה שהבנתי התשובה לשאלה שלי היא: המרוץ לעוד כח מחשוב לא יגמר עד מוות האנטרופיה של היקום. יותר כח מחשוב על אותה מערכת יתנו AI חכם יותר, אבל לא באופן לינארי אלא בתועלת שולית פוחתת. השוק די מסכים עם המסקנה שלי מאותה שאלה- מי שסובלת בזמן האחרון יותר מהשאר היא מיקרוסופט. |
|
|
|
|
|
|
||
|
||||
|
הכלל הוא שמי שבטוח מרוויח הוא לא מחפשי הזהב אלא מי שמוכר להם ציוד, האדון לוי שטראוס לדוגמה. כנ"ל סיסקו והדוטקומיות. אבל סיסקו תומחרה בשנת 2000 לפי חלומות, ולמרות שנותרה חברה רווחית מאוד שווי המניה שלה מעולם לא חזר למחירים של שיא הבועה, כי היא הפכה לחברה משעממת. מענקיות האינטרנט של היום- גוגל, מטא ואמזון- רק אחת היתה דוטקום, והשתיים האחרות בכלל הוקמו אחרי בועת הדוט-קום. אני לא רואה מניעה שהסינים יתחילו לייצר GPUs משוכללים. הם הוכיחו יכולת להכנס לתחומים שהמחסומים בהם נראו בלתי עבירים. כנראה זה לא יקרה מחר בבוקר, ואולי הם יהיו פחות טובים משל נבידיה, אבל זה יהפוך את נבידיה לחברה משעממת. |
|
|
|
|
|
|
||
|
||||
|
אם כך אני מסכים שמי שייפגעו יותר מהתחרות הגוברת הם מחפשי הזהב (מיקרוסופט, גוגל) ולא יצרני הג'ינס (נבידיה). על נבידיה אני רק טוען שהיא תהפוך לחברה ''משעממת'' יותר (כמו ליוויס וסיסקו) והתמחור שלה ישתנה. |
|
|
|
|
|
|
||
|
||||
|
יכול להיות שזה יהיה דומה לכך שאחרי שאפל יצאה עם האייפון, התחילו הרבה חברות סיניות להוציא טלפונים זולים משמעותית אבל טובים מאד בפני עצמם? איכשהו אפל שרדה בגבורה את המשבר הזה, אם נבידיה תתנהג דומה מצבה יהיה טוב. ברור הרי שהיא לא תוכל לשמור על התשואות המטורפות שלה (עד השנה שעברה) לעוד הרבה זמן. אני מסכים עם ההשוואה ל-99, בעיקר מהדמיון בכך שמאד קשה לחזות לאן ועד כמה תתפתח הטכנולוגיה החדשה, ומי יהיו החברות המובילות שיעלו על הגל הזה בעוד 5 שנים. |
|
|
|
|
|
|
||
|
||||
|
אפל שומרת על רווחיות מטורפת ביחס למתחרות בגלל שהיא מוכרת מוצר צריכה המונית לצרכני קצה, ומשכילה להוון תדמית, אופנה וסמל סטטוס. שבבים זה תשתית ומכירה בעיקר לתאגידים, אני מניח שזה הרבה יותר מריטוקרטי. | |
|
|
|
|
|
||
|
||||
|
נקודה טובה. אבל הרי אף אחד לא טען כאן שהסינים פיתחו שבבים טובים יותר. אם אני מבין נכון, הטענה היא שהם פיתחו *תוכנה* שמצריכה פחות שבבים. זה קצת נשמע לי כאילו שמיקרוסופט יפתחו ווינדוס שלוקח עשירית ממשאבי המחשב של היום, וזה יפיל את המניות של אינטל. (אני מבין שכרגע חלק גדול מכל זה זה הייפ לשני הכיוונים, אבל ננסה להוריד את זה לקרקע המציאות). לא נתקלתי בכל ההיסטוריה של האינטרנט והמחשוב במקרה שתוכנות יעילות יותר פגעו במי שמייצר חומרה, בדרך כלל הפוך - ככל שהחומרה נעשית זולה יותר התוכנות מתנפחות ומתנפחות שאפילו מאלצות את צרכני הקצה להחליף חומרה (טלפון/לפטופ/מחשב) כל כמה שנים. |
|
|
|
|
|
|
||
|
||||
|
הבנתי שחלק גדול מהקוד של דיפסיק לא מחוייב ל CUDA של נבידיה. זה משמעותי מאוד כי CUDA עד כה היתה הסטנדרט של התעשיה, וזאת פתיחה משמעותית של שוק השבבים ל AI לתחרות מצד יצרניות אחרות. המשמעות היא ירידה בשולי הרווח הגולמי. דוגמה: כל עוד אינטל שלטה בשוק ה CPU העולמי עם נתח שוק של 80%, שולי הרווח הגולמי שלה היו 59-64%. ברבעון השלישי של 2019 AMD התחילה לנגוס בנתח השוק שלה והוא צנח מתחת 70% לראשונה מאז השד יודע מתי. מאז היחס ביניהן הוא בין 60-40 ל 65-35 (75-25 עד 70-30 לפי מקור אחר) שולי הרווח של אינטל החלו לצנוח (בפיגור מסוים, בגלל הקורונה ב 2020-21) ונשכבו על 40%. של AMD הם בערך 45%, ויש לה תמהיל מוצרים עדיף (GPUs). |
|
|
|
|
|
|
||
|
||||
|
ירידה בשולי הרווח הגולמי (מחיר מכירה פחות עלות הייצור בלבד, בלי הקמת מפעלים, הוצאות שווק, הנהלה וכלליות) מ 60% ל 40% היא אדירה, והכניסה את החברה לסחרור. ככה זה כשאתה רגיל להיות מונופול עשרות שנים ומישהו פתאום מזיז לך את הגבינה. |
|
|
|
|
|
|
||
|
||||
|
מעניין. לא ידעתי שנבידיה מרוויחה מתוכנה, תהיה נפוצה ככל שתהיה, אבל זה יכול להיות כיוון מעניין לעקוב אחריו. | |
|
|
|
|
|
||
|
||||
|
לא יודע אם הם מוכרים ומרוויחים במישרין מהתוכנה, אבל הדומיננטיות שלה היא לבטח שיקול מכריע אצל מפתחים ואחת הסיבות הראשיות, אם לא העיקרית, למונופול המוחלט של נבידיה בשוק השבבים לאימון AI. | |
|
|
|
|
|
||
|
||||
|
לא התעמקתי ב-DeepSeek (פאדיחה), אך אכן שמעתי שהמפתחים שם עשו ככל הנראה שימוש נרחב ב-PTX. אבל אם כך, זה לא מחליש את תלותם ב-NVIDIA - אלא רק מחזק אותה. באופן כללי1 כתיבה ב-CUDA דומה קצת לכתיבה בשפה עילית. בדרך כלל מדובר בהרחבה של שפת C, אותה ניתן – תיאורטית ובמידה מסוימת גם פרקטית – לקמפל לפלטפורמות אחרות. ובכל מקרה, לעיתים קרובות תרגום ידני של קוד מ-CUDA ל-(נניח) OpenCL הוא עניין פשוט. לעומת זאת, כתיבה ב-PTX דומה לכתיבה באסמבלי: כבר יותר קל לכתוב הכל מאפס מאשר לנסות להעביר או לשכתב את הקוד לארכיטקטורה אחרת. בכלל, הפכת את הסיבה והמסובב. CUDA היא ערימת זבל סוסים (לעומת, לדוגמה שוב, OpenCL), אך האפשרויות לאופטימיזציה ספציפית ל-NVIDIA באמצעות שימוש ב-CUDA, בשילוב עם העובדה שאין טעם לכתוב קוד שיכול לרוץ גם על חומרה אלטרנטיבית (פשוט כי אין כזו) - הובילו לכך שכולם משתמשים רק ב-CUDA. זו אינה הסיבה לדומיננטיות של NVIDIA, אלא תוצאה של הדומיננטיות שלה. אף אחד לא בוחר ב-NVIDIA בגלל התוכנה. אף אחד לא בוחר ב-NVIDIA בכלל. אין בחירה2. יש רק NVIDIA. 1 זה לא מדויק, זו רק אנלוגיה, אבל אני מניח שהפרטים לא מעניינים אף אחד בסביבה. 2 חוץ מלגוגל... |
|
|
|
|
|
|
||
|
||||
|
הבנתי קצת, מספיק כדי להבין חלקית את המסקנה. תשלים לי את המשפט כדי שאוכל לסדר לעצמי את התמונה: אם לאינטל יש שבבים חלשים יותר מלנבידיה, אבל עם יחס עלות/תועלת (וצריכת אנרגיה) טוב בהרבה, המפתחים של AI בעל דרישות מחשוב קטנות יחסית (יחסית!) עדיין יבחרו בנבידיה כי... |
|
|
|
|
|
|
||
|
||||
|
בתנאי הזה (בהנחה שהשבבים הללו טובים מספיק1), הם אולי לא יבחרו בנבידיה. אבל (נכון להיום) זה תנאי בטל. בטח יש מגיבים שיכולים לתת תשובות טובות משלי, אני לא מבין הרבה בחומרה ועוד פחות מזה בתהליכי ייצור ושרשראות אספקה. אבל העובדה היא שקשה מאד להציע אלטרנטיבה ל-NVIDIA בטכנולוגיה הנוכחית. לראייה, גוגל. הסיבה שהחרגתי אותם בתגובתי הקודמת היא שהם מפתחים את חומרת ה-AI שלהם - שאינה נופלת מזו של נבידיה - בעצמם. אז למה הם לא מוכרים אותה2 ונוגסים בנתח השוק העצום של נבידיה? ככל הנראה, כי הם בקושי מצליחים לייצר מספיק לצריכה עצמית, ואין להם עודפים למכור. הבעיה היא לא לתכנן את השבבים, אלא לייצר אותם בהיקפים גדולים. 1 באופן כללי, צריך להבחין בין חומרה המיועדת לאימון לבין חומרה המיועדת להרצה. 2 הם כן מציעים גישה אליה בשירותי-הענן שלהם, אבל זה לא רלוונטי בסקייל הדרוש לשחקנים הגדולים. |
|
|
|
|
|
|
||
|
||||
|
נשמע כאילו זה שוק שממתין ל-Disruption של שחקנים אחרים. מה כבר NVidia עושים שלא יעלה על הדעת שיצליח לעשות איזה מתחרה? נראה לי שההצלחה של NVidia היא אנומליה רגעית שתעבור. תוצאה של תהליכים היסטוריים - הרי לפני יומיים וחצי היעוד של ה-GPUs היה בעיקר בהאצה גרפית (משחקים וגרפיקה ממוחשבת). ה-CUDA לא הגיע לעולם ב-2007 כי היה ביקוש מטורף לפיצ׳ר הזה והוא היה די עניין איזוטרי ב-2007 עד 2010. ה-GPGPU נולד בעיקר בשביל צורך איזוטרי בחוגים אקדמיה להרצת סימולציות (fluid dynamics, climate modeling, etc). רק ב - 2012–2018, כנראה אפילו לא בכוונה/לא כי זאת היתה כוונת המשורר, התחיל להיות פופולרי יותר ויותר השימוש ב-CUDA וחומרה של NVidia לאימון ב-ML. כנראה גם ההצלחה של AlexNet תרמה לפופולריות ואימוץ הכלי. אבל גם אז, בתקופה בה זה נהיה יותר פופולרי ב-ML, עדיין לא היה מדובר פה באיזה שוק מטורף שכל השחקנים חלמו להכנס אליו. באותם ימים, הרוב לא חלם את תופעת ה-LLM ואף אחד לא העלה בדעתו את תופעת ״חברות הג׳פטו״ שאנו מכירים היום. בקיצור - נראה לי שהמעמד בו NVidia הגיעה אליו היום הוא אנומליה זמנית וסתם עניין מקרי. משהו שקיים ״מסיבות היסטוריות״. לכן לא נראה לי סביר שהם יצליחו לשמור על המעמד האנומלי הזה לאורך זמן. שחקנים אחרים יכנסו לשוק וינסו לנגוס בעוגה. חברות כמו AMD, Intel, Google ו-Apple1 כבר החלו להציג פתרונות חומרה ייעודיים ל-AI. חלקם, כמו Google עם ה-TPUs, כבר משמשים בצורה מסיבית בתשתיות ענן פנימיות. ככל שהביקוש ימשיך לגדול, כנראה שנראה יותר פתרונות תחרותיים שמסוגלים לאתגר את השליטה של NVIDIA. _________ 1 לגבי אפל - נכון, הצ׳יפים של Apple מתרכזים בפתרונות עם אופטמיזיציה ל-Inference שמריצים מודלים קיימים על מכשירי צריכה (במינימום בזבוז בטריה), אבל גם סביר להניח שהם עובדים על צ׳יפים (ותוכנה) לשימוש פנימי של ה-R&D שלהם מאחורי הקלעים, עם אופטימיזציות לצורך למידה של מודלים, כדי להוריד סיכונים של תלות בחומרה של NVidia ובתוכנה של OpenAI בעתיד. אם יהיה להם ביד משהו מוצלח, לא אפול מהכסא אם אפילו הם יכנסו לשוק החומרה הזה (גם אם זה חורג מהאפל שאנו מכירים שירדן אפיין לא רע למעלה כ״מוכרת מוצר צריכה המונית לצרכני קצה, ומשכילה להוון תדמית, אופנה וסמל סטטוס״). |
|
|
|
|
|
|
||
|
||||
|
"שוק שממתין ל-Disruption"? זה שוק בן יומיים שמשתנה בקצב פסיכי. עד כדי כך שיש גם סיכוי ש-Nvidia לא יהיו רלוונטים עוד רגע כי כל הפרדיגמה תשתנה, מי יודע. אחרי 2012 שימוש ב-GPUs לצרכי אימון מודלים אמנם נכנס למיינסטרים, אבל היתרון התחרותי של NVIDIA לא היה אז כל כך מוחלט כמו היום. אני משער שמאז היא הלכה וצברה דומיננטיות בעיקר בגלל ניהול מוצלח של תהליכי הייצור והאספקה של החומרה, ופחות בגלל יצרתיות טכנולוגית, ונראה (אני לא מבין בזה) שמאד קשה להתחרות בה באספקטים האלה. |
|
|
|
|
|
|
||
|
||||
|
נבידיה רק מפתחת ולא מייצרת בעצמה. TSMC, היצרן הגדול והמתקדם בעולם, מייצר עבורה. זה אכן היה בדיעבד ניהול מוצלח מאוד של תהליכי הייצור. נבידיה מובילה כבר יותר מעשור את תחום ה GPU על פני המתחרה הראשית שלה, AMD (שרכשה את ATI ב 2006). אמנם יד המקרה היא שדווקא ה GPU התגלה כיעיל ביותר לאימון AI, אבל לא מקרי שהודות לכך נבידיה היא המובילה ב |
|
|
|
|
|
|
||
|
||||
|
הנה הניתוח שלי לגבי deepseek. המידע שלי הוא ברובו מה tech report של deepseek. 1. הpretraining בוצע על h800 של nvidia. 2. הטענות לגבי עלויות pretraining נמוכות מאד הן קשקוש. מדובר באותו סדר גודל שהושקע ב gpt4 (לפי הדלפות), אם לוקחים בחשבון את ההבדל בgpus. בשני המקרים 1e25 tflops, וגם זמני הריצה מסתדרים. הסכום המצוטט להכביר של 6 מיליון דולר זה רק על זמן gpu נטו. כל ההערכות על המיליארדים שהושקעו בחברות הגדולות זה מן הסתם כולל חומרה, משכורות, הכנת דאטה וכדומה. תאורטית יתכן שהאימון יעיל יותר פי 2, אבל זה כבר קשה לי מדי לבדוק. ה caveat העיקרי פה: טוענים שהאימון הוא הרבה יותר יעיל (מבחינת ניצול compute ותקשורת) מאשר מודלים פתוחים אחרים כמו llama. לא בדקתי את זה, אבל נשמע לי סביר. 3. הטענות לגבי inference הרבה יותר זול (מצריך פחות gpus) ביחס לgpt4/gemini הן *נכונות*. סד"ג של פי 5. יש מספר חידושים ארכיטקטוניים שתורמים לזה. 4. ה evals של deepseek על datasets של reasoning (קידוד, מתמטיקה) הם מרשימים מאד, בחלק מהם הם מקדימים את התחרות, לעיתים בהרבה. 5. מתוך שימוש אנקדוטלי ב deepseek עצמו: א. הניסוחים של חלק גדול מהתשובות דומים מאד ל gpt 4o. אני חושד שהיתה כמות לא זניחה של scraping ב. במשימות קוד "יומ-יומית" הוא נותן תשובות טובות כמו gpt 4o. בשאלת קידוד/אלגו יותר טריקית, התשובה היתה רעה. ג. השוותי את מוד reasoning בין deepseek ל gpt4o על חידת הושבה עם אילוצים. קיבלתי תשובה נכונה משניהם, אבל אצל deepseek היה chain of thought מאד ארוך שנמשך 3 דקות (לgpt4o זה לקח 25 שניות). 6. פחות מעניין, אבל סתם לידיעה: נכון לאתמול ניתן לעשות sign up מישראל. השרת שלהם תפקד 20 דקות כן 20 דקות לא לסירוגין. |
|
|
|
|
|
|
||
|
||||
|
3. עם או בלי קשר: תגובה 776190 | |
|
|
|
|
|
||
|
||||
|
הטייק של Sabine Hossenfelder בנושא. | |
|
|
|
|
|
||
|
||||
|
מעניין. היא מדברת כאילו יש לה רקע בשוק ההון, אבל זה לא נראה שיש לה. השאלה המהותית ביותר מבחינת נבידיה היא האם היא תאבד את המונופול המוחלט שלה. מספיק שנתח השוק שלה יירד ל 70% כדי ששולי הרווח הגולמי שלה יצנחו. אפילו אם המכירות שלה יגדלו יותר מהתחזיות במונחי יחידות (הן לא, כי הבנתי שיש backlog של קרוב לשנה לבלקוול) הרווח יירד. השאלה המהותית ביותר מבחינת כל השאר היא איך עושים מזה כסף. בינתיים open AI מפסידה כסף גם על לקוחות משלמים. אני בטוח שלכל חברה תהיה הזווית שלה. מיקרוסופט ואפל פשוט ישלבו AI במוצרים הקיימים, כמו שכבר התחילו. האם יוכלו לדרוש יותר כסף מהלקוחות בזכות הפיצ'רים החדשים? |
|
|
|
|
|
|
||
|
||||
|
מונופול מוחלט לא שורד להצח. לא אפל, לא גוגל ולא מיקרוסופט שמרו על המונופול המוחלט שלהם לעד. השאלה היא האם תשמור על מעמדה כמובילת שוק. מאחר ואני מניח שרוב מוחלט של הרווחים שלה זה מחומרה - לא כל כך קל להתחרות בחומרה של מעבדים מהירים. את המודל העסקי של openAI אני באמת לא מבין. אולי מתישהו הם יתחילו לגבות כסף מכולם, או ישלבו פרסומות (הטריק הכי עתיק בתחום), וזה יממן אותם. גם מנוע החיפוש של גוגל היה חינמי בהתחלה ולא היה ברור ממה הם יתפרנסו. |
|
|
|
|
|
|
||
|
||||
|
פרסומת סמויה יכולה להיות שוס במודלי שפה. | |
|
|
|
|
|
||
|
||||
|
למה סמויה? תראה איך נראה היום גוגל עם הפרסום האגרסיבי שמופיע ממש בתוך תוצאות החיפוש. שנת 2026: שאלה: מהו אורך חייו של לוויתן כחול? תשובתו של ג׳פטו O-0: הלוויתן הכחול, היצור הגדול ביותר שחי אי פעם על פני כדור הארץ, יכול לחיות עד כ-70 עד 90 שנים. מדובר בחיה מופלאה שיכולה להגיע לאורך של מעל 30 מטרים ולמשקל של כ-150 טון. מעניין לציין שלווייתנים זקוקים לכמויות אדירות של אנרגיה, ממש כמו בני אדם שמתרוצצים במהלך היום. האם ידעת ששתיית משקה מרענן כמו קוקה-קולה, שמלא בטעם החיים, יכולה לתת לך אנרגיה להמשיך את היום? לווייתנים, כמובן, לא שותים משקאות מוגזים – הם ניזונים מפלנקטון! אבל מי מאיתנו לא היה רוצה רגע קטן של קסם אמיתי? |
|
|
|
|
|
|
||
|
||||
|
נחמד, אבל על זה לא הייתי משלם המון בתור מנהל שיווק של קוקה-קולה, זה שקוף וכולנו כבר די מיומנים בלהתעלם מזה. הפוטנציאל האמיתי הוא בשיחות שבאופן טבעי מגיעות לאזורי הפרסום. השימוש הראשון שלי בבינה היה שתתכנן לי חופשה באתונה, ואז הוספתי שאני עם ילד. עכשיו נגיד שאני מנהל שיווק של אטרקציה לא לגמרי קיקיונית אבל שמחפשת להגדיל את הקהל. | |
|
|
|
|
|
||
|
||||
|
אני בספק שאנחנו מיומנים בלהתעלם מפרסום שקוף ובוטה. אני יותר נוטה להאמין שאנחנו מיומנים בלהשלות את עצמנו שאנחנו מיומנים בלהתעלם מזה. | |
|
|
|
|
|
||
|
||||
|
אני לא אומר שזה חסר תועלת למפרסמים, סכומים ענקיים הולכים לפרסום כזה. ובכל זאת, לא אותו דבר. בעצם הבעיה העיקרית בפרסומת שדמיינת היא חוסר טירגוט - למה לפרסם דווקא קוקה קולה בזמן שיחה על לוויתנים? | |
|
|
|
|
|
||
|
||||
|
הדוגמה היתה Tongue in cheek. המציאות תהיה כמובן יותר ״רגילה״ מהדוגמה המוגזמת הזאת. כמו כשערוץ youtube בנושאי מדע (נגיד זה של Sabine Hossenfelder) פתאום דוחף לך שאין על NordVPN או שהכי טוב לאנשים חכמים שמבינים במכניקת הקוונטים לאמן את המוח שלהם עם brilliant.org. זה גם In your face, אבל גם מטורגט. | |
|
|
|
|
|
||
|
||||
|
אני בעצם חשבתי על משהו יותר שטני. לא לדחוף את הפרסומת לתוך הטקסט אחרי שהטקסט מוכן, אלא שהיא תהיה באמת חלק מהטקסט כמו שהתוכנות האלו יודעות לעשות. ש''קוקה קולה'' תופיע היכן שהיית מצפה לראות ''קוקה קולה'' גם אלמלא הפרסום, רק בסבירות יותר גבוהה או עם הטיה חיובית יותר. כדי שזה יקרה, עד כמה שאני מבין, צריך להשפיע לא בשלב ההסקה אלא בשלב אימון המודל. להכניס הרבה טקסטים שמשבחים את קוקה קולה לסט האימון, עם משקל גבוה. ''קוקה קולה'' היא שוב לא הדוגמה הכי טובה (ושטנית). נניח שיציעו לארגונים אידיאולוגיים כמו ''פורום קוהלת'' או ''הקרן החדשה לישראל'', תמורת תשלום נאות, להוסיף לסט האימון יותר טקסטים שמקדמים את האידיאולוגיה שלהם, עם משקל יותר גבוה. או, עם אנכרוניזם קל - סיגריות לא מזיקות, אין משבר אקלים, וכאלה. |
|
|
|
|
|
|
||
|
||||
|
יאפ. | |
|
|
|
|
|
||
|
||||
|
אגב אינטל, ביקשתי מהבן לבדוק לי מה אומרים על גאודי 3, ההכרזה האחרונה של אינטל בתחום ה AI. הוא אמר שהוא מתחרה בדור הקודם H100 של נבידיה ואומרים שלמרות שה H100 עדיין חזק יותר, יחס עלות/ביצועים של הגאודי הוא טוב בהרבה, לפחות ב 30%. אגב, הגאודי 2 הקיים מציע בערך חצי מהביצועים של ה H100 בכמעט עשירית המחיר ורבע צריכת האנרגיה. אם מודלים חדשים אינם זקוקים לכוח מחשוב כל כך גדול ואינם תלויים ב CUDA, אז הם באמת יכולים לחתוך עלויות בסדר גודל שלם נוסף על הקיטון בכמות החישוב הנדרשת רק על ידי שימוש בצ'יפים שאינם החזקים ביותר. הדור החדש של נבידיה - בלאקוול B200 - נחזה להיות חזק פי 4 בערך מה H100 (ועולה בערך פי 7). |
|
|
|
|
|
|
||
|
||||
|
>> מענקיות האינטרנט של היום- גוגל, מטא ואמזון- רק אחת היתה דוטקום, והשתיים האחרות בכלל הוקמו אחרי בועת הדוט-קום. חשבתי שרק מטא (כלומר פייסבוק) הוקמה אחרי בועת הדוט.קום, לא? גוגל הוקמה ב-1998 ואמזון ב-1994. |
|
|
|
|
|
|
||
|
||||
|
אמזון נקראה אז אמזון.קום והשתתפה בבועה. גוגל אמנם הוקמה ב 98' אבל הונפקה לציבור רק ב 2004. אני חושב שבשנת 2000 מנוע החיפוש שלה עדיין לא שוחרר לציבור. |
|
|
|
|
|
|
||
|
||||
|
אני בוודאות השתמשתי בגוגל (כמנוע חיפוש) בתחילת שנת 2000, אולי אפילו כבר ב-1999. גוגל היתה מלכת שוק החיפוש הרבה לפני שהיא הונפקה. | |
|
|
|
|
|
||
|
||||
|
אוקיי. הנקודה שלי היתה שבשנת 2000, אפילו ב 2005, היה קשה מאוד לשים את האצבע על המרוויחות העתידיות הגדולות מהאינטרנט. שמכל חבורת הדוט קום דווקא זו שמוכרת ספרים תצליח. שהרשת החברתית תהפוך למפלצת. שהשימוש המרכזי באינטרנט יהיה דרך הטלפון הסלולארי. החברות המובילות דאז- יאהו ו AOL לא הצליחו למצוא את דרכן. אותו דבר היה בשנות השמונים עם המחשב האישי- לא אפל ולא IBM הצליחו לצאת טוב משנות השמונים. אינטל ומיקרוסופט- אלו שמכרו את הג'ינסים למחפשי הזהב- עלו לגדולה. גם אז היה קשה מאוד לחזות את ההצלחה העתידית של הצמד אינטל-מיקרוסופט להפוך למונופול עולמי. נראה שהטקטיקה הנכונה היא לחכות למנצח ולהצטרף אליו. |
|
|
|
|
|
|
||
|
||||
|
שתי השאלות החשובות לגבי התמחור של מניית נבידיה הן- - כמה זמן היא תשאר מונופול עולמי (מעל 75% מהשוק) בשוק שלה. - עד כמה השוק ימשיך לצמוח מונופולים עולמיים לפני שנות השישים רק שתי חברות הצליחו להיות מונופול עולמי- חברת הודו המזרחית שלטה בסחר העולמי במשך שתי מאות של דומיננטיות האימפריה הבריטית, ודה בירס שלטה בכריה והפצת יהלומים בעולם משנות הארבעים ועד שנות האלפיים. משנות השישים הדומיננטיות היא של חברות אמריקאיות: יבמ היתה מונופול עולמי במיינפריים במשך 30 שנה, עד אמצע נותן התשעים. מיקרוסופט מצליחה להשאר מונופול עולמי בשוק מערכות ההפעלה לדסקטופ כבר כמעט 30 שנה, מאז ווינדוס 95 ועד היום. גם חבילת האופיס, מאז שמחקה את הנוכחות של 1-2-3 ווורדפרפקט בשנות התשעים, נשארה מונופול עד היום, אם כי גוגל מתחילה לזנב בה. אינטל החזיקה מעמד כמונופול עולמי מעל 20 שנה. מנתח שוק של 50-70% ב x86 בתחילת עד אמצע שנות התשעים היא עלתה עם הפנטיומים ל 80% בסוף שנות התשעים, והחזיקה מעל 75% מהשוק עד ש AMD שברה את המונופול שלה בסוף 2019. סיסקו החזיקה מעמד כמונופול עולמי כ 20 שנה, עם נתח של 75% ויותר משוק הסוויצ'ים מאמצע שנות התשעים ועד 2017. מנוע החיפוש של גוגל הוא מונופול עולמי כבר 20 שנה, והאנדרואיד היא מונופול מאז 2011. מטא היתה/היא מונופול עולמי בתחום הרשתות החברתיות (אם סופרים גם את ווטסאפ ואינסטגרם) כבר 10 שנים. פייסבוק לבדה גירדה את ה 75% באמצע העשור הקודם. שליטה אמריקאית מאז דה בירס, חברות לא אמריקאיות לא הצליחו להגיע למעמד של מונופול עולמי. נוקיה התקרבה, עם 40-50% משוק הטלפונים הסלולריים העולמי מאמצע שנות התשעים עד תחילת שנות האלפיים, ואיירבוס היא מחצית מדואופול עולמי. הדואופול בואינג ואיירבוס מחזיק כ 90%(!) משוק מטוסי הנוסעים הסילוניים (commercial jetliners) צרי ורחבי גוף העולמי כבר 40 שנה. איתגור מצד סין כאשר מסתכלים על המעורבות הסינית בטכנולוגיה בשני העשורים האחרונים רואים שסין באופן עקבי מאתגרת את המונופולים העולמיים יותר מכל. הוואווי איתגרה את השליטה של סיסקו, טיקטוק את מטא, עליבאבא את אמזון. כעת קומאק מנסה לאתגר את הדואופול של בואינג ואיירבוס1 שתי חברות סיניות- CATL ו BYD, מחזיקות כיום כ 70% מהייצור של סוללות לרכב חשמלי. ________ 1 בקצב יותר אטי, כמתחייב מאופי התעשיה. ב 2024 קומאק מסרה רק 12 יחידות של ה C919, אבל היא מתכוונת להעלות את קצב הייצור ל 150 בשנה תוך 5 שנים, ויש לה כבר כ 1000 הזמנות. להשוואה אירבוס מסרה 602 ממשפחת A320 ב 2024 וצבר ההזמנות שלה הוא כ 5000 מטוסים. |
|
|
|
|
|
|
||
|
||||
|
סיכום התחרות בתחום שבבי AI בכלכליסט תקציר- אמזון, גוגל, מטא, אפל, מיקרוסופט ו openAI כולן מפתחות שבבים in-house. אמזון כבר בדור שלישי, מיקרוסופט תגיע לייצור השנה, אפל ו openAI ב 2026. הרוב משאירות את תחום אימון המודל לנבידיה, ומפתחות שבבים להרצה. אמזון מפתחת עם מארוול שבבים לאימון. אני משער שלאור ההשקעה הגדולה בתחום שבבים להרצה נבידיה כבר לא תהיה מונופול בו ב 2027. |
|
|
|
|
|
|
||
|
||||
|
ייתכן שהיא לא תהיה מונופול ב-2027. מצד שני, ייתכן שגוגל שוק שבבי הAI עד אז יהיה גדול פי עשר מהיום. |
|
|
|
|
|
|
||
|
||||
|
יש התפתחויות מעניינות בתחום הפוטוניקה, כך שייתכן שכל השוק הזה, או לפחות חלקים גדולים ממנו, יעברו מהפכה. מי שמעדיף סרטונים, במיוחד כאלה עם אנסטסי (המבטא שלה הורס אותי!), מוזמן לרבע שעה של הסבר מפיה. (הערת אזהרה: 99% מהחדשות האלה לא שורדות את המעבר מפרסום בעיתונות למשהו מועיל; אחרת כבר מזמן היינו חיים עד 150 בלי להזדקן ולחלות, ומדי פעם קופצים לביקור אצל ידידנו במאדים (מסלול התיירים הידוע בשמו "המסע של מארק ווטני" מומלץ!). אבל אני, אופטימיסט ידוע, משתדל להסתכל על 1% הכוס המלא[ה]). |
|
|
|
|
|
|
||
|
||||
|
לא הייתי עוצר את נשימתי בציפייה למהפכת המחשוב האופטי. רק בסוף - אחרי שהדגישה יתרונות פיזיקליים של פחות מסדר גודל של כמות הצבעים והמהירות - היא הזכירה את הבעייה האינהרנטית במחשבים אופטיים: אורך הגל של האור. זוכרים את חוק מור, זה שעד לפני כעשור הכפיל פי עשר את מהירות העיבוד של cpu's כל כמה שנים? אז ההנדסה שעליה רכב החוק הזה היא הקטנת הגודל של הטרנזיסטורים והמוליכים בתעשיית הסמיקונדקטורס שהגיעה כבר ל-10 ננומטר במעבדים של היום. אורך הגל של אור הוא כ-500 ננומטר. ואידך זיל גמור. אפילו בחישוב משטחי ולא נפחי, יחס הגדלים המתקבל הוא 2500 לרעת המעגלים האופטיים. אם נוסיף על זה עשרות שנים של הנדסה עילית שהביאה ליכולת ייצור המעבדים של היום, המסקנה היא שהמהפכה האופטית לא קרובה אלינו, אם בכלל. |
|
|
|
|
|
|
||
|
||||
|
לא היה לסין פעם מונופול עולמי על תה ומשי? | |
|
|
|
|
|
||
|
||||
|
היתה תקופה, אבל זה לא עזר להם הרבה מול האימפריה הבריטית. הבריטים התחיחלו לגדל תה בהודו והכניעו את סין במלחמת האופיום הראשונה (הבריטים סיממו את הסינים באופיום והכריחו אותם להסכים לזה). המונופול האמיתי היה של חברת הודו המזרחית1 ששלטה בהפצה ובמסחר העולמי, כמו דה בירס ששלטה בהפצה של יהלומים ולא דרום אפריקה. ___________ 1 אם כך מתרגמים את East India Company, אזי התרגום של New Israel Fund ל"קרן ישראל החדשה" לא מופרך בכלל. |
|
|
|
|
|
|
||
|
||||
|
כן, אבל לפני זה היה להם מונופול עולמי של כמה מאות שנים. הרי גם חברת הודו המזרחית איבדה את המונופול שלה מתישהו. | |
|
|
|
|
|
||
|
||||
|
הו, הימים של פ̶ר̶ל̶י̶ ̶ס̶פ̶נ̶ס̶ר̶ פרל בוק (לא פרל באק ולא נעליים, כן?!). | |
|
|
|
|
|
||
|
||||
|
חברת הודו המזרחית האנגלית / בריטית הייתה מונופול מטעם ממשלת אנגליה / בריטניה. היו גם מונופולים מתחרים של ארצות אחרות: התברר לאנגלים ולהולנדים שמונופול אחד זה מודל שמספק לכתר מספיק מיסים (לעומת בתי סוחרים שונים שמתחרים האחד במשנהו). לדוגמה, במאה ה־18, כשחברת הודו המזרחית הבריטית התחרתה עם זו הצרפתית על ההגמוניה בהודו, הלחימה ביניהם השתלבה במלחמות שהיו לאורך המאה בין בריטניה לצרפת (עם שותפות) באירופה וב„הודו המערבית”. החברה אמנם הייתה עצמאית, אבל הייתה גם במידה רבה קשורה לבריטניה. | |
|
|
|
|
|
||
|
||||
|
בסדר, נגיד כמו ההסתדרות בתקופת מפא"י, או קק"ל גם היום. דמיין את צים דאז שולטת ב 80% מהסחר העולמי. | |
|
|
|
|
|
||
|
||||
|
>> נראה שהטקטיקה הנכונה היא לחכות למנצח ולהצטרף אליו. וזה מה שבאפט עשה. הוא התלבש על אפל רק ב 2018-19. כשג'ובס הכריז על האייפון ב 2007 מי ידע שהוא יהפוך לכזאת מפלצת? |
|
|
|
|
|
|
||
|
||||
|
אגב באפט, המילה ברחוב אומרת שבשנה האחרונה הוא נפטר ממחצית השקעותיו, במיוחד בתחומיי הפיננסים והטכנולוגיה. את חציין המיר למזומנים ואילו את החצי השני באחזקות בחברות שהן לאו דווקא מובילות, אבל שומרות בצד מזומנים לעת הצורך. | |
|
|
|
|
|
||
|
||||
|
בעת הנוכחית, לא נתפלא אם באפט כבר לא משקיע לזמן ארוך. מסיבות פרוזאיות מאד. | |
|
|
|
|
|
||
|
||||
|
לא צריך מילה, יש נתונים. בסוף הרבע השלישי של 24' באפט נותר עם 300 מיליון מניות של אפל, מתוך 900 שהיו לו בסוף 2023. הוא מכר בכל אחד משלשה הרבעונים של השנה שעברה, ולא עשה קניות משמעותיות במקום. את הנתון לרבע האחרון נדע מחר בלילה, אבל אנחנו יודעים שהוא המשיך למכור את בנק אוף אמריקה, כי שם הוא בעל ענין והדיווח הוא מיידי יותר. בסוף ספטמבר היה לחברה שלו סכום שיא של 325 מיליארד דולר במזומן (כולל אג"ח), ובערך 280 מיליארד דולר במניות, רבע מזה באפל. לאורך תשעת החודשים הראשונים של 2024 הוא קנה מניות בכ 6 מיליארד דולר, ומכר ב 133 מיליארד, בעיקר אפל. ברבע השלישי הוא גם הפסיק לעשות ביי בק של המניות שלו. וריי דאליו מכר בדצמבר את כל הנבידיה שהחזיק. |
|
|
|
|
|
|
||
|
||||
|
למיטב הבנתי המוגבלת לא מדובר על קוד פתוח אלא על משקלים פתוחים (שזה שווה ערך לווקטור הבטא של אומדן סטטיסטי רב משתנים). במילים אחרות, החברה לא חולקת את קוד האימון (ש״לומד״ את הנושא) אלא רק את המסקנות שלו. אתה יכול לכתוב אפליקציה שמשתמשת במסקנות האלה, אבל לא לייצר חדשות. פרסמו מאמרים על מודל האימון, אין לי כלים לנחש אם הם מפורטים ברמה המאפשרת שכפול של קוד האימון. ואני תוהה אם בעולם בו סין מייצרת משקלים שכאלה לצד ג׳ יגיע היום בו גם תוכל להטות את המשקלים למטרותיה. |
|
|
|
|
|
|
||
|
||||
|
זה לא מה שאני הבנתי, כך שכנראה אתה צודק. | |
|
|
|
|
|
||
|
||||
|
מצטער אם אני חוזר על המובן מאילו, אבל המודל החדש זימן לנו לפחות ארבע הפתעות: 1. אופן הבניה 2. עלות הבנייה 3. איכות התוצר 4. עלות ההפעלה מספר 3 היא עובדה מוצקה בעוד שאישושם של 1 ו-2 דורש מאמץ ניכר. קבלת הערכה באשר למספר 4 לעומת זאת דורשת רק טעינה של המודל הפתוח והפעלתו. ייתכן שנדרש קצת תיחכום (קוונטיזציה, טעינה חלקית). אם יתברר שצריכת האנרגיה פר בקשה אינו מצדיק את הכמעט חינמיות של השירות, ופשוט מדובר בסיבסוד אגריסיבי, הרי שגם 1 ו-2 עומדים בספק. לא שזה פוגם באיכות התוצר - זו עדיין מעוררת התפעלות - וחשש (צבאי בראש ובראשונה). צעדים בכיוון עורך עתה Matthew Carrigan. לפחות עפ"י דיווחיו, מדובר בהספק שמתקרב ל-400W עבור קצב של 6-8 טוקנים לשניה, שזה הרבה חשמל, נדמה לי. אני לא יודע מה צריכת החשמל של מודלים אחרים (יש מידע ברשת). בנוסף, ייתכן שעם יותר GPUs צונחת דרמטית צריכת האנרגיה פר בקשה. נמתין לתוצאות נוספות. |
|
|
|
|
|
|
||
|
||||
|
בכל מקרה, משום מה אני לא רואה יותר מדי התייחסויות ברשת לשאלה איך סין איפשרה את המהלך הזה. | |
|
|
|
|
|
||
|
||||
|
באמת מפתיע שסוגייה זו אינה זוכה ליותר תשומת הלב. אפשרות אחת צויינה למעלה - מדובר בטעות. האפשרות התמימה היא שסין החליטה לעלות על נתיב אחר - של שקיפות ושיתוף לפחות באופן חלקי. ההסתייגות היא שאין לכך אינדיקציות נוספות. האפשרות הצינית היא שכבר יש להם משהו הרבה יותר מתקדם. כך שאין להם בעייה עם חשיפת שיטות שגם כך סביר שממתינות במרתפי חברות ה-AI (יכול לקחת שנה עד שמודל עובר את כל הבדיקות והתיקונים). גם לא צריכה להיות להם בעייה עם מתן שירות באיכות דומה לזו של מקביליו, ועוד במחיר שזורע מבוכה תוך פיחות ביוקרתה של תעשיית ה-AI במערב לטובת זו הסינית, מה שאולי יוליך אל סין כמה מן המובילים בתחום שמוצאם משם. |
|
|
|
|
|
|
||
|
||||
|
גם אם יש להם משהו יותר מתקדם הרעיון לעזור למערב לסגור את הפער לא נשמע לי משהו שמאפיין את סין, שלא לדבר על כך שעצם העלאת האפשרות שיש להם משהו יותר מתקדם (אני מניח שאתה לא היחיד שעלה על האפשרות הזאת) אינה לטובתם. בכל מקרה, למה לתת למערב מתנה שיכולה היתה להימכר במיליארדים רבים? דיפסיק עצמה אולי מורכבת מאידיאליסטים אמיתיים, אבל זה שהם קיבלו אישור לייצא את זה (אני מניח שבסין חייבים לקבל אישורים כאלה) מרמז שסין לא התייעצה עם ג'פטו אם זה כדאי. |
|
|
|
|
|
|
||
|
||||
|
המאמר הזה משער שההחלטה לפרסם את המודל כ open source היתה מחוסר ברירה. הנתונים הם ש: 1. deepseek ענייה בהרבה מהשחקנים הגדולים 2. המודל שלה לא חכם יותר, אלא יעיל יותר (זול יותר לתפעול) 3. יש חשדנות מובנית של המערב כלפי מוצרים סינים ותוספת שלי: 4. deepseek מיישמת רעיונות שחלקם כבר קיים בספרות והתחום מתפתח במהירות; הייתרון הטכנולוגי שלה הוא לא גדול (משהו שחברות אחרות עשויות לסגור מהר) במצב הזה, עדיף ל deepseek לשנות את חוקי המשחק מאשר לשחק לפי הכללים הנתונים. |
|
|
|
|
|
|
||
|
||||
|
והרווח הוא של כולנו. זה כבר מזמן דיפולט שמה שטוב לצרכנים רע לשחקניות הגדולות ולהיפך. למשל הזכות לתקן מכשירים של אפל. |
|
|
|
|
|
|
||
|
||||
|
תיקון: במקרה זה חסר זיכרון רגיל ולא GPU. | |
|
|
|
|
|
||
|
||||
|
חלף חודש, יצאו מודלים חדשים של החברות המובילות, כולל X שבאופן מפתיע עברה להובלה, ואנתרופיק שחביבה עלי במיוחד. המודלים הללו עולים ברובם על זה של מחלתעומק ולא ברור מה נותר מן הסערה. אפילו מניית Nvidia התאוששה במידה ניכרת. האיכות של המודל הסיני עדיין מרשימה, אך באשר לטענות על עלויות אימון והפעלה מזעריות, אלו לא הביאו למיזעור העלויות בקרב החברות במערב, בין השאר מאחר ולא נמצאו להן תימוכין (?). הנה דבריו של אנדרו נג, בתרגומו של קלוד: בתחילה הפתיעה DeepSeek רבים בקהילת הבינה המלאכותית בטענה שאימנה מודל שפה גדול בעל ביצועים גבוהים בחלק קטן מהעלות הרגילה. • באופן ספציפי, דווח כי DeepSeek-R1 עלה פחות מ-6 מיליון דולר ו-2,048 כרטיסי GPU לאימון. (להשוואה, Claude 3.5 Sonnet של Anthropic עלה "כמה עשרות מיליוני דולרים לאימון," לפי דבריו של המנכ"ל דריו אמודיי, ו-GPT-4 עלה כ-100 מיליון דולר לאימון, לפי דבריו של המנכ"ל סם אלטמן). דיווחים מאוחרים יותר שפכו אור על התשתית האמיתית של DeepSeek וציינו כי הסכום של 6 מיליון דולר ייצג רק את ריצת האימון הסופית של DeepSeek-R1, חלק קטן מהעלות הכוללת של הפיתוח. • יתר על כן, בעוד שדיווחים ראשוניים אמרו ש-DeepSeek נשענה על מחשב-על בעל 10,000 כרטיסי GPU בבעלות חברת האם שלה High-Flyer, קרן גידור, חברת המחקר SemiAnalysis הטילה ספק באם DeepSeek הסתמכה על החומרה של High-Flyer. DeepSeek הוציאה כ-1.6 מיליארד דולר על אשכול של 50,000 כרטיסי Nvidia GPU, כך דיווח Tom's Hardware. • ההתלהבות הראשונית מעלויות האימון הנמוכות של החברה פינתה מקום לחששות בנושא ריבונות נתונים, אבטחה, ועלות ההפעלה של DeepSeek-R1, אשר מייצר מספר גדול יותר של טוקנים להיסק בהשוואה למודלים דומים. בהתאם לכך מתעתדות החברות המובילות להשקיע השנה מאות מיליארדי דולרים בתשתיות בינה ובעלויות הפעלה. |
|
|
|
|
|
|
||
|
||||
|
יאפ. הן ישקיעו מאות מיליארדים והשוק מתחיל לחשוש שלא יראו מזה ברכה. ה Mag 7 כבר חודשיים בביצועי חסר על השוק. 5 מתוכן נפלו אחרי פרסום הדוחות (כולל נבידיה היום, אם כי המסחר עדיין בעיצומו). מיקרוסופט, לדוגמה, עשתה את הגבוה שלה ביולי שעבר, ומאז שצנחה עם פרסום הדוחות בחודש שעבר היא נסחרת מתחת לממוצע נע 200 יום שלה (כלל אצבע שמורה שממוצע הקניות בשנה האחרונה הוא בהפסד). גרוע מזה, אותו ממוצע נע בלם את העליה שלו בסוף דצמבר, ועושה רושם שיתחיל לרדת בקרוב לראשונה מאז תחילת 2023. |
|
|
|
|
|
|
||
|
||||
|
פוסט מעניין של נדב שנרב, ותגובה לא פחות מעניינת בחסות קלוד. שנרב: "[בעבר] לא היה מספיק אוכל לכולם. מלחמות ושאר מאבקים רצחניים בין אנשים וקבוצות אנושיות שיקפו את משחק סכום האפס הזה... אילו היינו שואלים אדם לפני אלף או אלפיים שנה איך ייראה עולם בו אין מגבלות מזון והאתגר המרכזי של אנשים הוא מניעת השמנה, הוא היה חוזה שבעולם כזה לא תהיינה מלחמות. על מה יש לריב? ... צורתה הלינארית של העליה מאד מסקרנת ... בהתחלה הגיעו הדשנים הכימיים, אחר כך קוטלי החרקים, הזנים המעורבים, הטרקטורים והקומביינים וכדומה, והיום מדובר על הנדסה גנטית וכל מיני טריקים מיקרוביולוגיים. היינו מצפים שאוסף כזה של גורמים מגוונים יגרום לעלית היבול בצורה של "מדרגות", או לפחות קו עם שיפוע משתנה. במקום זאת קיבלנו משהו שנראה כמו עליה רצופה של 5 קלוריות לדונם לשנה או משהו דומה." בפוסט הוא מציג הגרף. תשובת קלוד: 1. **מגבלות ביולוגיות ופיזיקליות בסיסיות** - למרות שהטכנולוגיות משתנות, הן פועלות על אותן מערכות ביולוגיות עם אותן מגבלות יסודיות. יש גבול לכמה אנרגיה צמח יכול לקלוט מהשמש, כמה חנקן הוא יכול לספוג, וכו'. טכנולוגיות חדשות מתקרבות בהדרגה לגבולות אלו. 4. **התקדמות הדרגתית של ידע ואימוץ** - אימוץ טכנולוגיות חדשות לא קורה בבת אחת. גם כשיש פריצת דרך מדעית, לוקח זמן להטמיע אותה בקנה מידה רחב. זה מחליק את העקומה. 5. **סינון השוק והמדיניות** - חקלאים וקובעי מדיניות נוטים לאמץ חידושים בקצב שמייצר תשואה כלכלית אופטימלית, ולא בקצב של ההתקדמות המדעית עצמה. 7. **אפקטים של משוב ואיזון** - מערכות ביולוגיות וחברתיות מגיבות לשינויים עם מנגנוני משוב שיכולים למתן השפעות קיצוניות, ובכך ליצור דפוס יותר לינארי. אני: לפני שראיתי את תשובת קלוד, רציתי להגיב עם משהו שדומה למספר 4 שלו. אלא שתשובתו המלאה ריפתה את ידי. ככלל, המצב החדש מייתר כמות גוברת של אינטראקציה אנושית... |
|
|
|
|
|
|
||
|
||||
|
התשובה של קלוד נשמעת כמו אוסף של היפותיזות אפשריות להסבר הגרף הנתון. מי מהן הם הגורמים המשפיעים באמת, כימות ויחסים שלהם, הוא לא נותן. אולי אחת ההיפותיזות שגויה לחלוטין? מי יידע? |
|
|
|
|
|
|
||
|
||||
|
מעבר לנושא שמעניין כשלעצמו, הבאתי את הדברים בשל השורה האחרונה. אדגים זאת באמצעות תוכנית רדיו שחביבה עלי. זוג המגישים בתוכנית דן נושאים שונים מחייהם המקצועיים, המשפחתייים, המדינתיים ועוד. מידי פעם מציגה המגישה מבין השניים תמיהה בסוגיה אנושית כללית ("מדוע אנחנו עושים X כשקורה Y"), או בשאלה מדעית/חברתית או בעניין היסטורי כלשהו. כאייל מוסמך אני שם לב במקרים רבים שמדובר בנושא שכל הגישות האפשריות לו כבר נטחנו עד דק ולפעמים שהוא הוא כבר הוכרע מחקרית לפני שנים רבות. לפעמים אני נאנח ולפעמים מייחל להתערבותה של העורכת המוכשרת ורחבת האופקים. אלא שזו, כך מתברר חכמה ממני, וגם אם מתברר שהיא מודעת ל"נדושותו" של הנושא, אין היא בד"כ גודעת באיבה את השיחה. התוצאה היא בד"כ דיון בעל ערך כשלעצמו לעיתים ללא קשר לשאלה המקורית. למשל בגלל הדוגמאות, האסוציאציות, ההומור וכו'. החשש שהבעתי הוא שחלקים גדולים מן השיח האנושי, במיוחד זה האינטלקטואלי, יתמעטו ונישאר רק עם האישי, הריגשי, הרכילותי. אבל כשאני חושב על זה שוב, יהיו וכבר ישנן צרות גדולות יותר. אני מושך משום כך את טרונייתי זו לטובת ראויות ממנה. | |
|
|
|
|
|
||
|
||||
|
נו, השם של התכנית היה צריך לתת לך רמז... | |
|
|
|
|
|
||
|
||||
|
נתונים דומים אפשר למצוא כאן. ר’ קישור ל־Yield by Year. ואמנם יש בכולם הרבה קפיצות, אם מעבירים קו מגמה לינארי, זה נראה שהגידול לינארי. אם נמנעים ממנו, יש לי הרגשה שהגידול קטן בשנים האחרונות. |
|
|
|
|
|
|
||
|
||||
|
אני חושב שההסתכלות היא מהזווית הלא נכונה. ההיצע מתאים את עצמו לביקוש. לא נראה לי שיש מחסור בחיטה, תירס או אורז בעולם. אנשים רעבים פשוט לא יכולים לשלם את המחיר (הזול בעיניים מערביות) שלהם. לכאורה ארגוני סיוע היו יכולים לרכוש מספיק מוצרי מזון בסיסיים כדי שלא יהיה רעב אחד בעולם. בפועל יש המון חיכוך והרבה מהמוצרים לא מצליחים להגיע אליהם, ונשדדים או נרקבים בדרך. |
|
|
|
|
|
|
||
|
||||
|
"לא נראה לי שיש מחסור בחיטה, תירס או אורז בעולם" - ליפסטיק מסכים איתך. לטענתו 30-40% מהיבול מתבזבז בגלל הקשיים שהזכרת. | |
|
|
|
|
|
||
|
||||
|
ואתה משתף פעולה עם הרוגלה הסינית הזו? | |
|
|
|
|
|
||
|
||||
|
בהסתכנות ששוב אקלע למצב מסכים - לא מסכים, אומר שאני מקבל את הטענה, שבאופן תאורטי, יש מספיק מזון על כדוה"א כדי להזין את כל תושביו. הבעייה היא בפרקטיקה. ברור שחלוקת המזון לא שווה וברור שהחברה האנושית מלאת פגמים הגורמים לאובדן חלק גדול מן המשאבים (כפי שאכן כתבת). בפרקטיקה, נראה כי תושבי כדוה"א חשים מחנק ביותר ממובן אחד, גם במקומות שאינם סובלים ממחסור במים ומזון. אני חושב למשל על ההתחממות הגלובלית, זיהום האויר והפקקים בדרכים (ועל רוגל אלפר שנתקף ב-road rage, כאשר המוני מכוניות של ישראלים בדרך לקניון חדש, חסמו את הדרך שלו ושל בנו לקניון אחר). נראה לי, כי עוד לפני שהגענו לרעב מבני במימדים רחבים, הגענו למצב בו צפוף מדי על כדוה"א. דוקא בשל פגמיהם הרבים של בני האדם, נראה שהם זקוקים למרחב מסויים שיאפשר להם לא רק לגדל מזון, אלא גם להמלט זה מזה לפעמים. |
|
|
|
|
|
|
||
|
||||
|
נראה שהמערכת תאזן את עצמה. כבר כמה עשורים שבמדינות העשירות שיעור הילודה ירד מתחת לשיעור התחלופה, וזה הולך ומחריף. הגידול באוכלוסיית העולם הולך ונבלם. אני חושב שההאטה בגידול תפוקת המזון פשוט מציגה את ההאטה בגידול של הביקוש למזון, כאשר האוכלוסיה גם גדלה יותר לאט וגם הולכת ומתבגרת, שלא לומר מזדקנת. הצרכנים הגדולים של קלוריות הם ילדים וצעירים, ונראה לי שכמותם בעולם כבר לא גדלה. כלומר שהגידול בהם בעולם השלישי כבר לא מחפה על הקיטון בהם במדינות העשירות ובסין. |
|
|
|
|
|
|
||
|
||||
|
אגב העולם השלישי, נראה שגם בהודו אנחנו מתחת לסף ההחלפה של 2.1 ילדים לאשה. גם העולם הערבי בדרך לשם. | |
|
|
|
|
|
||
|
||||
|
|
|
|
|
|
|
||
|
||||
|
מתחת לשיעור התחלופה ==> התרסקות של כלכלות והסחר העולמי. זה לא מוביל לאיזון שיוביל לפחות רעב. זה מוביל לקטסטרופות, נזק לכלכלה העולמית וליותר רעב. אני בספק שיש משהו בטענה שיש קשר בין גודל האוכלוסיה העולמית וצפיפות לבין רעב. נראה לי שבדיוק להיפך (הרי העולם בעבר היה צפוף פחות ורעב יותר). רעב נובע מהעדר תשתיות מודרניות + גאופולוטיקה באיזורים/תרבויות מסוימות. זה לא נובע מזה שיש יותר מידי אנשים. |
|
|
|
|
|
|
||
|
||||
|
ובינתיים טסלה עלתה ב-125% מאז התגובה שלך, ונבידיה עלתה ב-31% (אחרי הקריסה אתמול, לפניה ב-57%). מה ששוב מזכיר לנו שקשה לחזות, בעיקר את העתיד. אגב, אחרי כל זה עדיין המכפיל של נבידיה נמוך כמעט פי שלושה משל טסלה, מה שמעורר תהייה על מי מהן היא הבועה הבועתית יותר. אני בכלל לא בטוח שהדיפסיק הסיני הוא סיבה מספיק טובה לקריסה משמעותית של השוק. גם קשה להאמין למה שהסינים אומרים על הפיתוח שלו והעלויות (כמו בדברים אחרים שהם מספרים), ומעבר לזה אני אישית ממש לא מעונין ברוגלה מלאכותית סינית שמשוחחת איתי על ענייני המקצועיים והעסקיים כאחד. |
|
|
|
|
|
|
||
|
||||
|
אבל DeepSeek-R1 זה מודל ולא אפליקציה. באיזה מובן זה יכול להיות ״רוגלה״? הרי אירגון יכול להריץ את המודל הזה בסביבה בטוחה / בשליטתו ולא כשירות מרוחק. יותר מכך - בניגוד למוצרים של החברה של סאם אלטמן, המודל של DeepSeek הוא קוד פתוח. אם מפחדים לשתף AI בשיחות על עניינים מקצועיים ועסקיים, הייתי משתמש בפחד הזה קודם כל כדי להתרחק ממוצרי OpenAI. |
|
|
|
|
|
|
||
|
||||
|
זה *גם* אפליקציה. פלוני הכפר הגלובלי כותב ב appstore את המילה deepseek ואז הוא מוריד את האפליקציה (מיליון הורדות בחנות של אנדרויד, בבדיקה אחרונה) ואז הוא מוריד את האפליקציה ומתכתב שם. במצב עניינים כזה, החשש מרוגלה הוא חשש טבעי. אולי מוגזם אבל טבעי. |
|
|
|
|
|
|
||
|
||||
|
אה. אם מדברים על אפליקציה, החשש הוא טבעי ולא מוגזם בכלל. זה שאתה פרנואיד זה לא אומר שלא רודפים אחריך. |
|
|
|
|
|
|
||
|
||||
|
אפשר תמיד לשאול את deepseek (התוכנה) אם האפליקציה היא רוגלה. וברצינות, מה הבעיה לגלות את מדובר ברוגלה? ומה הבעיה לפתח אפליקציות שמייתרות את האפליקציה המקורית, כאשר הקוד של המנוע עצמו בידיך? |
|
|
|
|
|
|
||
|
||||
|
גם אם לא רוגלה (נניח), בטוח שלא מדובר באפליקציה מאובטחת (אפילו לא עם אבטחה סופר מינימלית של תקשורת מוצפנת). אכן לא קשה לגלות זאת ואנשים כבר מודעים ומדברים על העניין. אפליקציית DeepSeek ל-iOS שולחת נתונים לא מוצפנים לשרתים בשליטת ByteDance. ב-iOS הדיפולט עבור מפתח אפליקציות שמקשקשות ברשת זה השימוש ב- App Transport Security (בקיצור - ATS). שזה בעצם הכרזות בקונפיגורציה של הבילד שמחייבת את האפליקציה לעבוד רק מול שרתים ספציפיים שהוכרז עליהם מראש ורק ב-HTTPS. מפתחי האפליקציה של DeepSeek ל-iOS בחרו לשנות את ברירת המחדל הזאת (או בכוונה או מתוך רשלנות) ולשלוח אינפורמציה מהצ׳טים של משתמשים אל שרתים ב-HTTP ללא שום הצפנה. כל Man in the middle פשוט יכול להציץ בתוכן התעבורה. |
|
|
|
|
|
|
||
|
||||
|
כדי להיות יותר מדויק: הם בעצם בוחרים לא להשתמש בהתנהגות הדיפולטית של ATS ומשתמשים ב-3DES במקום. שיטת הצפנה מ-1998 שהיא פגיעה ל-Man in the middle. מסתבר גם שהאפליקציה לאנדרואיד גרועה אפילו יותר. |
|
|
|
|
|
|
||
|
||||
|
Open Source לא אומר שכל אלה (וגם הצנזורה שסין הכניסה לשאילתות מסויימות) ניתנים לשינוי בקלות? | |
|
|
|
|
|
||
|
||||
|
יש את האופן בו אימנו את המודל (לא open source), יש את המשקלות של המודל (open source) ויש את אפליקצית המובייל Deepseek - AI Assistant (לא open source) אותה מיליוני אנשים מורידים מה-Appstore של אפל או מ-google play. המאמר ב-Ars technica מדבר על האפליקציה. |
|
|
|
|
|
|
||
|
||||
|
נראה שהכניסו קצת יותר דיוקים למאמר של Ars Technica. אין באמת עדויות לכך שהאפליקציה שולחת תוכן של צ׳טים והמאמר טוען לשליחה של אינפורמציה מאוד ספציפית ב-HTTP רק בזמן הרישום. הורדתי למכשיר בדיקה את האפליקציה והאזנתי לפעילות הרשת של האפליקציה והיו רק בקשות https בבדיקה שלי (אך לא שהשקעתי בזה זמן / יותר משתי דקות). כך שלא הצלחתי אפילו לשחזר את מה שנטען במאמר. או שזה לא תמיד קורה, או שהעלו גירסה חדשה עם שינוי התנהגות מאז הפרסומים בנושא. לסיכום: - יש סיכוי שהמאמרים בנושא יותר אלארמיסטיים (לפחות בכותרות שלהם) מאשר משקפים באמת בעיה. - אני אישית (וגם כך הייתי מיעץ לכל אירגון) הייתי בכל זאת נמנע מלזרוק אינפורמציה רגישה בתוך אפליקציות מהסוג הזה. אם ממש רוצים לנהל שיחות נפש עם מידע רגיש מול LLM, התקינו מודל מקומי על המחשב שלכם (או שרת/ענן תחת השליטה שלכם). |
|
|
|
|
|
|
||
|
||||
|
אני כמובן מדבר כהדיוט שלא פגש את דעפסעק אישית. חשבתי שהוא כמו צ'אט ג'יפיטי או קופיילוט, שאני בעצם (עד כמה שאני מבין) מתחבר אליו מרחוק ושולח שאלות לאיזה שרת שיכול לעשות הרבה עם מה שאני שולח. ואגב - בחברה בה אני עובד אכן אסור להשתמש בopenAI. |
|
|
|
|
|
|
||
|
||||
|
היי, תקרא מה כתבתי. הצעתי שנבידיה תעלה עוד 40% לפחות. היא עשתה את זה תוך כמה חודשים והפכה לחברה הגדולה בעולם ביוני אאז"נ. ומאז היא פיגרה אחרי השוק עוד לפני הדרופ אתמול. טסלה זה סיפור אחר. מי היה מאמין שמאסק יהפוך גם לחבר של טראמפ וגם לעובד ממשלה? |
|
|
|
|
|
|
||
|
||||
|
לו הייתי שם את כספי איפה שהפה האיילי שלי נמצא, כבר הייתי עושה עליה 17 אחוז. | |
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש והצהרת נגישות
|
© כל הזכויות שמורות |