בתשובה לאריק, 29/01/25 11:36
 |
|
 |
||
|
||||
 |
יכול להיות שזה יהיה דומה לכך שאחרי שאפל יצאה עם האייפון, התחילו הרבה חברות סיניות להוציא טלפונים זולים משמעותית אבל טובים מאד בפני עצמם? איכשהו אפל שרדה בגבורה את המשבר הזה, אם נבידיה תתנהג דומה מצבה יהיה טוב. ברור הרי שהיא לא תוכל לשמור על התשואות המטורפות שלה (עד השנה שעברה) לעוד הרבה זמן. אני מסכים עם ההשוואה ל-99, בעיקר מהדמיון בכך שמאד קשה לחזות לאן ועד כמה תתפתח הטכנולוגיה החדשה, ומי יהיו החברות המובילות שיעלו על הגל הזה בעוד 5 שנים. |
 |
 |
 |
|
|
|
||
|
||||
|
אפל שומרת על רווחיות מטורפת ביחס למתחרות בגלל שהיא מוכרת מוצר צריכה המונית לצרכני קצה, ומשכילה להוון תדמית, אופנה וסמל סטטוס. שבבים זה תשתית ומכירה בעיקר לתאגידים, אני מניח שזה הרבה יותר מריטוקרטי. | |
|
|
|
|
|
||
|
||||
|
נקודה טובה. אבל הרי אף אחד לא טען כאן שהסינים פיתחו שבבים טובים יותר. אם אני מבין נכון, הטענה היא שהם פיתחו *תוכנה* שמצריכה פחות שבבים. זה קצת נשמע לי כאילו שמיקרוסופט יפתחו ווינדוס שלוקח עשירית ממשאבי המחשב של היום, וזה יפיל את המניות של אינטל. (אני מבין שכרגע חלק גדול מכל זה זה הייפ לשני הכיוונים, אבל ננסה להוריד את זה לקרקע המציאות). לא נתקלתי בכל ההיסטוריה של האינטרנט והמחשוב במקרה שתוכנות יעילות יותר פגעו במי שמייצר חומרה, בדרך כלל הפוך - ככל שהחומרה נעשית זולה יותר התוכנות מתנפחות ומתנפחות שאפילו מאלצות את צרכני הקצה להחליף חומרה (טלפון/לפטופ/מחשב) כל כמה שנים. |
|
|
|
|
|
|
||
|
||||
|
הבנתי שחלק גדול מהקוד של דיפסיק לא מחוייב ל CUDA של נבידיה. זה משמעותי מאוד כי CUDA עד כה היתה הסטנדרט של התעשיה, וזאת פתיחה משמעותית של שוק השבבים ל AI לתחרות מצד יצרניות אחרות. המשמעות היא ירידה בשולי הרווח הגולמי. דוגמה: כל עוד אינטל שלטה בשוק ה CPU העולמי עם נתח שוק של 80%, שולי הרווח הגולמי שלה היו 59-64%. ברבעון השלישי של 2019 AMD התחילה לנגוס בנתח השוק שלה והוא צנח מתחת 70% לראשונה מאז השד יודע מתי. מאז היחס ביניהן הוא בין 60-40 ל 65-35 (75-25 עד 70-30 לפי מקור אחר) שולי הרווח של אינטל החלו לצנוח (בפיגור מסוים, בגלל הקורונה ב 2020-21) ונשכבו על 40%. של AMD הם בערך 45%, ויש לה תמהיל מוצרים עדיף (GPUs). |
|
|
|
|
|
|
||
|
||||
|
ירידה בשולי הרווח הגולמי (מחיר מכירה פחות עלות הייצור בלבד, בלי הקמת מפעלים, הוצאות שווק, הנהלה וכלליות) מ 60% ל 40% היא אדירה, והכניסה את החברה לסחרור. ככה זה כשאתה רגיל להיות מונופול עשרות שנים ומישהו פתאום מזיז לך את הגבינה. |
|
|
|
|
|
|
||
|
||||
|
מעניין. לא ידעתי שנבידיה מרוויחה מתוכנה, תהיה נפוצה ככל שתהיה, אבל זה יכול להיות כיוון מעניין לעקוב אחריו. | |
|
|
|
|
|
||
|
||||
|
לא יודע אם הם מוכרים ומרוויחים במישרין מהתוכנה, אבל הדומיננטיות שלה היא לבטח שיקול מכריע אצל מפתחים ואחת הסיבות הראשיות, אם לא העיקרית, למונופול המוחלט של נבידיה בשוק השבבים לאימון AI. | |
|
|
|
|
|
||
|
||||
|
לא התעמקתי ב-DeepSeek (פאדיחה), אך אכן שמעתי שהמפתחים שם עשו ככל הנראה שימוש נרחב ב-PTX. אבל אם כך, זה לא מחליש את תלותם ב-NVIDIA - אלא רק מחזק אותה. באופן כללי1 כתיבה ב-CUDA דומה קצת לכתיבה בשפה עילית. בדרך כלל מדובר בהרחבה של שפת C, אותה ניתן – תיאורטית ובמידה מסוימת גם פרקטית – לקמפל לפלטפורמות אחרות. ובכל מקרה, לעיתים קרובות תרגום ידני של קוד מ-CUDA ל-(נניח) OpenCL הוא עניין פשוט. לעומת זאת, כתיבה ב-PTX דומה לכתיבה באסמבלי: כבר יותר קל לכתוב הכל מאפס מאשר לנסות להעביר או לשכתב את הקוד לארכיטקטורה אחרת. בכלל, הפכת את הסיבה והמסובב. CUDA היא ערימת זבל סוסים (לעומת, לדוגמה שוב, OpenCL), אך האפשרויות לאופטימיזציה ספציפית ל-NVIDIA באמצעות שימוש ב-CUDA, בשילוב עם העובדה שאין טעם לכתוב קוד שיכול לרוץ גם על חומרה אלטרנטיבית (פשוט כי אין כזו) - הובילו לכך שכולם משתמשים רק ב-CUDA. זו אינה הסיבה לדומיננטיות של NVIDIA, אלא תוצאה של הדומיננטיות שלה. אף אחד לא בוחר ב-NVIDIA בגלל התוכנה. אף אחד לא בוחר ב-NVIDIA בכלל. אין בחירה2. יש רק NVIDIA. 1 זה לא מדויק, זו רק אנלוגיה, אבל אני מניח שהפרטים לא מעניינים אף אחד בסביבה. 2 חוץ מלגוגל... |
|
|
|
|
|
|
||
|
||||
|
הבנתי קצת, מספיק כדי להבין חלקית את המסקנה. תשלים לי את המשפט כדי שאוכל לסדר לעצמי את התמונה: אם לאינטל יש שבבים חלשים יותר מלנבידיה, אבל עם יחס עלות/תועלת (וצריכת אנרגיה) טוב בהרבה, המפתחים של AI בעל דרישות מחשוב קטנות יחסית (יחסית!) עדיין יבחרו בנבידיה כי... |
|
|
|
|
|
|
||
|
||||
|
בתנאי הזה (בהנחה שהשבבים הללו טובים מספיק1), הם אולי לא יבחרו בנבידיה. אבל (נכון להיום) זה תנאי בטל. בטח יש מגיבים שיכולים לתת תשובות טובות משלי, אני לא מבין הרבה בחומרה ועוד פחות מזה בתהליכי ייצור ושרשראות אספקה. אבל העובדה היא שקשה מאד להציע אלטרנטיבה ל-NVIDIA בטכנולוגיה הנוכחית. לראייה, גוגל. הסיבה שהחרגתי אותם בתגובתי הקודמת היא שהם מפתחים את חומרת ה-AI שלהם - שאינה נופלת מזו של נבידיה - בעצמם. אז למה הם לא מוכרים אותה2 ונוגסים בנתח השוק העצום של נבידיה? ככל הנראה, כי הם בקושי מצליחים לייצר מספיק לצריכה עצמית, ואין להם עודפים למכור. הבעיה היא לא לתכנן את השבבים, אלא לייצר אותם בהיקפים גדולים. 1 באופן כללי, צריך להבחין בין חומרה המיועדת לאימון לבין חומרה המיועדת להרצה. 2 הם כן מציעים גישה אליה בשירותי-הענן שלהם, אבל זה לא רלוונטי בסקייל הדרוש לשחקנים הגדולים. |
|
|
|
|
|
|
||
|
||||
|
נשמע כאילו זה שוק שממתין ל-Disruption של שחקנים אחרים. מה כבר NVidia עושים שלא יעלה על הדעת שיצליח לעשות איזה מתחרה? נראה לי שההצלחה של NVidia היא אנומליה רגעית שתעבור. תוצאה של תהליכים היסטוריים - הרי לפני יומיים וחצי היעוד של ה-GPUs היה בעיקר בהאצה גרפית (משחקים וגרפיקה ממוחשבת). ה-CUDA לא הגיע לעולם ב-2007 כי היה ביקוש מטורף לפיצ׳ר הזה והוא היה די עניין איזוטרי ב-2007 עד 2010. ה-GPGPU נולד בעיקר בשביל צורך איזוטרי בחוגים אקדמיה להרצת סימולציות (fluid dynamics, climate modeling, etc). רק ב - 2012–2018, כנראה אפילו לא בכוונה/לא כי זאת היתה כוונת המשורר, התחיל להיות פופולרי יותר ויותר השימוש ב-CUDA וחומרה של NVidia לאימון ב-ML. כנראה גם ההצלחה של AlexNet תרמה לפופולריות ואימוץ הכלי. אבל גם אז, בתקופה בה זה נהיה יותר פופולרי ב-ML, עדיין לא היה מדובר פה באיזה שוק מטורף שכל השחקנים חלמו להכנס אליו. באותם ימים, הרוב לא חלם את תופעת ה-LLM ואף אחד לא העלה בדעתו את תופעת ״חברות הג׳פטו״ שאנו מכירים היום. בקיצור - נראה לי שהמעמד בו NVidia הגיעה אליו היום הוא אנומליה זמנית וסתם עניין מקרי. משהו שקיים ״מסיבות היסטוריות״. לכן לא נראה לי סביר שהם יצליחו לשמור על המעמד האנומלי הזה לאורך זמן. שחקנים אחרים יכנסו לשוק וינסו לנגוס בעוגה. חברות כמו AMD, Intel, Google ו-Apple1 כבר החלו להציג פתרונות חומרה ייעודיים ל-AI. חלקם, כמו Google עם ה-TPUs, כבר משמשים בצורה מסיבית בתשתיות ענן פנימיות. ככל שהביקוש ימשיך לגדול, כנראה שנראה יותר פתרונות תחרותיים שמסוגלים לאתגר את השליטה של NVIDIA. _________ 1 לגבי אפל - נכון, הצ׳יפים של Apple מתרכזים בפתרונות עם אופטמיזיציה ל-Inference שמריצים מודלים קיימים על מכשירי צריכה (במינימום בזבוז בטריה), אבל גם סביר להניח שהם עובדים על צ׳יפים (ותוכנה) לשימוש פנימי של ה-R&D שלהם מאחורי הקלעים, עם אופטימיזציות לצורך למידה של מודלים, כדי להוריד סיכונים של תלות בחומרה של NVidia ובתוכנה של OpenAI בעתיד. אם יהיה להם ביד משהו מוצלח, לא אפול מהכסא אם אפילו הם יכנסו לשוק החומרה הזה (גם אם זה חורג מהאפל שאנו מכירים שירדן אפיין לא רע למעלה כ״מוכרת מוצר צריכה המונית לצרכני קצה, ומשכילה להוון תדמית, אופנה וסמל סטטוס״). |
|
|
|
|
|
|
||
|
||||
|
"שוק שממתין ל-Disruption"? זה שוק בן יומיים שמשתנה בקצב פסיכי. עד כדי כך שיש גם סיכוי ש-Nvidia לא יהיו רלוונטים עוד רגע כי כל הפרדיגמה תשתנה, מי יודע. אחרי 2012 שימוש ב-GPUs לצרכי אימון מודלים אמנם נכנס למיינסטרים, אבל היתרון התחרותי של NVIDIA לא היה אז כל כך מוחלט כמו היום. אני משער שמאז היא הלכה וצברה דומיננטיות בעיקר בגלל ניהול מוצלח של תהליכי הייצור והאספקה של החומרה, ופחות בגלל יצרתיות טכנולוגית, ונראה (אני לא מבין בזה) שמאד קשה להתחרות בה באספקטים האלה. |
|
|
|
|
|
|
||
|
||||
|
נבידיה רק מפתחת ולא מייצרת בעצמה. TSMC, היצרן הגדול והמתקדם בעולם, מייצר עבורה. זה אכן היה בדיעבד ניהול מוצלח מאוד של תהליכי הייצור. נבידיה מובילה כבר יותר מעשור את תחום ה GPU על פני המתחרה הראשית שלה, AMD (שרכשה את ATI ב 2006). אמנם יד המקרה היא שדווקא ה GPU התגלה כיעיל ביותר לאימון AI, אבל לא מקרי שהודות לכך נבידיה היא המובילה ב |
|
|
|
|
|
|
||
|
||||
|
הנה הניתוח שלי לגבי deepseek. המידע שלי הוא ברובו מה tech report של deepseek. 1. הpretraining בוצע על h800 של nvidia. 2. הטענות לגבי עלויות pretraining נמוכות מאד הן קשקוש. מדובר באותו סדר גודל שהושקע ב gpt4 (לפי הדלפות), אם לוקחים בחשבון את ההבדל בgpus. בשני המקרים 1e25 tflops, וגם זמני הריצה מסתדרים. הסכום המצוטט להכביר של 6 מיליון דולר זה רק על זמן gpu נטו. כל ההערכות על המיליארדים שהושקעו בחברות הגדולות זה מן הסתם כולל חומרה, משכורות, הכנת דאטה וכדומה. תאורטית יתכן שהאימון יעיל יותר פי 2, אבל זה כבר קשה לי מדי לבדוק. ה caveat העיקרי פה: טוענים שהאימון הוא הרבה יותר יעיל (מבחינת ניצול compute ותקשורת) מאשר מודלים פתוחים אחרים כמו llama. לא בדקתי את זה, אבל נשמע לי סביר. 3. הטענות לגבי inference הרבה יותר זול (מצריך פחות gpus) ביחס לgpt4/gemini הן *נכונות*. סד"ג של פי 5. יש מספר חידושים ארכיטקטוניים שתורמים לזה. 4. ה evals של deepseek על datasets של reasoning (קידוד, מתמטיקה) הם מרשימים מאד, בחלק מהם הם מקדימים את התחרות, לעיתים בהרבה. 5. מתוך שימוש אנקדוטלי ב deepseek עצמו: א. הניסוחים של חלק גדול מהתשובות דומים מאד ל gpt 4o. אני חושד שהיתה כמות לא זניחה של scraping ב. במשימות קוד "יומ-יומית" הוא נותן תשובות טובות כמו gpt 4o. בשאלת קידוד/אלגו יותר טריקית, התשובה היתה רעה. ג. השוותי את מוד reasoning בין deepseek ל gpt4o על חידת הושבה עם אילוצים. קיבלתי תשובה נכונה משניהם, אבל אצל deepseek היה chain of thought מאד ארוך שנמשך 3 דקות (לgpt4o זה לקח 25 שניות). 6. פחות מעניין, אבל סתם לידיעה: נכון לאתמול ניתן לעשות sign up מישראל. השרת שלהם תפקד 20 דקות כן 20 דקות לא לסירוגין. |
|
|
|
|
|
|
||
|
||||
|
3. עם או בלי קשר: תגובה 776190 | |
|
|
|
|
|
||
|
||||
|
הטייק של Sabine Hossenfelder בנושא. | |
|
|
|
|
|
||
|
||||
|
מעניין. היא מדברת כאילו יש לה רקע בשוק ההון, אבל זה לא נראה שיש לה. השאלה המהותית ביותר מבחינת נבידיה היא האם היא תאבד את המונופול המוחלט שלה. מספיק שנתח השוק שלה יירד ל 70% כדי ששולי הרווח הגולמי שלה יצנחו. אפילו אם המכירות שלה יגדלו יותר מהתחזיות במונחי יחידות (הן לא, כי הבנתי שיש backlog של קרוב לשנה לבלקוול) הרווח יירד. השאלה המהותית ביותר מבחינת כל השאר היא איך עושים מזה כסף. בינתיים open AI מפסידה כסף גם על לקוחות משלמים. אני בטוח שלכל חברה תהיה הזווית שלה. מיקרוסופט ואפל פשוט ישלבו AI במוצרים הקיימים, כמו שכבר התחילו. האם יוכלו לדרוש יותר כסף מהלקוחות בזכות הפיצ'רים החדשים? |
|
|
|
|
|
|
||
|
||||
|
מונופול מוחלט לא שורד להצח. לא אפל, לא גוגל ולא מיקרוסופט שמרו על המונופול המוחלט שלהם לעד. השאלה היא האם תשמור על מעמדה כמובילת שוק. מאחר ואני מניח שרוב מוחלט של הרווחים שלה זה מחומרה - לא כל כך קל להתחרות בחומרה של מעבדים מהירים. את המודל העסקי של openAI אני באמת לא מבין. אולי מתישהו הם יתחילו לגבות כסף מכולם, או ישלבו פרסומות (הטריק הכי עתיק בתחום), וזה יממן אותם. גם מנוע החיפוש של גוגל היה חינמי בהתחלה ולא היה ברור ממה הם יתפרנסו. |
|
|
|
|
|
|
||
|
||||
|
פרסומת סמויה יכולה להיות שוס במודלי שפה. | |
|
|
|
|
|
||
|
||||
|
למה סמויה? תראה איך נראה היום גוגל עם הפרסום האגרסיבי שמופיע ממש בתוך תוצאות החיפוש. שנת 2026: שאלה: מהו אורך חייו של לוויתן כחול? תשובתו של ג׳פטו O-0: הלוויתן הכחול, היצור הגדול ביותר שחי אי פעם על פני כדור הארץ, יכול לחיות עד כ-70 עד 90 שנים. מדובר בחיה מופלאה שיכולה להגיע לאורך של מעל 30 מטרים ולמשקל של כ-150 טון. מעניין לציין שלווייתנים זקוקים לכמויות אדירות של אנרגיה, ממש כמו בני אדם שמתרוצצים במהלך היום. האם ידעת ששתיית משקה מרענן כמו קוקה-קולה, שמלא בטעם החיים, יכולה לתת לך אנרגיה להמשיך את היום? לווייתנים, כמובן, לא שותים משקאות מוגזים – הם ניזונים מפלנקטון! אבל מי מאיתנו לא היה רוצה רגע קטן של קסם אמיתי? |
|
|
|
|
|
|
||
|
||||
|
נחמד, אבל על זה לא הייתי משלם המון בתור מנהל שיווק של קוקה-קולה, זה שקוף וכולנו כבר די מיומנים בלהתעלם מזה. הפוטנציאל האמיתי הוא בשיחות שבאופן טבעי מגיעות לאזורי הפרסום. השימוש הראשון שלי בבינה היה שתתכנן לי חופשה באתונה, ואז הוספתי שאני עם ילד. עכשיו נגיד שאני מנהל שיווק של אטרקציה לא לגמרי קיקיונית אבל שמחפשת להגדיל את הקהל. | |
|
|
|
|
|
||
|
||||
|
אני בספק שאנחנו מיומנים בלהתעלם מפרסום שקוף ובוטה. אני יותר נוטה להאמין שאנחנו מיומנים בלהשלות את עצמנו שאנחנו מיומנים בלהתעלם מזה. | |
|
|
|
|
|
||
|
||||
|
אני לא אומר שזה חסר תועלת למפרסמים, סכומים ענקיים הולכים לפרסום כזה. ובכל זאת, לא אותו דבר. בעצם הבעיה העיקרית בפרסומת שדמיינת היא חוסר טירגוט - למה לפרסם דווקא קוקה קולה בזמן שיחה על לוויתנים? | |
|
|
|
|
|
||
|
||||
|
הדוגמה היתה Tongue in cheek. המציאות תהיה כמובן יותר ״רגילה״ מהדוגמה המוגזמת הזאת. כמו כשערוץ youtube בנושאי מדע (נגיד זה של Sabine Hossenfelder) פתאום דוחף לך שאין על NordVPN או שהכי טוב לאנשים חכמים שמבינים במכניקת הקוונטים לאמן את המוח שלהם עם brilliant.org. זה גם In your face, אבל גם מטורגט. | |
|
|
|
|
|
||
|
||||
|
אני בעצם חשבתי על משהו יותר שטני. לא לדחוף את הפרסומת לתוך הטקסט אחרי שהטקסט מוכן, אלא שהיא תהיה באמת חלק מהטקסט כמו שהתוכנות האלו יודעות לעשות. ש''קוקה קולה'' תופיע היכן שהיית מצפה לראות ''קוקה קולה'' גם אלמלא הפרסום, רק בסבירות יותר גבוהה או עם הטיה חיובית יותר. כדי שזה יקרה, עד כמה שאני מבין, צריך להשפיע לא בשלב ההסקה אלא בשלב אימון המודל. להכניס הרבה טקסטים שמשבחים את קוקה קולה לסט האימון, עם משקל גבוה. ''קוקה קולה'' היא שוב לא הדוגמה הכי טובה (ושטנית). נניח שיציעו לארגונים אידיאולוגיים כמו ''פורום קוהלת'' או ''הקרן החדשה לישראל'', תמורת תשלום נאות, להוסיף לסט האימון יותר טקסטים שמקדמים את האידיאולוגיה שלהם, עם משקל יותר גבוה. או, עם אנכרוניזם קל - סיגריות לא מזיקות, אין משבר אקלים, וכאלה. |
|
|
|
|
|
|
||
|
||||
|
יאפ. | |
|
|
|
|
|
||
|
||||
|
אגב אינטל, ביקשתי מהבן לבדוק לי מה אומרים על גאודי 3, ההכרזה האחרונה של אינטל בתחום ה AI. הוא אמר שהוא מתחרה בדור הקודם H100 של נבידיה ואומרים שלמרות שה H100 עדיין חזק יותר, יחס עלות/ביצועים של הגאודי הוא טוב בהרבה, לפחות ב 30%. אגב, הגאודי 2 הקיים מציע בערך חצי מהביצועים של ה H100 בכמעט עשירית המחיר ורבע צריכת האנרגיה. אם מודלים חדשים אינם זקוקים לכוח מחשוב כל כך גדול ואינם תלויים ב CUDA, אז הם באמת יכולים לחתוך עלויות בסדר גודל שלם נוסף על הקיטון בכמות החישוב הנדרשת רק על ידי שימוש בצ'יפים שאינם החזקים ביותר. הדור החדש של נבידיה - בלאקוול B200 - נחזה להיות חזק פי 4 בערך מה H100 (ועולה בערך פי 7). |
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש והצהרת נגישות
|
© כל הזכויות שמורות |