בתשובה לאריק, 02/02/25 20:58
 |
|
 |
||
|
||||
 |
לא התעמקתי ב-DeepSeek (פאדיחה), אך אכן שמעתי שהמפתחים שם עשו ככל הנראה שימוש נרחב ב-PTX. אבל אם כך, זה לא מחליש את תלותם ב-NVIDIA - אלא רק מחזק אותה. באופן כללי1 כתיבה ב-CUDA דומה קצת לכתיבה בשפה עילית. בדרך כלל מדובר בהרחבה של שפת C, אותה ניתן – תיאורטית ובמידה מסוימת גם פרקטית – לקמפל לפלטפורמות אחרות. ובכל מקרה, לעיתים קרובות תרגום ידני של קוד מ-CUDA ל-(נניח) OpenCL הוא עניין פשוט. לעומת זאת, כתיבה ב-PTX דומה לכתיבה באסמבלי: כבר יותר קל לכתוב הכל מאפס מאשר לנסות להעביר או לשכתב את הקוד לארכיטקטורה אחרת. בכלל, הפכת את הסיבה והמסובב. CUDA היא ערימת זבל סוסים (לעומת, לדוגמה שוב, OpenCL), אך האפשרויות לאופטימיזציה ספציפית ל-NVIDIA באמצעות שימוש ב-CUDA, בשילוב עם העובדה שאין טעם לכתוב קוד שיכול לרוץ גם על חומרה אלטרנטיבית (פשוט כי אין כזו) - הובילו לכך שכולם משתמשים רק ב-CUDA. זו אינה הסיבה לדומיננטיות של NVIDIA, אלא תוצאה של הדומיננטיות שלה. אף אחד לא בוחר ב-NVIDIA בגלל התוכנה. אף אחד לא בוחר ב-NVIDIA בכלל. אין בחירה2. יש רק NVIDIA. 1 זה לא מדויק, זו רק אנלוגיה, אבל אני מניח שהפרטים לא מעניינים אף אחד בסביבה. 2 חוץ מלגוגל... |
 |
 |
 |
|
|
|
||
|
||||
|
הבנתי קצת, מספיק כדי להבין חלקית את המסקנה. תשלים לי את המשפט כדי שאוכל לסדר לעצמי את התמונה: אם לאינטל יש שבבים חלשים יותר מלנבידיה, אבל עם יחס עלות/תועלת (וצריכת אנרגיה) טוב בהרבה, המפתחים של AI בעל דרישות מחשוב קטנות יחסית (יחסית!) עדיין יבחרו בנבידיה כי... |
|
|
|
|
|
|
||
|
||||
|
בתנאי הזה (בהנחה שהשבבים הללו טובים מספיק1), הם אולי לא יבחרו בנבידיה. אבל (נכון להיום) זה תנאי בטל. בטח יש מגיבים שיכולים לתת תשובות טובות משלי, אני לא מבין הרבה בחומרה ועוד פחות מזה בתהליכי ייצור ושרשראות אספקה. אבל העובדה היא שקשה מאד להציע אלטרנטיבה ל-NVIDIA בטכנולוגיה הנוכחית. לראייה, גוגל. הסיבה שהחרגתי אותם בתגובתי הקודמת היא שהם מפתחים את חומרת ה-AI שלהם - שאינה נופלת מזו של נבידיה - בעצמם. אז למה הם לא מוכרים אותה2 ונוגסים בנתח השוק העצום של נבידיה? ככל הנראה, כי הם בקושי מצליחים לייצר מספיק לצריכה עצמית, ואין להם עודפים למכור. הבעיה היא לא לתכנן את השבבים, אלא לייצר אותם בהיקפים גדולים. 1 באופן כללי, צריך להבחין בין חומרה המיועדת לאימון לבין חומרה המיועדת להרצה. 2 הם כן מציעים גישה אליה בשירותי-הענן שלהם, אבל זה לא רלוונטי בסקייל הדרוש לשחקנים הגדולים. |
|
|
|
|
|
|
||
|
||||
|
נשמע כאילו זה שוק שממתין ל-Disruption של שחקנים אחרים. מה כבר NVidia עושים שלא יעלה על הדעת שיצליח לעשות איזה מתחרה? נראה לי שההצלחה של NVidia היא אנומליה רגעית שתעבור. תוצאה של תהליכים היסטוריים - הרי לפני יומיים וחצי היעוד של ה-GPUs היה בעיקר בהאצה גרפית (משחקים וגרפיקה ממוחשבת). ה-CUDA לא הגיע לעולם ב-2007 כי היה ביקוש מטורף לפיצ׳ר הזה והוא היה די עניין איזוטרי ב-2007 עד 2010. ה-GPGPU נולד בעיקר בשביל צורך איזוטרי בחוגים אקדמיה להרצת סימולציות (fluid dynamics, climate modeling, etc). רק ב - 2012–2018, כנראה אפילו לא בכוונה/לא כי זאת היתה כוונת המשורר, התחיל להיות פופולרי יותר ויותר השימוש ב-CUDA וחומרה של NVidia לאימון ב-ML. כנראה גם ההצלחה של AlexNet תרמה לפופולריות ואימוץ הכלי. אבל גם אז, בתקופה בה זה נהיה יותר פופולרי ב-ML, עדיין לא היה מדובר פה באיזה שוק מטורף שכל השחקנים חלמו להכנס אליו. באותם ימים, הרוב לא חלם את תופעת ה-LLM ואף אחד לא העלה בדעתו את תופעת ״חברות הג׳פטו״ שאנו מכירים היום. בקיצור - נראה לי שהמעמד בו NVidia הגיעה אליו היום הוא אנומליה זמנית וסתם עניין מקרי. משהו שקיים ״מסיבות היסטוריות״. לכן לא נראה לי סביר שהם יצליחו לשמור על המעמד האנומלי הזה לאורך זמן. שחקנים אחרים יכנסו לשוק וינסו לנגוס בעוגה. חברות כמו AMD, Intel, Google ו-Apple1 כבר החלו להציג פתרונות חומרה ייעודיים ל-AI. חלקם, כמו Google עם ה-TPUs, כבר משמשים בצורה מסיבית בתשתיות ענן פנימיות. ככל שהביקוש ימשיך לגדול, כנראה שנראה יותר פתרונות תחרותיים שמסוגלים לאתגר את השליטה של NVIDIA. _________ 1 לגבי אפל - נכון, הצ׳יפים של Apple מתרכזים בפתרונות עם אופטמיזיציה ל-Inference שמריצים מודלים קיימים על מכשירי צריכה (במינימום בזבוז בטריה), אבל גם סביר להניח שהם עובדים על צ׳יפים (ותוכנה) לשימוש פנימי של ה-R&D שלהם מאחורי הקלעים, עם אופטימיזציות לצורך למידה של מודלים, כדי להוריד סיכונים של תלות בחומרה של NVidia ובתוכנה של OpenAI בעתיד. אם יהיה להם ביד משהו מוצלח, לא אפול מהכסא אם אפילו הם יכנסו לשוק החומרה הזה (גם אם זה חורג מהאפל שאנו מכירים שירדן אפיין לא רע למעלה כ״מוכרת מוצר צריכה המונית לצרכני קצה, ומשכילה להוון תדמית, אופנה וסמל סטטוס״). |
|
|
|
|
|
|
||
|
||||
|
"שוק שממתין ל-Disruption"? זה שוק בן יומיים שמשתנה בקצב פסיכי. עד כדי כך שיש גם סיכוי ש-Nvidia לא יהיו רלוונטים עוד רגע כי כל הפרדיגמה תשתנה, מי יודע. אחרי 2012 שימוש ב-GPUs לצרכי אימון מודלים אמנם נכנס למיינסטרים, אבל היתרון התחרותי של NVIDIA לא היה אז כל כך מוחלט כמו היום. אני משער שמאז היא הלכה וצברה דומיננטיות בעיקר בגלל ניהול מוצלח של תהליכי הייצור והאספקה של החומרה, ופחות בגלל יצרתיות טכנולוגית, ונראה (אני לא מבין בזה) שמאד קשה להתחרות בה באספקטים האלה. |
|
|
|
|
|
|
||
|
||||
|
נבידיה רק מפתחת ולא מייצרת בעצמה. TSMC, היצרן הגדול והמתקדם בעולם, מייצר עבורה. זה אכן היה בדיעבד ניהול מוצלח מאוד של תהליכי הייצור. נבידיה מובילה כבר יותר מעשור את תחום ה GPU על פני המתחרה הראשית שלה, AMD (שרכשה את ATI ב 2006). אמנם יד המקרה היא שדווקא ה GPU התגלה כיעיל ביותר לאימון AI, אבל לא מקרי שהודות לכך נבידיה היא המובילה ב |
|
|
|
| חזרה לעמוד הראשי | המאמר המלא |
| מערכת האייל הקורא אינה אחראית לתוכן תגובות שנכתבו בידי קוראים | |
 RSS מאמרים |
כתבו למערכת |
אודות האתר |
טרם התעדכנת |
ארכיון |
חיפוש |
עזרה |
תנאי שימוש והצהרת נגישות
|
© כל הזכויות שמורות |