Re: [請益] 其他軟硬體公司會聯合鬥Nvidia的壟斷嗎？

看板Stock (股票)作者LDPC (Channel Coding)時間6小時前 (2025/05/18 03:24)推噓3(5推 2噓 7→)

留言14則, 11人參與討論串4/4 (看更多)

@@ 其實老黃的情況跟台積電有點像單顆gpu快蘇媽已經示範給你看過了最大問題是整個node-to-node cluster-to-cluster 平行串連也就是所謂的scale 一堆gpu連起來時候一堆問題就會出現 LLM inferece端都要拆解不同 cluster-to-cluster運算 LLM一個回答問題還拆解prefill和generation兩個不同cluster ( https://blog.csdn.net/qq_32204441/article/details/139483688 ) 這種就是考驗整個data center軟硬大結合老黃整個社群使用者都一起幫他debug 你可以看LLAMA2 報告說道 h100在萬顆結合時各種bug meta infra team後來都優化解決掉那些bug都是會回饋給NVDA 像是溫度多少幾顆以上會以一起崩如何用分配computation pressure loading 傳輸速度怎樣優化避免崩等等這塊就是AI Infra 在業界Infra是個大工作崗位現在AI Infra都是基於NVDA規格去優化像是Linkedin自家再推Liger Kernel AI Infra https://github.com/linkedin/Liger-Kernel https://pytorch.org/blog/peak-performance-minimized-memory/ OpenAI Triton也是AI Infra 優化 Stanford課程甚至都用Triton (Cuda框架) https://stanford-cs336.github.io/spring2024/ (assignment 2) 馬上貢獻大學生免費debug ai infra仔給老黃 (偵測bug貢獻大概都會像是這種 https://github.com/NVIDIA/cuda-samples/issues ) 蘇媽的 https://github.com/ROCm/ROCm/issues @@ 一堆under investigation.... 慘不忍睹...蘇媽QQ 加油.... 當你一堆萬人陪你練功這玩意就是護城河你看i皇/*** 為啥追不上台積就是有客戶陪他練功 @@ AI infra也是比單顆快誰都可以比到data center成面就很難連DeepSeek自己的低成本訓練框架也是基於cuda底層重寫的AI infra 現在在搶用戶黏度下同樣模型晚點推出就失去市場 @@ 整個生態全幫你收集各種bug 你叫其他廠怎樣打唯一的可能對手就是對岸所以老黃賣低階晶片才能鎖對岸總結算力晶片不在於單科而是整個大系統長時間效能這需要大量社群幫忙debug 老黃的護城河就是從2012 AlexNet開始的護城河或者更早可追朔到2006.... 現在高中生都在寫AI Infra/算法 @@ 你諸位不害怕嗎漫畫世界高中可以打贏成人世界在AI界已經成真了不限年齡大混戰小學生都可以參賽了...... ※ 引述《Shiva (Shiva)》之銘言： : 挑戰者不少吧，也不是最近才出現 : 大公司組AI大聯盟： : Meta、IBM 發起 AI 大聯盟，Intel、AMD 等 50 個企業組織也共襄盛舉 : https://tinyurl.com/yjmn4pyp : 將開發人工智慧評估標準與相關工具資源，藉此協助更好的人工智慧系統開發。 : 一起建立新標準，直接訂標準給大家follow，超給力有夠生猛 : 要贏Nvidia大概沒那麼快，但是陣仗也不小了 : 也有宣稱打趴Nvidia的小公司： : 出現勁敵了！加州新創公司開發新晶片比輝達快20倍 : https://tinyurl.com/pkpswsh9 : 速度比輝達GPU快20倍，連超微和英特爾也望塵莫及 : Cerebras速度超快，科技業要的不就是這個？ : Nvidia AMD intel有壓力嗎？ : 黃仁勳反抗軍來了！藏身竹科、內湖小廠，晶片效能比輝達強2倍 : https://tinyurl.com/2vundffn : 創鑫「反黃仁勳」的台灣戰隊 : 直接組戰隊反黃仁勳，應該在這領導下台灣隊殺爆Nvidia了吧？ : 台灣小粉綠藍白黃一起喊殺聲衝衝衝，頭也不回直接碾過去了吧？ : 新秀創鑫智慧，它憑什麼能在「高能效」打敗 NVIDIA : https://tinyurl.com/z2u7vcdr : 打敗輝達（NVIDIA），成為世界第一能效的 AI 加速平台 : 能效世界第一！電力有限產能有限，世界各廠還不跪著求晶片嗎？ : CUDA生態系統是不是有危機了？ : ※ 引述《nissan168 (pingGO)》之銘言： : : 我是看完黃仁勳的自傳，再扒了文章後。才知道黃仁勳在2007年就佈局Cuda的平台，現在 : : 是軟體、硬體都形成生態鏈，才會讓Nvidia變成AI時代的發動引擎。 : : Intel、AMD、蘋果、谷歌、微軟、亞馬遜、臉書、特斯拉...這些大公司，怎麼可能接受 : : 一家獨大！ : : 他們有再開發一套公開的平台，來進行反向傳播演算法嗎？ : : 現在的AI都是建立在辛頓演算法的基礎上。 : : 每年要花幾百億美元給Nvidia？ : : 未來都這樣？ : : 都沒有公開的平台規則，讓所有人都可以用嗎？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 76.21.72.78 (美國) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1747509845.A.030.html