PTT職涯區 / Tech_Job (科技人)

[新聞]低價挑戰 NVIDIA！晶片大神 Jim Keller 曝設計關鍵是「捨棄 HBM」

看板Tech_Job (科技人)作者 (pl132)時間3月前 (2024/07/16 20:25), 編輯推噓40(43推 3噓 35→)
留言81則, 61人參與, 3月前最新討論串1/1
低價挑戰 NVIDIA！晶片大神 Jim Keller 曝設計關鍵是「捨棄 HBM」 https://tinyurl.com/23cvjvhj 傳奇晶片設計師 Jim Keller 打算設計比 NVIDIA 更高效的晶片，以降低 AI 應用價格並 搶占市占率。 Jim Keller 目前任 AI 晶片新創 Tenstorrent 執行長，認為很多市場 NVIDIA 都沒服務 到，隨著 AI 應用擴展到智慧手機、電動車和雲端服務，越來越多公司尋求更便宜的解決 方案，很多小公司不願為 NVIDIA 高階 GPU 支付 2 萬美元。 Jim Keller 在晶片設計界享有盛譽，也是 AMD Zen 系列的首席設計師，許多人認為他幫 助 AMD 東山再起、奮力追上英特爾。他也是開發特斯拉自駕軟體 Autopilot 晶片組的重 要人物。 日本人工智慧獨角獸公司 Preferred Networks 運算架構部門副總裁兼技術長 Junichiro Makino 形容「Jim Keller 簡直就是傳奇」。 設計 AI 晶片時，選擇捨棄關鍵的 HBM Tenstorrent 成立於 2016 年，準備年底推出第二代多用途 AI 晶片，稱某些領域比 NVIDIA AI GPU 更高能效和處理效率。Galaxy 系統比 NVIDIA DGX 效率高三倍，價格更 便宜 33%。 Keller 之所以能做到這點，是因 Tenstorrent 沒用高頻寬記憶體（HBM）。「即使有用 HBM 的人，也為成本及構建 HBM 所需設計時間掙扎，決定不用此技術。」 HBM 是生成式 AI 晶片的重要零件，對 NVIDIA 產品成功有重要作用，然也是 AI 晶片能 耗巨大、價格高昂的罪魁禍首之一。 典型人工智慧晶片組，GPU 每次執行進程時向記憶體發送數據，需 HBM 高速數據傳輸能 力。Tenstorrent 設計自己的晶片，大幅減少傳輸。Keller 指有了新方法， Tenstorrent 晶片可在 AI 開發某些領域取代 GPU 和 HBM。 Tenstorrent 也設計產品以盡可能實現成本效益，許多公司也在追求更適合的記憶體解決 方案，但 Keller 也坦承，要顛覆龐大 HBM 產業，還需數年時間。他預期與其一間公司 取代 NVIDIA，不如出現更多新公司，填補美國公司未涉足的各種人工智慧市場。 Tentorrent 晶片特點是百餘個核心，每核心都有小型 CPU，即「大腦中的微型大腦」。 通常情況單晶片核心只有一個小型電腦和記憶體，只負責解決一個任務，但 Tenstorrent 核心能獨立「思考」，決定先處理哪些數據，或放棄不重要任務，提高整 體效率。 Tentorrent 指每個核心都相對獨立，可將更多或更少核心堆疊起來，應用更廣泛。智慧 手機或穿戴設備只需少量晶片，AI 資料中心可將 100 個晶片組合，用途更靈活。 Keller 說還無法預測 AI 最佳應用是什麼，因此公司策略是打造出適合各種產品的技術 。 U.S. chip designer aims to bring down AI prices pushed up by Nvidia -- 推 pb220918:不爽可以當禽獸 五樓是禽獸!! 10/04 22:12 → pb220918:蓋 10/04 22:12 → pb220918:蓋 10/04 22:12 → pb220918:蓋 10/04 22:12 → Davisss:我是禽獸 我真爽 我在騎1樓 10/04 22:13 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.0.241 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1721132748.A.CC5.html
推
07/16 20:38, 3月前 , 1F
繼續吹，搞砸了幾個團隊和專案
07/16 20:38, 1F
推
07/16 20:42, 3月前 , 2F
沒差，不管誰贏最後都是找台積找台灣AI供應鏈
07/16 20:42, 2F
→
07/16 20:49, 3月前 , 3F
享有盛譽？？？
07/16 20:49, 3F
推
07/16 21:14, 3月前 , 4F
吃老本罷了
07/16 21:14, 4F
→
07/16 21:16, 3月前 , 5F
現在已經不是單打獨鬥可以成功的年代了
07/16 21:16, 5F
推
07/16 21:25, 3月前 , 6F
水啦
07/16 21:25, 6F
推
07/16 22:02, 3月前 , 7F
嗯 還需數年時間
07/16 22:02, 7F
推
07/16 22:09, 3月前 , 8F
你不用HBM就跑不贏別人阿
07/16 22:09, 8F
推
07/16 22:09, 3月前 , 9F
本文轉載自電子設計菁英
07/16 22:09, 9F
推
07/16 22:14, 3月前 , 10F
還不是要先買nv產品去模擬設計
07/16 22:14, 10F
推
07/16 22:47, 3月前 , 11F
樓上幾個看不起他的人，可以查看看他多神 XD
07/16 22:47, 11F
推
07/16 23:00, 3月前 , 12F
大神也被酸成這樣喔
07/16 23:00, 12F
噓
07/16 23:05, 3月前 , 13F
還不是被臺積電屌打
07/16 23:05, 13F
推
07/16 23:15, 3月前 , 14F
真大神
07/16 23:15, 14F
→
07/16 23:23, 3月前 , 15F
等HBM降價可能還比較快?
07/16 23:23, 15F
推
07/16 23:27, 3月前 , 16F
多神？要求不多，讓台積跌回500以下才神
07/16 23:27, 16F
推
07/16 23:28, 3月前 , 17F
他幹嘛打敗台積電？？他搞不好直接找台積電代工
07/16 23:28, 17F
推
07/16 23:30, 3月前 , 18F
再神也要靠台積電,呵
07/16 23:30, 18F
推
07/16 23:49, 3月前 , 19F
Jim很廢？
07/16 23:49, 19F
推
07/16 23:57, 3月前 , 20F
傻眼連JK都可以酸...不知道該說什麼了 呵呵
07/16 23:57, 20F
推
07/17 00:04, 3月前 , 21F
找出替代HBM的方案擊垮sk和美光 很讚的
07/17 00:04, 21F
→
07/17 00:05, 3月前 , 22F
當NV塑膠喔...
07/17 00:05, 22F
推
07/17 01:14, 3月前 , 23F
除非找到讀寫比HBM快的方式
07/17 01:14, 23F
推
07/17 01:18, 3月前 , 24F
問題是跟CUDA的相容性有多少，NV的護城河不是那麼容
07/17 01:18, 24F
→
07/17 01:18, 3月前 , 25F
易打破的
07/17 01:18, 25F
→
07/17 01:22, 3月前 , 26F
想靠硬體打NV 真的想多了
07/17 01:22, 26F
推
07/17 01:43, 3月前 , 27F
讓AMD重返農藥的辣個大神
07/17 01:43, 27F
推
07/17 04:52, 3月前 , 28F
看起來是要用架構解，效率可能有，但支援性如何要看
07/17 04:52, 28F
→
07/17 04:52, 3月前 , 29F
看
07/17 04:52, 29F
→
07/17 05:45, 3月前 , 30F
大神沒錯啊 但應該是在過去了
07/17 05:45, 30F
→
07/17 05:46, 3月前 , 31F
不然我也期待 john carmack
07/17 05:46, 31F
推
07/17 06:08, 3月前 , 32F
人家nv股王，新創連IPO都不知道啥時候，省省吧
07/17 06:08, 32F
噓
07/17 06:26, 3月前 , 33F
nv用錢就砸死你了 洗洗睡吧
07/17 06:26, 33F
推
07/17 06:42, 3月前 , 34F
HBM就很難買啊
07/17 06:42, 34F
推
07/17 07:09, 3月前 , 35F
先牡蠣一下，不過在業界不是要做正確的事
07/17 07:09, 35F
→
07/17 07:09, 3月前 , 36F
而是要做互利的事情才會長得超快
07/17 07:09, 36F
→
07/17 07:10, 3月前 , 37F
魚幫水水幫魚咩
07/17 07:10, 37F
推
07/17 07:14, 3月前 , 38F
還需要幾年，下一位
07/17 07:14, 38F
→
07/17 07:50, 3月前 , 39F
就拆開來做ASIC嗎
07/17 07:50, 39F
推
07/17 07:54, 3月前 , 40F
Jim是真的神，但能否推出與Nv競爭產品還有待時間觀
07/17 07:54, 40F
→
07/17 07:54, 3月前 , 41F
察。
07/17 07:54, 41F
推
07/17 08:17, 3月前 , 42F
誰當年不是新創？不過應該要先問ai是不是對的方向
07/17 08:17, 42F
→
07/17 08:17, 3月前 , 43F
，太多人把它當成唯一方向
07/17 08:17, 43F
→
07/17 08:38, 3月前 , 44F
有多神又如何，這裡是資本主義社會，用錢和人脈和專
07/17 08:38, 44F
→
07/17 08:38, 3月前 , 45F
利就可以堵死你
07/17 08:38, 45F
→
07/17 08:41, 3月前 , 46F
記憶體內運算?或者每個核心旁邊搭配記憶體?
07/17 08:41, 46F
→
07/17 08:41, 3月前 , 47F
不過記憶體與邏輯製程就是不太一樣 不然早就做一起
07/17 08:41, 47F
→
07/17 08:42, 3月前 , 48F
搞軟體的不一定懂得製造上的困難
07/17 08:42, 48F
推
07/17 08:43, 3月前 , 49F
NV花點錢把它買起來，看起還是個GPU環繞CPU的蜂巢
07/17 08:43, 49F
→
07/17 08:43, 3月前 , 50F
式結構
07/17 08:43, 50F
→
07/17 08:53, 3月前 , 51F
記憶體管理跟介面速度看有沒有發展空間
07/17 08:53, 51F
→
07/17 08:55, 3月前 , 52F
如果要追上人腦的話啦
07/17 08:55, 52F
推
07/17 09:02, 3月前 , 53F
便宜的顯卡要來了嗎？
07/17 09:02, 53F
推
07/17 09:26, 3月前 , 54F
這間有機會 產線仔不懂
07/17 09:26, 54F
推
07/17 09:44, 3月前 , 55F
可以沒hbm 沒錯 大型attention 類的現在cuda/hbm
07/17 09:44, 55F
→
07/17 09:44, 3月前 , 56F
反而是瓶頸 一直優化怎麼讀寫記憶體不如設計一個
07/17 09:44, 56F
→
07/17 09:44, 3月前 , 57F
不這樣搞的
07/17 09:44, 57F
→
07/17 09:54, 3月前 , 58F
等HBM降價比較快吧
07/17 09:54, 58F
推
07/17 10:16, 3月前 , 59F
傻眼，連JK都在酸，人家哈波小說不知道賺多少版稅
07/17 10:16, 59F
推
07/17 10:38, 3月前 , 60F
07/17 10:38, 60F
→
07/17 10:47, 3月前 , 61F
他之前又回去牙膏，但還是救不了牙膏
07/17 10:47, 61F
推
07/17 11:35, 3月前 , 62F
神人
07/17 11:35, 62F
→
07/17 12:06, 3月前 , 63F
速度就是關鍵啊，等半天的回覆誰要用
07/17 12:06, 63F
→
07/17 12:24, 3月前 , 64F
查 wiki 才知道他的成就，真強者
07/17 12:24, 64F
→
07/17 18:43, 3月前 , 65F
高效沒問題 問題是不能跑cuda
07/17 18:43, 65F
推
07/17 19:34, 3月前 , 66F
不用HBM要用什麼？
07/17 19:34, 66F
推
07/17 19:42, 3月前 , 67F
關鍵是「某些領域」，贏特定領域應該不會搶到Nvidi
07/17 19:42, 67F
→
07/17 19:42, 3月前 , 68F
a太多營收，說不定對反托拉斯纏身還有些好處
07/17 19:42, 68F
推
07/17 19:58, 3月前 , 69F
改玩MRDIMM看看啊
07/17 19:58, 69F
推
07/17 19:58, 3月前 , 70F
牙膏包袱那麼重，怎麼救？
07/17 19:58, 70F
→
07/17 22:41, 3月前 , 71F
再怎麼神都比比過台G輪班星奴呀
07/17 22:41, 71F
→
07/17 22:42, 3月前 , 72F
這種奴性是學不來的台G knowhow
07/17 22:42, 72F
→
07/17 22:42, 3月前 , 73F
比不過*
07/17 22:42, 73F
推
07/18 00:48, 3月前 , 74F
留言那幾個土包子亂酸，連ic設計跟製造代工都分不
07/18 00:48, 74F
→
07/18 00:48, 3月前 , 75F
清楚的，真的是他媽笨得有找
07/18 00:48, 75F
推
07/18 01:07, 3月前 , 76F
現在加速器不是要往PIM去走嗎
07/18 01:07, 76F
推
07/18 10:18, 3月前 , 77F
靠設計有極限的啦,蘋果的8GB RAM也是吹上天
07/18 10:18, 77F
→
07/18 11:17, 3月前 , 78F
現況比較會變成很強但沒人用
07/18 11:17, 78F
推
07/18 14:48, 3月前 , 79F
JK是誰？會輪班嗎？輪班技術有贏產線菁英嗎？
07/18 14:48, 79F
推
07/18 15:04, 3月前 , 80F
沒有輪班星人也只是紙上談兵
07/18 15:04, 80F
噓
07/19 07:29, 3月前 , 81F
有講跟沒講一樣
07/19 07:29, 81F
‣ 更多 pl132 的文章
文章代碼(AID): #1cbcRCp5 (Tech_Job)
Tech_Job 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 pl132 的文章
文章代碼(AID): #1cbcRCp5 (Tech_Job)