PTT職涯區 / Stock (股票)

[新聞] AI晶片如何讓美國電網癱瘓？微軟工程師：只要10萬片就完了

看板Stock (股票)作者 (鬼島觀察家)時間1月前 (2024/03/30 10:13), 編輯推噓35(46推 11噓 54→)
留言111則, 72人參與, 3周前最新討論串1/1
原文標題： AI晶片如何讓美國電網癱瘓？微軟工程師：只要10萬片就完了 原文連結： https://www.ctee.com.tw/news/20240329701360-430704 發布時間： 2024.03.29 16:25 中時新聞網 記者署名： 吳美觀 原文內容： 全球掀起人工智慧（AI）熱潮，也讓AI進化成吃電巨獸！一位微軟工程師爆料，如果在美 國同一個州部署超過10萬片H100 GPU高階晶片，就會導致電網癱瘓。顯見AI運算速度愈快 ，電力供應需求暴增將成為令人擔憂的問題。 財聯社報導，人工智慧聊天機器人ChatGPT開發者OpenAI下個版本GPT-5模型尚未面世，似 乎已開始著手訓練GPT-6，不過電力可能成爲一個「卡脖子」難題。 AI新創公司OpenPipe創辦人Kyle Corbitt在社群平台X上透露，自己最近與一位負責GPT-6 訓練集群項目的微軟工程師討論新版本中遇到的問題，這位工程師抱怨，不同區域GPU之 間部署infiniband（無線頻寛）級別鏈接，實在非常痛苦。 Corbitt接著問「為何不將訓練集群集中同一個區域？」這位微軟工程師回答，有嘗試過 ，但是如果在一個州放置超過10萬片H100 GPU，電網就會癱瘓。 10萬片H100是什麼概念？據市場調查機構Factorial Funds的報告顯示，OpenAI的文字生 成影片模型Sora在高峰期間需要72萬片H100，依該工程師說法，這個數量足以讓美國7個 州的電網崩潰。 Corbitt指出，隨著越強大的AI製造出來，開發這些模型的成本也越來越高，並面臨電力 供應所帶來環境挑戰。 OpenAI 執行長奧特曼（Sam Altman）曾為AI的電力需求「叫苦」。在年初的達沃斯論壇 上，他表示，AI發展需要能源方面的突破，AI將帶來遠超預期的電力需求。 有數據顯示，ChatGPT每天需要消耗超過50萬千瓦時的電力，用於處理約2億個用戶請求， 相當於美國家庭日用電量的1.7萬多倍；至於搜尋巨頭谷歌，若在每次用戶搜尋中都調用 AIGC，年耗電量將增至290億千瓦時，這甚至高於肯亞、瓜地馬拉等國1年的用電量。 心得/評論： 隨著AI運算速度愈快，電力供應需求也將暴增，將成為令人擔憂的問題 還好咱們台灣電網堅韌無比，不缺電，不停電，不是美國那種落後國家能比的 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 101.137.161.32 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1711764788.A.3BE.html
推
03/30 10:14, 1月前 , 1F
心得 笑死 也只能自娛娛人了我們
03/30 10:14, 1F
→
03/30 10:14, 1月前 , 2F
中時新聞網
03/30 10:14, 2F
→
03/30 10:15, 1月前 , 3F
「卡脖子」是什麼語？
03/30 10:15, 3F
推
03/30 10:15, 1月前 , 4F
台灣不適合核能，但AI真的吃電非常
03/30 10:15, 4F
→
03/30 10:15, 1月前 , 5F
說真的，這種擺明不是想討論股票的文就別發了，有很
03/30 10:15, 5F
→
03/30 10:15, 1月前 , 6F
多其他適合的板
03/30 10:15, 6F
噓
03/30 10:18, 1月前 , 7F
剛才跳過心得沒看，補噓沒意義的酸文心得
03/30 10:18, 7F
推
03/30 10:19, 1月前 , 8F
有股點阿，就是在ai 這條路上，台灣終究會被外拋，
03/30 10:19, 8F
→
03/30 10:19, 1月前 , 9F
要ai就投美股
03/30 10:19, 9F
推
03/30 10:19, 1月前 , 10F
台灣不適合核能個屁
03/30 10:19, 10F
→
03/30 10:20, 1月前 , 11F
台灣要零排放又要跟上AI時代 是打算把中央山脈砍光
03/30 10:20, 11F
→
03/30 10:20, 1月前 , 12F
插光電板？
03/30 10:20, 12F
推
03/30 10:21, 1月前 , 13F
純噓上面反核仔
03/30 10:21, 13F
推
03/30 10:21, 1月前 , 14F
找老黃呼籲核電 政府應該會買單
03/30 10:21, 14F
→
03/30 10:21, 1月前 , 15F
微軟+AI+電網 沒股點？ 這話有經過自己良心嗎？
03/30 10:21, 15F
→
03/30 10:22, 1月前 , 16F
高速快速公路插太陽能板有搞頭？
03/30 10:22, 16F
→
03/30 10:23, 1月前 , 17F
白天遮陽發電儲能，晚上照明
03/30 10:23, 17F
推
03/30 10:24, 1月前 , 18F
把公園通通插滿太陽能板就有電了
03/30 10:24, 18F
推
03/30 10:24, 1月前 , 19F
地震颱風就會滿地的太陽能板癱瘓交通
03/30 10:24, 19F
推
03/30 10:25, 1月前 , 20F
遲早用核電哈哈
03/30 10:25, 20F
→
03/30 10:26, 1月前 , 21F
捷運軌道上方蓋滿太陽能板有搞頭？
03/30 10:26, 21F
噓
03/30 10:27, 1月前 , 22F
台灣：40%用愛發電
03/30 10:27, 22F
→
03/30 10:27, 1月前 , 23F
簡單來說就是台灣只會有硬體業 AI軟體相關都是假的
03/30 10:27, 23F
推
03/30 10:27, 1月前 , 24F
H100伺服器耗電量就要10kW了 10萬台需要100萬KW 自
03/30 10:27, 24F
→
03/30 10:27, 1月前 , 25F
己算要多少光電板吧
03/30 10:27, 25F
→
03/30 10:29, 1月前 , 26F
硬體業不耗電嗎 生產AI晶片EUV製程電力需求多恐怖
03/30 10:29, 26F
→
03/30 10:29, 1月前 , 27F
人類電池!!!!各位 用脂肪發電時代來臨了!!
03/30 10:29, 27F
推
03/30 10:32, 1月前 , 28F
愛台灣股民是又看不慣電力汙名化了
03/30 10:32, 28F
噓
03/30 10:34, 1月前 , 29F
柵欄壞了
03/30 10:34, 29F
推
03/30 10:34, 1月前 , 30F
1度電=1kWh
03/30 10:34, 30F
→
03/30 10:34, 1月前 , 31F
以後會很耗電 我建議用人類來發電
03/30 10:34, 31F
→
03/30 10:41, 1月前 , 32F
靠光電板？所以陰雨天伺服器就停工嗎 XD
03/30 10:41, 32F
→
03/30 10:43, 1月前 , 33F
是不是當儲能是塑膠的（誤
03/30 10:43, 33F
→
03/30 10:44, 1月前 , 34F
如果是科幻小說會研發出在太陽旁邊吸取能源的訓練站
03/30 10:44, 34F
推
03/30 10:48, 1月前 , 35F
跟挖礦一樣浪費電
03/30 10:48, 35F
推
03/30 10:51, 1月前 , 36F
原來打敗天網只要攻擊電網就好了
03/30 10:51, 36F
→
03/30 10:53, 1月前 , 37F
天網真的形成你根本攻擊不完電網 起碼是分散式的
03/30 10:53, 37F
推
03/30 10:53, 1月前 , 38F
沒關係 AI不適合台灣 不需要擔心電力問題
03/30 10:53, 38F
→
03/30 10:56, 1月前 , 39F
電網可以24/7無限制生成 看卡爾達蕭夫文明等級到哪
03/30 10:56, 39F
還有 32 則推文
→
03/30 12:06, 1月前 , 72F
美國家庭至少也有8000萬戶，給你耗電2萬戶有什麼
03/30 12:06, 72F
→
03/30 12:06, 1月前 , 73F
白痴新聞
03/30 12:06, 73F
推
03/30 12:09, 1月前 , 74F
樓上是不是因為電廠到你家中間沒電網？ 電網其中一
03/30 12:09, 74F
→
03/30 12:09, 1月前 , 75F
點瞬間少掉2萬的家庭用電 需要多少電力去穩電流？
03/30 12:09, 75F
推
03/30 12:15, 1月前 , 76F
還好台灣都是用愛發電 不怕
03/30 12:15, 76F
→
03/30 12:17, 1月前 , 77F
台灣電多到可以藏起來，沒事沒事
03/30 12:17, 77F
推
03/30 12:25, 1月前 , 78F
台灣有愛
03/30 12:25, 78F
噓
03/30 12:31, 4周前 , 79F
建議土條趕快提出將龍門廢墟 改成fusion 試驗場的可
03/30 12:31, 79F
→
03/30 12:31, 4周前 , 80F
行性計畫 不然有可能光內科皆有可能榨乾整個台北市
03/30 12:31, 80F
→
03/30 12:31, 4周前 , 81F
的電網？？？
03/30 12:31, 81F
推
03/30 12:49, 4周前 , 82F
是無限頻寬 不是無線
03/30 12:49, 82F
推
03/30 12:54, 4周前 , 83F
美國怎麼跟得上台灣
03/30 12:54, 83F
→
03/30 13:02, 4周前 , 84F
那台灣怎麼發展
03/30 13:02, 84F
→
03/30 13:02, 4周前 , 85F
台灣算力準備落後了嗎
03/30 13:02, 85F
→
03/30 13:08, 4周前 , 86F
很明顯AI發展會進入一個算力瓶頸，而這個瓶頸就是電
03/30 13:08, 86F
→
03/30 13:08, 4周前 , 87F
力供應
03/30 13:08, 87F
推
03/30 13:11, 4周前 , 88F
卡陰囊
03/30 13:11, 88F
推
03/30 13:32, 4周前 , 89F
日本國土確實大啊，一個九州就跟台灣面積相近了
03/30 13:32, 89F
推
03/30 13:45, 4周前 , 90F
又是浪費錢跟電的玩意
03/30 13:45, 90F
推
03/30 13:48, 4周前 , 91F
這就是現在半導體的瓶頸，所以才有人開始研究量子
03/30 13:48, 91F
→
03/30 13:48, 4周前 , 92F
電腦想取代目前的大型訓練系統，但是變超導體應該
03/30 13:48, 92F
→
03/30 13:48, 4周前 , 93F
也是很耗能。
03/30 13:48, 93F
→
03/30 13:48, 4周前 , 94F
還談什麼節能減碳....暖化議題呢?
03/30 13:48, 94F
→
03/30 14:18, 4周前 , 95F
有些人總喜歡將綠能與基載混在一起談
03/30 14:18, 95F
→
03/30 14:23, 4周前 , 96F
電力消耗就是小模型跟自製AI晶片會有市場的重要考量
03/30 14:23, 96F
推
03/30 14:24, 4周前 , 97F
宏碁：這裡有一批神秘小盒子很便宜的 快來買喔
03/30 14:24, 97F
推
03/30 15:23, 4周前 , 98F
是自己公司沒有建立可以推10萬片H100 GPU的電力系統
03/30 15:23, 98F
→
03/30 15:24, 4周前 , 99F
，光想要推這麼多H100的不斷電系統就覺得驚人
03/30 15:24, 99F
推
03/30 15:36, 4周前 , 100F
怎不開發超導體ai晶片啊？這樣不就完全不用消耗電
03/30 15:36, 100F
→
03/30 15:36, 4周前 , 101F
力了。
03/30 15:36, 101F
推
03/30 16:11, 4周前 , 102F
台灣最需要的就是核能！
03/30 16:11, 102F
推
03/30 17:17, 4周前 , 103F
核能治百病 電不夠就核能就對了
03/30 17:17, 103F
噓
03/30 18:33, 4周前 , 104F
外拋什麼台灣的半導體業就是ai軟體的，87
03/30 18:33, 104F
→
03/30 19:06, 4周前 , 105F
核融合也要靠AI有突破了
03/30 19:06, 105F
推
03/30 19:26, 4周前 , 106F
主機+太陽能板上太空有沒有搞頭？
03/30 19:26, 106F
推
03/30 21:59, 4周前 , 107F
老黃會推下一代功耗降低30%吧
03/30 21:59, 107F
推
03/30 22:56, 4周前 , 108F
把台灣的路全部挖掉重鋪「發電公路」大家說好不好
03/30 22:56, 108F
→
03/30 22:56, 4周前 , 109F
啊
03/30 22:56, 109F
噓
03/31 11:31, 4周前 , 110F
因AI失業的人改行當人力電池吧
03/31 11:31, 110F
噓
04/01 20:22, 3周前 , 111F
這心得只會讓某粉看起來越來越惹人厭
04/01 20:22, 111F
‣ 更多 anti87 的文章
文章代碼(AID): #1c1tKqE- (Stock)
Stock 近期熱門文章
更多 近期熱門文章 >>
PTT職涯區 即時熱門文章
更多 即時熱門文章 >>
‣ 更多 anti87 的文章
文章代碼(AID): #1c1tKqE- (Stock)