[新聞] 不拿坦克車鑽巷子!劉峻誠力推高效省電NTU已刪文

看板Stock (股票)作者dosiris (希望大家開心)時間3月前 (2024/08/11 09:22)推噓1(2推 1噓 2→)

留言5則, 5人參與討論串1/1

原文標題：「不拿坦克車鑽巷子！」劉峻誠力推高效省電NPU讓人工智慧更普及原文連結： https://www.ctwant.com/article/355473/ 發布時間： 2024-08-11　06:00 記者署名：陳曼儂原文內容：「CPU （中央處理器）像坦克車，一開始設計功能主要是打仗用，GPU（圖形處理器）就像是卡車，主要拿來載貨物；NPU（神經處理器）則是小客車，能在小城市內跑來跑去，專為AI而生。」耐能（Kneron）創辦人暨執行長劉峻誠向CTWANT記者解釋，AI時代大家最常聽見的三種處理器差異何在。輝達（Nvidia）創辦人兼執行長黃仁勳在今年6月的台大演講時提及，從1964年IBM創造出第一片CPU到現在，電腦已誕生60年，但 CPU升級速度已減低，須處理的資料量卻大幅成長，而輝達在2006年推出CUDA技術，讓GPU可應用於圖像處理以外的計算，也成為AI計算的主要動力。「CPU+GPU的平行運算模式，才能提供等量的加速運算能力」黃仁勳表示，若以單顆CPU運算需要1秒時間的資料量，搭配GPU加速運算，則只需要0.01秒的時間，且僅需3倍能耗、 1.5倍的裝置成本，等於省下了98%的裝置成本、97%的能源，「所以你買越多GPU，就省更多錢」。業內人士向CTWANT記者解釋，因手機與電腦的應用及計算變多，業界在標準積體電路（IC ）外，另外訂製ASIC專用（特殊應用）電路，畢竟「專用的比通用的好」，例如Google研發出TPU(Tensor Processing Unit張量處理器)，用於大量低精度計算，但生產廠商少，價格昂貴，劉峻誠的NPU和TPU的概念很像，但「他抓住低價的利基市場，所以在終端使用量會比較多。」業內人士進一步說明，如果沒有NPU，傳統筆電使用AI助手，很容易遇到效能網路塞車的問題，而耐能的NPU主打在沒有網路狀態下也能運算，特別是物體與人臉辨識，如今AI應用更廣泛，使用GPU有成本貴及耗電問題，讓NPU業者更有底氣推廣，「讓CPU、GPU去做它本來要做的事，就是解方。」而現在常聽見的NPU，就是劉峻誠2015年創業時打造的全新計算模型「神經網路處理器」（Neural Networks Processing Unit），這個「可重組式人工智慧神經網路」的專利，像一堆樂高積木，當要支持語音AI模型時，可透過指令集重組，要支持圖像AI時再次重新組合，由於可支援多種神經網絡模型，保持架構精簡，處理 AI 模型運算時，具有性能和功耗上的優勢。早在2018年，CTWANT記者曾訪問過劉峻誠，當時AI議題還不熱，他在解釋NPU概念時，主打是在離線狀態下，能讓手機或電腦繼續學習和執行複雜的深度學習演算，能讓AI更平民化。時隔六年，他跟CTWANT記者的解釋更具象，「CPU就像是坦克車，但有一天人類蓋了小型城市，大家發現GPU這卡車比較方便，「我們的NPU就是小客車，雖然市面上的駕駛都習慣開卡車，但若有一天油價漲了兩、三百倍，大家就會被逼迫去試著開小客車。」劉峻誠說「國際級的雲端大廠是目前GPU的主要買家，但因為實在太貴、太耗電，就像某個貨運公司的卡車隊伍，正在強迫司機要換小客車，這件事情正在發生，你就等著看吧！」除了雲端，NPU晶片架構在終端產品上的能見度的確越來越多，目前高通驍龍X系列處理器，就是主打專為AI應用設計的NPU，高效能、更省電；耐能去年3月也宣布自研的人工智慧系統晶片KL720打入高通的產品線，用在高通機器人RB1平台與RB2平台中。 Arm在4月發表因應邊緣AI運算的第三代NPU產品「Arm Ethos-U85」，其效能相比上一代 Ethos-U65提升4倍、功耗能源轉換效率提高20%，可用在工廠自動化和商用監視器或智慧家庭攝影機等應用。今年6月的Computex電腦展上，CTWANT記者就在Intel展區中，看到多項跟NPU有關的實機展示。像是技嘉Aorus 15筆電的展示，過去可用手勢撥放或停止影音播放程式，當時是利用 CPU與GPU來處理分析，透過鏡頭來識別手勢，現在則使用NPU獨立處理。劉峻誠曾引用大摩報告指出，到2027年，NPU的市占率將會超過GPU，不過Google DeepMind傑出科學家紀懷新向CTWANT記者說，「我認為五到十年內，GPU的地位還不會被取代」不過現在的確有很多人在思考用更多元的方式去解決，也是好事一件。心得/評論：就算GPU的問題不在於太貴，耗電嚴重的問題也會讓台灣難以快速建構大型的運算中心，至少桃園以北的電網就無法承擔。要克服耗電的問題，要嘛就學微軟蓋新型小型核電廠，否則就只能另發展一條專走NPU的路線，建構以NPU為主的運算中心？ -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 61.230.35.52 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Stock/M.1723339378.A.88C.html