[新聞] AI晶片技術專利系列六 - AI晶片的後起之秀：可重構NPU

看板Patent (專利)作者stpiknow (H)時間6月前 (2024/05/10 09:45)推噓0(0推 0噓 0→)

留言0則, 0人參與討論串1/1

AI晶片技術專利系列六 - AI晶片的後起之秀：可重構NPU 原文網址: https://bit.ly/4aduAxg 原文: 本系列前五篇，已經介紹2.5D和3D相關的半導體先進封裝技術專利，但有鑒於生成式AI推出後，已經將AI晶片又推向另外一波高峰。為了滿足AI運算所需要的高運算力、低功耗、單位面積上容納更多的電晶體、更貼近應用在AI等特殊應用的積體電路，因此在CPU、GPU 之後，TPU與NPU等晶片應運而生。大家耳熟能詳的NVIDIA、AMD、Intel、Qualcomm、Google、Apple、聯發科等知名大型科技公司，都有自己的AI晶片設計事業體，這些大咖在半導體三巨頭台積電、英特爾與三星電子外，就晶片堆疊技術各自撐起一片天，但也另有一些後起之秀繼續加入賽道之中，例如台灣的半導體新創「耐能智慧」，就是一家AI晶片領域的上游IC設計公司，近年來成功吸引半導體業界焦點，而且還打進美國處理器晶片大廠高通(Qualcomm)的產品線，除獲得如阿里巴巴、李嘉誠、鴻海、中華開發等知名創投或科技大廠的投資外，更獲得台積電、輝達等半導體界大咖力挺。有別於輝達的GPU，耐能智慧研發出比GPU更具競爭力的「可重構NPU」（Reconfigurable Artificial Neural-network Processing Unit，可重構神經網路處理器），並強攻AI邊緣運算。所謂可重構NPU，是指一種具有特定功能的處理器，支援Transformer神經網路架構，它在AI的應用上具有比GPU更便宜、耗能低、體積小、更即時推理、低延遲等優點，加上邊緣運算重隱私與安全，該NPU架構晶片將帶動終端用之生成式AI。截至目前筆者在寫本篇文章之時間點，耐能智慧目前也累積了一些已獲證或正在申請中的相關專利，舉例來說，US11663464B2的「可重構硬體設計中低精度動態定點深度神經網絡」(Deep neural network with low-precision dynamic fixed-point in reconfigurable hardware design)、US20240078432A1的「用於重建深度神經網路和電子設備的自調整模型壓縮方法」(Self-tuning model compression methodology for reconfiguring deep neural network and electronic device)、TWI634488B的「神經網路的簡化裝置和簡化方法以及用於簡化神經網路的非暫時性電腦可讀儲存介質」、 TW201939357A的「移動裝置及其整合人臉辨識系統」、TWI738048B的「算數框架系統及操作浮點至定點算數框架的方法」等與AI、電腦視覺和影像處理領域逾30餘項國際專利。筆者以專用於預測專利價值的AI系統-Lupix [1]，將耐能智慧官網所述的「耐能是可重構 NPU領域的領導者，…提出動態存儲DMA提升記憶體訪問效率，以及動態支持同一個神經網路的不同數據精度需求，使得NPU晶片有ASIC高性能而又不犧牲數據密集型演算法的可編程性。…可以支持同時運行CNN和Transformer網路，既可做機器視覺，也可運行語義分析 …」文本內容後，找到近10年相對具有市場價值的專利，一件專利標題為「具有電荷存儲式電晶體的記憶體單元及其操作方法」（以下稱本專利），其台灣專利號為TWI717033B，而對應的美國專利號為US10839893B2(Memory cell with charge trap transistors and method thereof capable of storing data by trapping or detrapping charges)，分別於2021/01/21和2020/11/17獲證。根據AI系統Lupix的推斷，其當下的專利價值的PR值為93也就是說，本專利的專利價值在機電領域中贏過93%的相關專利，包含半導體、IC設計、光電、網路通訊、車用電子、封裝測試等專利文獻。本專利大致上記載電晶體結構與其存取電荷的操作方法，可使記憶體得以具有更低功耗、更微縮積體電路的尺寸，進而又能實現高性能記憶體等優點，而解決了傳統如SRAM或快閃記憶體所需的大尺寸、高功耗、高製程複雜度等許多問題。如圖1所示，本專利揭露一種記憶體單元(100)，包括兩電荷儲存式電晶體(charge trap transistor，110、120)，其可為N型MOSFET或N型鰭式FET(FinFET)；再如圖2與圖3所示，圖2是對應圖1中的電荷儲存式電晶(110)的電路結構，而圖3是對應圖1中的電荷儲存式電晶體(120)的電路結構，其中介電層(116)係由如HfO2或HfSiOx等高材料所構成，並耦接至字元線WL。根據本專利的權利保護範圍來看，此技術的特點在於，只要透過簡單的記憶體單元(100) 所構成的兩位元線BL、BLB，即可輕易讀取出儲存的資料位元為0或1。在讀取操作期間，字元線WL與訊號線SL被充電到系統電壓VDD時，並對位元線BL、BLB同時放電，使位元線BL 、BLB之間產生差分電壓(differential voltage)。由於差分電壓是由兩電荷儲存式電晶體(110、120)所儲存的電荷差所導致，所以只要比較兩位元線BL、BLB之間的差分電壓，就可判斷資料位元為何。舉例來說，當記憶體單元 (100)所儲存的資料位元為0，位元線BL的電壓會低於位元線BLB的電壓；反之，當記憶體單元(100)所儲存的資料位元為1，位元線BL的電壓會高於位元線BLB的電壓。附帶一提，本專利中所提到的技術，還與來自在科學與工程有很大影響力的電機電子工程師學會(IEEE)中的一篇期刊有關，其標題為「B. Jayaraman et al., “80-kb Logic Embedded High-K Charge Trap Transistor-Based Multi-Time-Programmable Memory With No Added Process Complexity,” IEEE J. Solid-State Circuits, vol. 53, no. 3, pp. 949–960, Mar. 2018.」，有興趣的讀者不妨參考。心得: 耐能智慧為AI晶片領域嶄露頭角，其可重構NPU技術在AI邊緣運算中具有優勢。其專利創新包含多項技術，如低功耗動態定點深度神經網路和自調整模型壓縮方法等。此外，耐能智慧的記憶體單元技術更解決了傳統記憶體的尺寸和功耗問題，顯示了其在AI晶片領域的領先地位。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Patent/M.1715305518.A.9FF.html