AI晶片技术专利系列六 - AI晶片的後起之秀：可重构NPU 原文网址: https://bit.ly/4aduAxg 原文: 本系列前五篇，已经介绍2.5D和3D相关的半导体先进封装技术专利，但有鉴於生成式AI推 出後，已经将AI晶片又推向另外一波高峰。为了满足AI运算所需要的高运算力、低功耗、 单位面积上容纳更多的电晶体、更贴近应用在AI等特殊应用的积体电路，因此在CPU、GPU 之後，TPU与NPU等晶片应运而生。 大家耳熟能详的NVIDIA、AMD、Intel、Qualcomm、Google、Apple、联发科等知名大型科 技公司，都有自己的AI晶片设计事业体，这些大咖在半导体三巨头台积电、英特尔与三星 电子外，就晶片堆叠技术各自撑起一片天，但也另有一些後起之秀继续加入赛道之中，例 如台湾的半导体新创「耐能智慧」，就是一家AI晶片领域的上游IC设计公司，近年来成功 吸引半导体业界焦点，而且还打进美国处理器晶片大厂高通(Qualcomm)的产品线，除获得 如阿里巴巴、李嘉诚、鸿海、中华开发等知名创投或科技大厂的投资外，更获得台积电、 辉达等半导体界大咖力挺。 有别於辉达的GPU，耐能智慧研发出比GPU更具竞争力的「可重构NPU」（Reconfigurable Artificial Neural-network Processing Unit，可重构神经网路处理器），并强攻AI边 缘运算。所谓可重构NPU，是指一种具有特定功能的处理器，支援Transformer神经网路架 构，它在AI的应用上具有比GPU更便宜、耗能低、体积小、更即时推理、低延迟等优点， 加上边缘运算重隐私与安全，该NPU架构晶片将带动终端用之生成式AI。 截至目前笔者在写本篇文章之时间点，耐能智慧目前也累积了一些已获证或正在申请中的 相关专利，举例来说，US11663464B2的「可重构硬体设计中低精度动态定点深度神经网络 」(Deep neural network with low-precision dynamic fixed-point in reconfigurable hardware design)、US20240078432A1的「用於重建深度神经网路和电子 设备的自调整模型压缩方法」(Self-tuning model compression methodology for reconfiguring deep neural network and electronic device)、TWI634488B的「神经网 路的简化装置和简化方法以及用於简化神经网路的非暂时性电脑可读储存介质」、 TW201939357A的「移动装置及其整合人脸辨识系统」、TWI738048B的「算数框架系统及操 作浮点至定点算数框架的方法」等与AI、电脑视觉和影像处理领域逾30余项国际专利。 笔者以专用於预测专利价值的AI系统-Lupix [1]，将耐能智慧官网所述的「耐能是可重构 NPU领域的领导者，…提出动态存储DMA提升记忆体访问效率，以及动态支持同一个神经网 路的不同数据精度需求，使得NPU晶片有ASIC高性能而又不牺牲数据密集型演算法的可编 程性。…可以支持同时运行CNN和Transformer网路，既可做机器视觉，也可运行语义分析 …」文本内容後，找到近10年相对具有市场价值的专利，一件专利标题为「具有电荷存储 式电晶体的记忆体单元及其操作方法」（以下称本专利），其台湾专利号为TWI717033B， 而对应的美国专利号为US10839893B2(Memory cell with charge trap transistors and method thereof capable of storing data by trapping or detrapping charges)，分 别於2021/01/21和2020/11/17获证。根据AI系统Lupix的推断，其当下的专利价值的PR值 为93也就是说，本专利的专利价值在机电领域中赢过93%的相关专利，包含半导体、IC设 计、光电、网路通讯、车用电子、封装测试等专利文献。 本专利大致上记载电晶体结构与其存取电荷的操作方法，可使记忆体得以具有更低功耗、 更微缩积体电路的尺寸，进而又能实现高性能记忆体等优点，而解决了传统如SRAM或快闪 记忆体所需的大尺寸、高功耗、高制程复杂度等许多问题。 如图1所示，本专利揭露一种记忆体单元(100)，包括两电荷储存式电晶体(charge trap transistor，110、120)，其可为N型MOSFET或N型鳍式FET(FinFET)；再如图2与图3所示， 图2是对应图1中的电荷储存式电晶(110)的电路结构，而图3是对应图1中的电荷储存式电 晶体(120)的电路结构，其中介电层(116)系由如HfO2或HfSiOx等高材料所构成，并耦接至 字元线WL。 根据本专利的权利保护范围来看，此技术的特点在於，只要透过简单的记忆体单元(100) 所构成的两位元线BL、BLB，即可轻易读取出储存的资料位元为0或1。在读取操作期间， 字元线WL与讯号线SL被充电到系统电压VDD时，并对位元线BL、BLB同时放电，使位元线BL 、BLB之间产生差分电压(differential voltage)。 由於差分电压是由两电荷储存式电晶体(110、120)所储存的电荷差所导致，所以只要比较 两位元线BL、BLB之间的差分电压，就可判断资料位元为何。举例来说，当记忆体单元 (100)所储存的资料位元为0，位元线BL的电压会低於位元线BLB的电压；反之，当记忆体 单元(100)所储存的资料位元为1，位元线BL的电压会高於位元线BLB的电压。 附带一提，本专利中所提到的技术，还与来自在科学与工程有很大影响力的电机电子工程 师学会(IEEE)中的一篇期刊有关，其标题为「B. Jayaraman et al., “80-kb Logic Embedded High-K Charge Trap Transistor-Based Multi-Time-Programmable Memory With No Added Process Complexity,” IEEE J. Solid-State Circuits, vol. 53, no. 3, pp. 949–960, Mar. 2018.」，有兴趣的读者不妨参考。 心得: 耐能智慧为AI晶片领域崭露头角，其可重构NPU技术在AI边缘运算中具有优势。其专利创 新包含多项技术，如低功耗动态定点深度神经网路和自调整模型压缩方法等。此外，耐能 智慧的记忆体单元技术更解决了传统记忆体的尺寸和功耗问题，显示了其在AI晶片领域的 领先地位。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.145.192.245 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Patent/M.1715305518.A.9FF.html