狭路相逢勇者胜 – Google会用其Transformer专利控告ChatGPT？ https://bit.ly/45gV8LO 众所周知，这一波OpenAI夯遍全球的ChatGPT，系指一种基於生成式预训练转换模型 (Generative Pre-trained Transformer，简称GPT)，其字母中的「T」代表Transformer 即转换模型之意。然而，该Transformer模型中极为重要之「自注意力」 (Self-attention)，却并非由OpenAI所原创，而是由软体科技业的领头羊Google研究实验 室，所创造出来的大型语言模型之核心技术。 近年来Google一向积极建构AI相关智财，并以拥有众多AI相关专利组合技术着称。此 Google所创造出的Transformer模型，为这波聊天机器人在深度学习方面带来重大突破， 该转换模型神经网路(Transformer Neural Networks)关键技术，为ChatGPT-3打下强大基 础，更酝酿出众多生成式AI (Generative AI)，得以有今日的非凡成就，故此一 Transformer模型之自注意力机制，Google可谓是原始发明人。 按Google旗下科学家2017年在神经资讯处理系统（NIPS: Neural Information Processing Systems，後更名为NeuroIPS）会议上，发表一篇题为《Attention is All You Need》的开创性论文。截至2023年1月，该论文已被引用超过62,000次，成为AI领域 被引用次数最多的论文之一。Google不仅创造这项技术，还获得相关的专利，其中如极为 重要之US 10,452,978 B2专利[1]（以下称’978专利），是一件在专利布局上涵盖非常全 面的专利(请参本刊之前报导：Google Transformer模型专利 – ChatGPT自注意力机制之 重要推手)，其最早先透过美国临时案於2017年5月23日与2017年8月4日先行申请，然後在 2018年6月28日转为正式案申请，并在2019年10月22日被核准授予。 这意味着，Google可以透过诉讼来维权，从而挫败竞争对手。但，Google会用 Self-attention专利来挑战ChatGPT吗？值得关注。其实，根据别人论文中的技术来开发 应用，不一定就会侵犯到该技术中的专利，这还得看实际个案而定，但就Open AI之GPT中 Transformer模型的运用，的确带有一些’978专利申请范围内之特徵，但是否真的落入请 求项的范围，当然还需视Claim Construction的结果而定。具体而言，Google的’978专 利包含系统项、电脑储存媒介项与方法项，其中又以系统项涵盖层面最广，所以就系统项 之独立项1所记载的重要元件，再配合专利说明书中的实施例做统整，现试图用简单的方 式说明’978专利中Transformer模型的技术特徵。关於系统项的独立项1所记载的重点， 整理如下： 1. 系统包含一或多计算机，透过计算机执行指令一序列转导神经网路(Sequence Transduction Neural Network)，该序列转导神经网路将一输入序列转导为一输出序列 [2]； 2. 该序列转导神经网路包含一编码神经网路（其实就是编码器），用以接收该输入序列并产 生编码表示法（其实就是词嵌入(Word Embedding)[3]），以及一解码神经网路（其实就 是解码器），用以接收该编码表示法并产生该输出序列； 3. 该编码神经网路又包含一或多个编码器子网路(Encoder Subnetwork)，用以接收该编码表 示法并处理其对应的输入位置做位置嵌入(Positional Embedding)，而位置嵌入正是透过 编码器自注意力子层(Encoder Self-attention Sub-layer)所接收与执行；以及 4. 透过编码器子网路应用一自注意力机制，使多个输入位置而产生对应的个别输出，其中该 注意力机制又包含计算Q (Query)、K (Key)、V (Value)矩阵等三大步骤，最後将Q、K、V 矩阵计算完毕後而产生对应的个别输出。 关於’978专利的详细内涵，请参前揭文：「Google Transformer模型专利 – ChatGPT自 注意力机制之重要推手」。如从’978专利独立项1所揭露的技术内容来看，真的与 Transformer模型相关的技术特徵只有3与4。换言之，若把3和4抽离，’978专利可能就和 习知的深度学习神经网路没什麽两样。简单来说，Transformer模型的特色就是，透过结 合位置嵌入与自注意力机制的运作，而能够在冗长的输入序列中，做出很好的语言推理与 「理解」（或是「类理解」），例如机器翻译、人机对话，就是很好的应用场景。 过去AI发展因历经几波载沉载浮之影响，专利部署相对不那麽被重视，很多学术文献的发 表往往停留在概念验证阶段，而AI平台带来的典范转移(paradigm shifts)，也仅在少数 利基市场(niche markets)中发生，较少去实行专利货币化。至2014年AI迎来深度学习革 命性破口，於2015年深度神经网路包括图像辨识、语音识别等方面开始大幅超越人类，一 些企业才开始积极建构AI智财组合。而Google在AI相关之智财权保护很积极，其在收购 DeepMind後，将许多公开发表或习知概念申请专利[4]，随意简单检索其於WIPO的专利至 少即有数百多件，甚至 Alphabet子公司DeepMind，也拥有强大的IP智财组合，带动业者 纷纷起而效尤。 当时为了证明AI公司的估值合理，风险投资常会建议对一些核心技术申请专利，但10年前 由於仍受限於算力和晶片技术的影响，即便有再好的AI演算法，也难以透过当时的技术水 平，作出今日各领域令人惊艳的AI创新产品与服务，所以投资AI研发的风险仍大。因此， Google在对待处理许多AI新创时，可能遵循类似的思路，认为拿AI专利起诉别人或许无太 大的商业意义，而业界共同努力建立AI生态系统才是王道。换言之，长期以来Google的理 念，似乎是抱持着开放其研究成果(available as open source)，让外部研究人员用 Google开源的AI相关研究与程式码，继续迭代开发，而相对的，这样也有利於Google的产 品与服务，发展为属於Google自己的技术生态圈。 然而，近几个月来的情况似乎发生了些变化，随者ChatGPT、DALL-E、Midjourney等具突 破性典范转移工具席卷市场，在在挑战Google作为AI领域的主导地位，且甚至可能会削弱 其重要之搜寻引擎的业务时，Google领导阶层的态度可能略有改变，其领导阶层认为， Google在努力发布产品的同时，应将新技术保留在内部，DeepMind实验室研究人员皆认知 ：「是时候进行竞争，并将知识保留在公司内了(keep knowledge in-house)」。 Google迄未提告缘由 1 -- 专利正面之多赢战略思惟 基本上，在科技领域中专利常被拿来扞卫自家技术，实务上向来是业界的优先策略，以巩 固其市场上合法垄断之优势地位，同时也得以此对抗众多NPE专利怪兽。但OpenAI原先联 合创始人之一的Elon Musk，於2014年率先开放特斯拉的智财，将其所有专利组合开源 (open-sourcing)供业界使用，以防止在电动车领域中造成不公平竞争，顿时刷新科技业 界的三观。 影响所及，AI虽已发展了一甲子，现正处於重中之重的技术领域中，但不知为何相对较克 制，大幅布局AI相关专利，似非业界认为最优先的项目，即使像知名如OpenAI，似乎也未 就核心AI技术布局专利，如用「OpenAI」做检索似乎难以发现其所获准之专利（有人认为 系因OpenAI最初系非营利组织，较乏积极保护IP的商业思维）。 本质上言，各科技大咖最终都会创造出彼此可叠加互利之技术，彼此有把饼做大之 win-win双赢默契，以致於AI相关的专利申请更多是防御性措施考量，而非攻击性策略。 因此，或许Google的想法是，对软体框架开源供全世界RD一起开发，基於软体专利诉讼本 来不好打且经济效益不高，所以与其花时间成本挑起专利战，不如直接open source让所 有开发者习惯用Google的技术，使各家程式设计师自然成为Google的follower，这可能是 Google在专利与商业之间的战略思维[5]。 准此，Google在生成式AI的关键理论方面，虽然处於领先地位，并且在使用自注意力的核 心神经网路技术上占优势地位，但基於上述之「春秋大义」，因而暂不太可能对OpenAI采 取法律行动；由此也使业界俨然弥漫一股氛围，即AI生态系统应於整个科技领域中，让业 界人士共同努力互相奠基发展来达成，致力使AI世界变为更美好的多赢营运。 Google迄未提告缘由 2 -- AI专利诉讼先天困境 + 业界「恐怖平衡」 退一步言，纵使不是基於以上的高调理念，那为何科技公司已申请获准AI专利却较少去执 行？ 其实像美国这种动辄专利兴讼的国家，目前在AI技术领域中的诉讼，比起其他像手机或半 导体光电领域动辄有大量官司，兵戎相见的情况相对较少。按AI语言模型本身，本就是一 种利用软体执行演算法的产物，因难以检视竞争对手的产品以了解其程式开发的逻辑，所 以有时很难判断是否侵犯专利；再加上，诉讼中纵使透过证据开示取得程式码，但基於所 谓AI黑盒子(black box)难题--不知其所以然，举证上尚有许多不易克服之技术问题；尤 其是针对软体或演算法方面相关专利诉讼，将会面临专利法第101条适格标的（抽象概念 ）之障碍与挑战，经常使权利人提告後，赔了夫人又折兵--官司败诉专利又被无效[6]， 所以可能使业界不愿轻易发动诉讼。 基於此，Google虽得以诉讼执行专利，但侵权指控如不够精确，则该法律行动会产生高昂 法律成本，甚至可能导致自己的专利被无效。更何况，如Google起诉微软侵犯专利，微软 也可能会立即拿其他专利来反击Google，最後可能各自不得不鸣金收兵，这使得科技巨头 在AI各应用领域虽不断竞争，但彼此却又相互牵制，不轻易启动诉讼，故有论者用「互保 毁灭」(mutually assured destruction)的「恐怖平衡」来解释，为何Google还未使用这 些专利来对抗竞争对手的缘故，因此，Google或许暂不会就新兴生成AI技术卷入法律纠纷 ，因为诉讼本极具挑战，公司目前更应专注於如何将技术成功整合到现有业务中[7]。 有监於此，尽管Google涵盖AI许多领域拥有强大智财组合，并已拔得头筹获颁ChatGPT关 键之「基於注意力序列转导」(attention-based sequence transduction)之发明专利， 但似乎尚未打算在AI领域「展示」其IP实力。然而，随着生成式AI继续席卷市场，且微软 已将OpenAI工具整合到其庞大的产品生态系统中，在此种强大的竞争态势下，「战争与和 平」的板块是否将来会有所改变，亟有待观察。 战国群雄最终难免一战？ -- Google如日後才执行专利之潜在争议 另一种可能是，因ChatGPT才发行不久，而收费也不过是这几个月的事，所以Google不急 於此时提告，否则可预计损害赔偿金额也不高，何况这回合Google和微软之间的竞争，并 非像10年前Apple/Samsung/HTC间的手机大战，不是那种非得拼出个你死我活的生存战， 因此现在专利权人其实不急着提告，而可慢慢等将来ChatGPT销售数年之後再说。 假设Google的专利可能涵盖ChatGPT中的应用，则不论是一对一文义侵害全要件原则，还 是针对实质相同手段、达成实质相同功能而产生实质相同的结果所构成的均等论，依过去 美国专利诉讼中一般原告的立场，其实Google都可能挑出一些落入范围的使用来主张[8] ，但Google此时还按兵不动，继续保持观望的态度等个几年，那麽在法律上会衍生出一个 专利法的问题，即ChatGPT既已夯得震天价响而无人不知晓，因此身为专利权人的Google 显然知道此状况，如仍迟迟不提告，这在美国专利诉讼中，是否会有所谓「权利行使怠惰 」(Laches)的争议产生。 Google会构成失权效？专利请求权消灭时效 v. 权利行使怠惰 依美国专利法第35 U.S.C. § 286条规定，侵权损赔可以追溯6年，在此请求权消灭时效 (Statutory Limitations)期限内，皆得向侵权者主张回溯6年之损害赔偿。但另一方面与 此有关的观念是，美国案例法(Case Laws)中，还有一种称为「权利行使怠惰」之衡平抗 辩(Equitable Defense)，此种态样在实务上可构成被告的积极抗辩(Affirmative Defenses)，如权利人明知侵权却在权利上睡眠，导致其嗣後不得再主张，构成法律上的 一种「失权效」。 专利法上之权利行使怠惰，长久以来为美国侵权理论中的实务课题，针对原告权利人就侵 权之存在，事实上已知悉或可得而知(actual or constructive knowledge of the facts)，却不合理的延宕不主张权利而给予不利之对待。此权利行使怠惰抗辩之目的，系 为了防止专利权人在权利上怠惰，而让不知情的侵权者於多年後遭受突击，因时限拖长情 况变动对其在防御上，产生有失公平之负担或不利益，盖被告如能即早面对诉讼，发现侵 权可能时，商业上应让其有机会调整，技术上应让其转换或进行回避设计(Design Around)，或让其有机会作财务上应变，而不致在多年後突被告而措手不及。总之，为维 护法律安定与确定性，让鸡养大了再杀的思惟不可取，遂有此权利行使怠惰之抗辩产生。 美国最高法院之判例啓示 但也因此，消灭时效和权利怠惰，这二项法律概念间形成冲突，亦即纵使确实有权利怠惰 ，但是否仍可於请求权消灭时效内提告？专利权人明知被侵权而迟迟不告，延宕多时譬如 到了6年时效届满前二个月才起诉，是否仍得适用权利怠惰？关於这两者间之冲突，美国 在SCA Hygiene Products Aktiebolag v. First Quality Baby Products案中，专利权人 在法定6年内行使权利，但却遭CAFC巡回上诉法院认为，其行为构成权利怠惰而不得主张 专利，判定即使在请求权消灭时效内，仍得适用权利怠惰。 原告不服上诉後，最高法院在2016年核准听审(grant certiorari)，基於2014年 Petrella v. Metro-Goldwyn-Mayer案中，最高法院曾判定於着作权请求权消灭时效内， Laches不得再作为抗辩，惟Petrella案因系着作权而非专利，法院对此上诉案，针对权利 怠惰於专利请求权消灭时效内得否适用？着作权与专利权间应否有差别待遇？为避免不同 案例间有所杆格，才使得最高法院准予听审[9]。嗣於2017年最高法院驳回CAFC的判决， 认为国会既已於立法中明定6年请求权消灭时效而无其他限制，即不得任意额外再适用权 利怠惰抗辩，让6年法定消灭时效缩短，并明确表明智财中专利与着作权应有一致之标准 。 但另一方面，最高法院也未对「专利权人让鸡养大後再杀」的思惟背书，强调如同 Petrella案所述，纵使权利行使怠惰之抗辩无法适用，但普通法中(Common Law)之「衡平 禁反言抗辩」(Equitable Estoppel Defense)仍得发挥作用，亦即仍得视个案事实，检视 专利权人之行为有无违反禁反言，以抗衡专利权人先按兵不动，诱使侵权者继续投资侵权 商品，多年後予以突击衍生钜大赔偿诉讼，导致对其防御产生有失公平或不利益等种种情 况综合认定，故衡平禁反言原则仍得适用作为抗辩。 因此， ChatGPT只要继续被使用，从起诉日起算专利请求权都可回溯6年，也就是说，消 灭时效的6年优於权利怠惰的不行使，专利权人在期限中任何时候起诉，都不需担心权利 怠惰的问题。因此，Google只要其间无任何积极语言或行为可被认定为禁反言，即可好整 以暇等待市场大卖之後再来主张。 小结：山雨欲来？ 总之，Google目前尚未提告，仍处於西线无战事的阶段，将来如何尚不得而知，按照过去 惯例，各大企业当然都会继续针对生成式AI，积极开发产品与创新服务，同时也会继续做 好专利组合，以便将来即使被告也可累积筹码作为谈判和反制之工具，美国企业间各科技 大咖的合纵连横频繁，此消彼长向来变化莫测！况且科技发展充满变数，一哩之外都是迷 雾！因此，将来权利人是否提告的发展甚值关注，吾人且拭目以待。 [1] https://patents.google.com/patent/US10452978B2/en?oq=US10452978B2 [2] 转导或称转换，指将一种形式或讯号转换成另一种形式或讯号的过程。在Google的专 利中多次提到「序列转导 (sequence transduction)」，指的就是输入一段文字或语音序 列後，可转换为另一种形式的表示而被输出，即时翻译就是典型的序列转导行为。 [3] 所谓的词嵌入意味将单词予以编码成数值型态的向量来表示。 [4] 例如Dropout是用於解决深度学习模型中过度拟合的系统和方法，Google於2013、 2016和2019年向USPTO申请并已获准三项专利。 [5] 不过Google虽不告人，但在最近这一波生成式AI诉讼风波中，因树大招风其与母公司 Alphabet、兄弟公司DeepMind，还是不免被别人告着作权侵害和不正竞争等，系北加州地 院之J.L., C.B., K.S., et al., v. Alphabet, Inc., et al案(Case 3:23-cv-03440-LB Filed 07/11/23). [6] 美国几件与AI相关专家系统、机器学习、语音与图像辨识等演算法的专利诉讼个案， 如Vehicle Intelligence and Safety LLC v. Mercedes-Benz USA, LLC, Daimler AG 专 家系统案(Fed. Cir.2015), 78 F. Supp. 3d 884 (N.D. Ill. 2015); Blue Spike LLC v. Google, Inc. 讯号辨识系统案(No. 14-cv-01650-YGR; No. 16-1054 (Fed. Cir. 2016)); Purepredictive v. H20.AI, Inc 机器学习案(No. 17-cv-03049, N.D. Cal., Aug. 29, 2017); Word to Info v. Apple Siri语音识别/自然语言处理案(Case 2:17-cv-00592-JRG Document 1, 2017).以上好几件都通不过101适格标的之检验。 [7] 康乃尔大学法学教授Matthew D'Amore表示：在此领域申请专利需要克服很多障碍， 或许比智能手机时代还要困难…..，短期内暂时不会出现重大的法律冲突，因大型科技公 司都正忙於在此领域投入大量资金，且都知道各自都遵循相同的专利策略。 [8] 有趣的是，如向ChatGPT下指令询问，它「客气」的回应(甩锅？)：虽然GPT使用 Self-attention，但目前还不清楚Google的专利为何，也不知是否涵盖GPT架构中 Self-attention的使用。 [9] 美国最高法院对上诉案大部分并不会受理，通常只挑具有重大法律问题或意义的案件 才核准听审。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 203.145.192.245 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1691633542.A.902.html