狹路相逢勇者勝 – Google會用其Transformer專利控告ChatGPT？ https://bit.ly/45gV8LO 眾所周知，這一波OpenAI夯遍全球的ChatGPT，係指一種基於生成式預訓練轉換模型 (Generative Pre-trained Transformer，簡稱GPT)，其字母中的「T」代表Transformer 即轉換模型之意。然而，該Transformer模型中極為重要之「自注意力」 (Self-attention)，卻並非由OpenAI所原創，而是由軟體科技業的領頭羊Google研究實驗 室，所創造出來的大型語言模型之核心技術。 近年來Google一向積極建構AI相關智財，並以擁有眾多AI相關專利組合技術著稱。此 Google所創造出的Transformer模型，為這波聊天機器人在深度學習方面帶來重大突破， 該轉換模型神經網路(Transformer Neural Networks)關鍵技術，為ChatGPT-3打下強大基 礎，更醞釀出眾多生成式AI (Generative AI)，得以有今日的非凡成就，故此一 Transformer模型之自注意力機制，Google可謂是原始發明人。 按Google旗下科學家2017年在神經資訊處理系統（NIPS: Neural Information Processing Systems，後更名為NeuroIPS）會議上，發表一篇題為《Attention is All You Need》的開創性論文。截至2023年1月，該論文已被引用超過62,000次，成為AI領域 被引用次數最多的論文之一。Google不僅創造這項技術，還獲得相關的專利，其中如極為 重要之US 10,452,978 B2專利[1]（以下稱’978專利），是一件在專利佈局上涵蓋非常全 面的專利(請參本刊之前報導：Google Transformer模型專利 – ChatGPT自注意力機制之 重要推手)，其最早先透過美國臨時案於2017年5月23日與2017年8月4日先行申請，然後在 2018年6月28日轉為正式案申請，並在2019年10月22日被核准授予。 這意味著，Google可以透過訴訟來維權，從而挫敗競爭對手。但，Google會用 Self-attention專利來挑戰ChatGPT嗎？值得關注。其實，根據別人論文中的技術來開發 應用，不一定就會侵犯到該技術中的專利，這還得看實際個案而定，但就Open AI之GPT中 Transformer模型的運用，的確帶有一些’978專利申請範圍內之特徵，但是否真的落入請 求項的範圍，當然還需視Claim Construction的結果而定。具體而言，Google的’978專 利包含系統項、電腦儲存媒介項與方法項，其中又以系統項涵蓋層面最廣，所以就系統項 之獨立項1所記載的重要元件，再配合專利說明書中的實施例做統整，現試圖用簡單的方 式說明’978專利中Transformer模型的技術特徵。關於系統項的獨立項1所記載的重點， 整理如下： 1. 系統包含一或多計算機，透過計算機執行指令一序列轉導神經網路(Sequence Transduction Neural Network)，該序列轉導神經網路將一輸入序列轉導為一輸出序列 [2]； 2. 該序列轉導神經網路包含一編碼神經網路（其實就是編碼器），用以接收該輸入序列並產 生編碼表示法（其實就是詞嵌入(Word Embedding)[3]），以及一解碼神經網路（其實就 是解碼器），用以接收該編碼表示法並產生該輸出序列； 3. 該編碼神經網路又包含一或多個編碼器子網路(Encoder Subnetwork)，用以接收該編碼表 示法並處理其對應的輸入位置做位置嵌入(Positional Embedding)，而位置嵌入正是透過 編碼器自注意力子層(Encoder Self-attention Sub-layer)所接收與執行；以及 4. 透過編碼器子網路應用一自注意力機制，使多個輸入位置而產生對應的個別輸出，其中該 注意力機制又包含計算Q (Query)、K (Key)、V (Value)矩陣等三大步驟，最後將Q、K、V 矩陣計算完畢後而產生對應的個別輸出。 關於’978專利的詳細內涵，請參前揭文：「Google Transformer模型專利 – ChatGPT自 注意力機制之重要推手」。如從’978專利獨立項1所揭露的技術內容來看，真的與 Transformer模型相關的技術特徵只有3與4。換言之，若把3和4抽離，’978專利可能就和 習知的深度學習神經網路沒什麼兩樣。簡單來說，Transformer模型的特色就是，透過結 合位置嵌入與自注意力機制的運作，而能夠在冗長的輸入序列中，做出很好的語言推理與 「理解」（或是「類理解」），例如機器翻譯、人機對話，就是很好的應用場景。 過去AI發展因歷經幾波載沉載浮之影響，專利部署相對不那麼被重視，很多學術文獻的發 表往往停留在概念驗證階段，而AI平台帶來的典範轉移(paradigm shifts)，也僅在少數 利基市場(niche markets)中發生，較少去實行專利貨幣化。至2014年AI迎來深度學習革 命性破口，於2015年深度神經網路包括圖像辨識、語音識別等方面開始大幅超越人類，一 些企業才開始積極建構AI智財組合。而Google在AI相關之智財權保護很積極，其在收購 DeepMind後，將許多公開發表或習知概念申請專利[4]，隨意簡單檢索其於WIPO的專利至 少即有數百多件，甚至 Alphabet子公司DeepMind，也擁有強大的IP智財組合，帶動業者 紛紛起而效尤。 當時為了證明AI公司的估值合理，風險投資常會建議對一些核心技術申請專利，但10年前 由於仍受限於算力和晶片技術的影響，即便有再好的AI演算法，也難以透過當時的技術水 平，作出今日各領域令人驚豔的AI創新產品與服務，所以投資AI研發的風險仍大。因此， Google在對待處理許多AI新創時，可能遵循類似的思路，認為拿AI專利起訴別人或許無太 大的商業意義，而業界共同努力建立AI生態系統才是王道。換言之，長期以來Google的理 念，似乎是抱持著開放其研究成果(available as open source)，讓外部研究人員用 Google開源的AI相關研究與程式碼，繼續迭代開發，而相對的，這樣也有利於Google的產 品與服務，發展為屬於Google自己的技術生態圈。 然而，近幾個月來的情況似乎發生了些變化，隨者ChatGPT、DALL-E、Midjourney等具突 破性典範轉移工具席捲市場，在在挑戰Google作為AI領域的主導地位，且甚至可能會削弱 其重要之搜尋引擎的業務時，Google領導階層的態度可能略有改變，其領導階層認為， Google在努力發布產品的同時，應將新技術保留在內部，DeepMind實驗室研究人員皆認知 ：「是時候進行競爭，並將知識保留在公司內了(keep knowledge in-house)」。 Google迄未提告緣由 1 -- 專利正面之多贏戰略思惟 基本上，在科技領域中專利常被拿來捍衛自家技術，實務上向來是業界的優先策略，以鞏 固其市場上合法壟斷之優勢地位，同時也得以此對抗眾多NPE專利怪獸。但OpenAI原先聯 合創始人之一的Elon Musk，於2014年率先開放特斯拉的智財，將其所有專利組合開源 (open-sourcing)供業界使用，以防止在電動車領域中造成不公平競爭，頓時刷新科技業 界的三觀。 影響所及，AI雖已發展了一甲子，現正處於重中之重的技術領域中，但不知為何相對較克 制，大幅佈局AI相關專利，似非業界認為最優先的項目，即使像知名如OpenAI，似乎也未 就核心AI技術布局專利，如用「OpenAI」做檢索似乎難以發現其所獲准之專利（有人認為 係因OpenAI最初係非營利組織，較乏積極保護IP的商業思維）。 本質上言，各科技大咖最終都會創造出彼此可疊加互利之技術，彼此有把餅做大之 win-win雙贏默契，以致於AI相關的專利申請更多是防禦性措施考量，而非攻擊性策略。 因此，或許Google的想法是，對軟體框架開源供全世界RD一起開發，基於軟體專利訴訟本 來不好打且經濟效益不高，所以與其花時間成本挑起專利戰，不如直接open source讓所 有開發者習慣用Google的技術，使各家程式設計師自然成為Google的follower，這可能是 Google在專利與商業之間的戰略思維[5]。 準此，Google在生成式AI的關鍵理論方面，雖然處於領先地位，並且在使用自注意力的核 心神經網路技術上占優勢地位，但基於上述之「春秋大義」，因而暫不太可能對OpenAI採 取法律行動；由此也使業界儼然瀰漫一股氛圍，即AI生態系統應於整個科技領域中，讓業 界人士共同努力互相奠基發展來達成，致力使AI世界變為更美好的多贏營運。 Google迄未提告緣由 2 -- AI專利訴訟先天困境 + 業界「恐怖平衡」 退一步言，縱使不是基於以上的高調理念，那為何科技公司已申請獲准AI專利卻較少去執 行？ 其實像美國這種動輒專利興訟的國家，目前在AI技術領域中的訴訟，比起其他像手機或半 導體光電領域動輒有大量官司，兵戎相見的情況相對較少。按AI語言模型本身，本就是一 種利用軟體執行演算法的產物，因難以檢視競爭對手的產品以了解其程式開發的邏輯，所 以有時很難判斷是否侵犯專利；再加上，訴訟中縱使透過證據開示取得程式碼，但基於所 謂AI黑盒子(black box)難題--不知其所以然，舉證上尚有許多不易克服之技術問題；尤 其是針對軟體或演算法方面相關專利訴訟，將會面臨專利法第101條適格標的（抽象概念 ）之障礙與挑戰，經常使權利人提告後，賠了夫人又折兵--官司敗訴專利又被無效[6]， 所以可能使業界不願輕易發動訴訟。 基於此，Google雖得以訴訟執行專利，但侵權指控如不夠精確，則該法律行動會產生高昂 法律成本，甚至可能導致自己的專利被無效。更何況，如Google起訴微軟侵犯專利，微軟 也可能會立即拿其他專利來反擊Google，最後可能各自不得不鳴金收兵，這使得科技巨頭 在AI各應用領域雖不斷競爭，但彼此卻又相互牽制，不輕易啟動訴訟，故有論者用「互保 毀滅」(mutually assured destruction)的「恐怖平衡」來解釋，為何Google還未使用這 些專利來對抗競爭對手的緣故，因此，Google或許暫不會就新興生成AI技術捲入法律糾紛 ，因為訴訟本極具挑戰，公司目前更應專注於如何將技術成功整合到現有業務中[7]。 有鑑於此，儘管Google涵蓋AI許多領域擁有強大智財組合，並已拔得頭籌獲頒ChatGPT關 鍵之「基於注意力序列轉導」(attention-based sequence transduction)之發明專利， 但似乎尚未打算在AI領域「展示」其IP實力。然而，隨著生成式AI繼續席捲市場，且微軟 已將OpenAI工具整合到其龐大的產品生態系統中，在此種強大的競爭態勢下，「戰爭與和 平」的板塊是否將來會有所改變，亟有待觀察。 戰國群雄最終難免一戰？ -- Google如日後才執行專利之潛在爭議 另一種可能是，因ChatGPT才發行不久，而收費也不過是這幾個月的事，所以Google不急 於此時提告，否則可預計損害賠償金額也不高，何況這回合Google和微軟之間的競爭，並 非像10年前Apple/Samsung/HTC間的手機大戰，不是那種非得拼出個你死我活的生存戰， 因此現在專利權人其實不急著提告，而可慢慢等將來ChatGPT銷售數年之後再說。 假設Google的專利可能涵蓋ChatGPT中的應用，則不論是一對一文義侵害全要件原則，還 是針對實質相同手段、達成實質相同功能而產生實質相同的結果所構成的均等論，依過去 美國專利訴訟中一般原告的立場，其實Google都可能挑出一些落入範圍的使用來主張[8] ，但Google此時還按兵不動，繼續保持觀望的態度等個幾年，那麼在法律上會衍生出一個 專利法的問題，即ChatGPT既已夯得震天價響而無人不知曉，因此身為專利權人的Google 顯然知道此狀況，如仍遲遲不提告，這在美國專利訴訟中，是否會有所謂「權利行使怠惰 」(Laches)的爭議產生。 Google會構成失權效？專利請求權消滅時效 v. 權利行使怠惰 依美國專利法第35 U.S.C. § 286條規定，侵權損賠可以追溯6年，在此請求權消滅時效 (Statutory Limitations)期限內，皆得向侵權者主張回溯6年之損害賠償。但另一方面與 此有關的觀念是，美國案例法(Case Laws)中，還有一種稱為「權利行使怠惰」之衡平抗 辯(Equitable Defense)，此種態樣在實務上可構成被告的積極抗辯(Affirmative Defenses)，如權利人明知侵權卻在權利上睡眠，導致其嗣後不得再主張，構成法律上的 一種「失權效」。 專利法上之權利行使怠惰，長久以來為美國侵權理論中的實務課題，針對原告權利人就侵 權之存在，事實上已知悉或可得而知(actual or constructive knowledge of the facts)，卻不合理的延宕不主張權利而給予不利之對待。此權利行使怠惰抗辯之目的，係 為了防止專利權人在權利上怠惰，而讓不知情的侵權者於多年後遭受突擊，因時限拖長情 況變動對其在防禦上，產生有失公平之負擔或不利益，蓋被告如能即早面對訴訟，發現侵 權可能時，商業上應讓其有機會調整，技術上應讓其轉換或進行迴避設計(Design Around)，或讓其有機會作財務上應變，而不致在多年後突被告而措手不及。總之，為維 護法律安定與確定性，讓雞養大了再殺的思惟不可取，遂有此權利行使怠惰之抗辯產生。 美國最高法院之判例啓示 但也因此，消滅時效和權利怠惰，這二項法律概念間形成衝突，亦即縱使確實有權利怠惰 ，但是否仍可於請求權消滅時效內提告？專利權人明知被侵權而遲遲不告，延宕多時譬如 到了6年時效屆滿前二個月才起訴，是否仍得適用權利怠惰？關於這兩者間之衝突，美國 在SCA Hygiene Products Aktiebolag v. First Quality Baby Products案中，專利權人 在法定6年內行使權利，但卻遭CAFC巡迴上訴法院認為，其行為構成權利怠惰而不得主張 專利，判定即使在請求權消滅時效內，仍得適用權利怠惰。 原告不服上訴後，最高法院在2016年核准聽審(grant certiorari)，基於2014年 Petrella v. Metro-Goldwyn-Mayer案中，最高法院曾判定於著作權請求權消滅時效內， Laches不得再作為抗辯，惟Petrella案因係著作權而非專利，法院對此上訴案，針對權利 怠惰於專利請求權消滅時效內得否適用？著作權與專利權間應否有差別待遇？為避免不同 案例間有所杆格，才使得最高法院准予聽審[9]。嗣於2017年最高法院駁回CAFC的判決， 認為國會既已於立法中明定6年請求權消滅時效而無其他限制，即不得任意額外再適用權 利怠惰抗辯，讓6年法定消滅時效縮短，並明確表明智財中專利與著作權應有一致之標準 。 但另一方面，最高法院也未對「專利權人讓雞養大後再殺」的思惟背書，強調如同 Petrella案所述，縱使權利行使怠惰之抗辯無法適用，但普通法中(Common Law)之「衡平 禁反言抗辯」(Equitable Estoppel Defense)仍得發揮作用，亦即仍得視個案事實，檢視 專利權人之行為有無違反禁反言，以抗衡專利權人先按兵不動，誘使侵權者繼續投資侵權 商品，多年後予以突擊衍生鉅大賠償訴訟，導致對其防禦產生有失公平或不利益等種種情 況綜合認定，故衡平禁反言原則仍得適用作為抗辯。 因此， ChatGPT只要繼續被使用，從起訴日起算專利請求權都可回溯6年，也就是說，消 滅時效的6年優於權利怠惰的不行使，專利權人在期限中任何時候起訴，都不需擔心權利 怠惰的問題。因此，Google只要其間無任何積極語言或行為可被認定為禁反言，即可好整 以暇等待市場大賣之後再來主張。 小結：山雨欲來？ 總之，Google目前尚未提告，仍處於西線無戰事的階段，將來如何尚不得而知，按照過去 慣例，各大企業當然都會繼續針對生成式AI，積極開發產品與創新服務，同時也會繼續做 好專利組合，以便將來即使被告也可累積籌碼作為談判和反制之工具，美國企業間各科技 大咖的合縱連橫頻繁，此消彼長向來變化莫測！況且科技發展充滿變數，一哩之外都是迷 霧！因此，將來權利人是否提告的發展甚值關注，吾人且拭目以待。 [1] https://patents.google.com/patent/US10452978B2/en?oq=US10452978B2 [2] 轉導或稱轉換，指將一種形式或訊號轉換成另一種形式或訊號的過程。在Google的專 利中多次提到「序列轉導 (sequence transduction)」，指的就是輸入一段文字或語音序 列後，可轉換為另一種形式的表示而被輸出，即時翻譯就是典型的序列轉導行為。 [3] 所謂的詞嵌入意味將單詞予以編碼成數值型態的向量來表示。 [4] 例如Dropout是用於解決深度學習模型中過度擬合的系統和方法，Google於2013、 2016和2019年向USPTO申請並已獲准三項專利。 [5] 不過Google雖不告人，但在最近這一波生成式AI訴訟風波中，因樹大招風其與母公司 Alphabet、兄弟公司DeepMind，還是不免被別人告著作權侵害和不正競爭等，係北加州地 院之J.L., C.B., K.S., et al., v. Alphabet, Inc., et al案(Case 3:23-cv-03440-LB Filed 07/11/23). [6] 美國幾件與AI相關專家系統、機器學習、語音與圖像辨識等演算法的專利訴訟個案， 如Vehicle Intelligence and Safety LLC v. Mercedes-Benz USA, LLC, Daimler AG 專 家系統案(Fed. Cir.2015), 78 F. Supp. 3d 884 (N.D. Ill. 2015); Blue Spike LLC v. Google, Inc. 訊號辨識系統案(No. 14-cv-01650-YGR; No. 16-1054 (Fed. Cir. 2016)); Purepredictive v. H20.AI, Inc 機器學習案(No. 17-cv-03049, N.D. Cal., Aug. 29, 2017); Word to Info v. Apple Siri語音識別/自然語言處理案(Case 2:17-cv-00592-JRG Document 1, 2017).以上好幾件都通不過101適格標的之檢驗。 [7] 康乃爾大學法學教授Matthew D'Amore表示：在此領域申請專利需要克服很多障礙， 或許比智能手機時代還要困難…..，短期內暫時不會出現重大的法律衝突，因大型科技公 司都正忙於在此領域投入大量資金，且都知道各自都遵循相同的專利策略。 [8] 有趣的是，如向ChatGPT下指令詢問，它「客氣」的回應(甩鍋？)：雖然GPT使用 Self-attention，但目前還不清楚Google的專利為何，也不知是否涵蓋GPT架構中 Self-attention的使用。 [9] 美國最高法院對上訴案大部分並不會受理，通常只挑具有重大法律問題或意義的案件 才核准聽審。 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Tech_Job/M.1691633542.A.902.html