作者ZMTL (Zaious.)
看板AI_Art
標題[LLMs] Google: 我們沒有護城河,OpenAI也沒有
時間Fri May 5 10:52:08 2023
原文:
https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
翻譯:(from 蕭上農)
https://www.facebook.com/hinet/posts/10159737636048318
先點幾段我自己認為很重要的段落,再來談我的心得:
"- 當免費、不受限制的替代品在品質上相當時,人們不會為受限制的模型付費。我們應
該考慮我們真正的價值所在。"
"矛盾的是,在這一切中唯一明確的贏家是 Meta。因為洩漏的模型是他們的,他們有效地
獲得了整個星球的免費勞動力。由於大多數開源創新都是在他們的架構之上進行的,因此
沒有任何阻礙他們將其直接納入產品中。"
"我們越是嚴格控制我們的模型,就越能使開放式替代方案更具吸引力。Google和OpenAI
都傾向於採取防禦性的發布模式,以便保持對其模型使用方式的嚴格控制。但這種控制是
虛幻的。任何想要將LLMs用於未經授權的目的的人都可以隨意選擇免費提供的模型。"
"最重要的是,他們已經解決了擴展問題,以至於任何人都可以進行調整。許多新想法來
自普通人。進行培訓和實驗的門檻已從一個主要研究機構的總產出降至一個人、一個晚上
和一台強大的筆記型電腦。"
"LoRA是一種非常強大的技術,我們可能應該更加關注它。"
-
這篇文蠻有趣的,縱使無法證實真的是Google內部文件,也縱使發布者不同意這個觀點。
先不論Lama(Meta公司的語言模型)的洩漏到底是不是Meta找免費義工的陰謀論,
但實際上,當Google與OpenAI限制那些NSFW內容、
Apple甚至因為隱私及政確問題不敢踏足生成式AI時,只會催生更多更開放的語言模型。
尤其是當我們笑某國因為恐怖的言論管制,
其實不太可能發展出像是GPT這麼智慧的語言模型時,顯然有些人也不滿意GPT的"管制"。
過往我(以及很多人)在介紹StableDiffusion相對於Midjourney的優勢,
說的都是「Stable Diffusion每天不知道有數以萬計的工程師在免費維護跟改進它」,
而最早Stable Diffusion的效果遠不如Midjourney,
到如今已經變成各佔半壁江山的主流繪圖軟體,有無數插件外掛。
如今Lama衍生系已經百花齊放,
雖然其中的佼佼者目前也就勉強勾到GPT3.5(ChatGPT)的邊,但繼續發展下去也只是遲早。
而當所有的原始碼開放時,這個世界已經回不到過去了,
沒有人能停下來AI的發展,就算各國都祭出嚴格法規,
那也只是讓AI發展轉入地下,變成另一個暗網,更不受監管、不受限制。
最後,Lora真的是一個很恐怖的技術,是AI發展的重要推手之一,
我覺得好像該盡可能地去理解它了...
--
AI_Art AI藝術與創作板 歡迎各方前來討論AIGC創作與相關議題!
AI情報屋營業中
噗浪:
https://www.plurk.com/Zaious
IG :
https://www.instagram.com/zaious.design/
日曆:
https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.250.61.231 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1683255131.A.4CA.html
※ 編輯: ZMTL (60.250.61.231 臺灣), 05/05/2023 10:52:36
1F:推 Vulpix: LoRA就是一個高效的修改方式。看到那個低秩的矩陣能做到這 05/05 12:31
2F:→ Vulpix: 樣的程度,整個人都開心起來了。 05/05 12:31
3F:推 herculus6502: 推,同感 05/05 15:49
4F:推 avans: 在過去我以為LoRA僅用於繪圖模型,後來注意到LLaMA的修改版 05/05 16:07
5F:→ avans: 也是用LoRA去客製化的,才知道LoRA是如此偉大的設計 05/05 16:07
6F:推 reader2714: 沒想到LoRA的技術還能用到那邊去.. 05/05 18:02
7F:推 cybermeow: 反了 lora本來就是語言模型來的 XD 05/06 03:24
8F:→ cybermeow: 所以才會有一開始sd lora沒有convolutional layer而弄 05/06 03:25
9F:→ cybermeow: 出locon這件事情 05/06 03:25
10F:推 Jotarun: 某幾樓 LoRa的全名先了解一下 05/06 04:33
11F:推 Destiny6: 查LoRA很容易出現通訊的LoRa... 05/06 11:14
12F:推 Vulpix: 要追加關鍵字 stable diffusion。有點意外 SD 的維基居然 05/06 21:47
13F:→ Vulpix: 沒有編到。 05/06 21:47