作者ZMTL (Zaious.)
看板AI_Art
标题[LLMs] Google: 我们没有护城河,OpenAI也没有
时间Fri May 5 10:52:08 2023
原文:
https://www.semianalysis.com/p/google-we-have-no-moat-and-neither
翻译:(from 萧上农)
https://www.facebook.com/hinet/posts/10159737636048318
先点几段我自己认为很重要的段落,再来谈我的心得:
"- 当免费、不受限制的替代品在品质上相当时,人们不会为受限制的模型付费。我们应
该考虑我们真正的价值所在。"
"矛盾的是,在这一切中唯一明确的赢家是 Meta。因为泄漏的模型是他们的,他们有效地
获得了整个星球的免费劳动力。由於大多数开源创新都是在他们的架构之上进行的,因此
没有任何阻碍他们将其直接纳入产品中。"
"我们越是严格控制我们的模型,就越能使开放式替代方案更具吸引力。Google和OpenAI
都倾向於采取防御性的发布模式,以便保持对其模型使用方式的严格控制。但这种控制是
虚幻的。任何想要将LLMs用於未经授权的目的的人都可以随意选择免费提供的模型。"
"最重要的是,他们已经解决了扩展问题,以至於任何人都可以进行调整。许多新想法来
自普通人。进行培训和实验的门槛已从一个主要研究机构的总产出降至一个人、一个晚上
和一台强大的笔记型电脑。"
"LoRA是一种非常强大的技术,我们可能应该更加关注它。"
-
这篇文蛮有趣的,纵使无法证实真的是Google内部文件,也纵使发布者不同意这个观点。
先不论Lama(Meta公司的语言模型)的泄漏到底是不是Meta找免费义工的阴谋论,
但实际上,当Google与OpenAI限制那些NSFW内容、
Apple甚至因为隐私及政确问题不敢踏足生成式AI时,只会催生更多更开放的语言模型。
尤其是当我们笑某国因为恐怖的言论管制,
其实不太可能发展出像是GPT这麽智慧的语言模型时,显然有些人也不满意GPT的"管制"。
过往我(以及很多人)在介绍StableDiffusion相对於Midjourney的优势,
说的都是「Stable Diffusion每天不知道有数以万计的工程师在免费维护跟改进它」,
而最早Stable Diffusion的效果远不如Midjourney,
到如今已经变成各占半壁江山的主流绘图软体,有无数插件外挂。
如今Lama衍生系已经百花齐放,
虽然其中的佼佼者目前也就勉强勾到GPT3.5(ChatGPT)的边,但继续发展下去也只是迟早。
而当所有的原始码开放时,这个世界已经回不到过去了,
没有人能停下来AI的发展,就算各国都祭出严格法规,
那也只是让AI发展转入地下,变成另一个暗网,更不受监管、不受限制。
最後,Lora真的是一个很恐怖的技术,是AI发展的重要推手之一,
我觉得好像该尽可能地去理解它了...
--
AI_Art AI艺术与创作板 欢迎各方前来讨论AIGC创作与相关议题!
AI情报屋营业中
噗浪:
https://www.plurk.com/Zaious
IG :
https://www.instagram.com/zaious.design/
日历:
https://zaious.notion.site/zaious/22c0024eceed4bdc88588b8db41e6ec4
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 60.250.61.231 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1683255131.A.4CA.html
※ 编辑: ZMTL (60.250.61.231 台湾), 05/05/2023 10:52:36
1F:推 Vulpix: LoRA就是一个高效的修改方式。看到那个低秩的矩阵能做到这 05/05 12:31
2F:→ Vulpix: 样的程度,整个人都开心起来了。 05/05 12:31
3F:推 herculus6502: 推,同感 05/05 15:49
4F:推 avans: 在过去我以为LoRA仅用於绘图模型,後来注意到LLaMA的修改版 05/05 16:07
5F:→ avans: 也是用LoRA去客制化的,才知道LoRA是如此伟大的设计 05/05 16:07
6F:推 reader2714: 没想到LoRA的技术还能用到那边去.. 05/05 18:02
7F:推 cybermeow: 反了 lora本来就是语言模型来的 XD 05/06 03:24
8F:→ cybermeow: 所以才会有一开始sd lora没有convolutional layer而弄 05/06 03:25
9F:→ cybermeow: 出locon这件事情 05/06 03:25
10F:推 Jotarun: 某几楼 LoRa的全名先了解一下 05/06 04:33
11F:推 Destiny6: 查LoRA很容易出现通讯的LoRa... 05/06 11:14
12F:推 Vulpix: 要追加关键字 stable diffusion。有点意外 SD 的维基居然 05/06 21:47
13F:→ Vulpix: 没有编到。 05/06 21:47