作者oopFoo (3d)
看板Soft_Job
标题[讨论] LLM即将像Stable Diffusion普及
时间Wed Mar 15 12:56:02 2023
https://simonwillison.net/2023/Mar/11/llama/
https://simonwillison.net/2023/Mar/13/alpaca/
Simon Willison提到,很快大家都会有自己的ai助手。
看时间轴:
24th February 2023: LLaMA is announced, starts being shared with academic partners:
https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
2nd March: Someone posts a PR with a BitTorrent link to the models:
https://github.com/facebookresearch/llama/pull/73
10th March: First commit to llama.cpp by Georgi Gerganov:
https://github.com/ggerganov/llama.cpp
11th March: llama.cpp now runs the 7B model on a 4GB RaspberryPi:
https://twitter.com/miolini/status/1634982361757790209
12th March: npx dalai llama:
https://cocktailpeanut.github.io/dalai/
13th March (today): llama.cpp on a Pixel 6 phone:
https://twitter.com/thiteanish/status/1635188333705043969
And now, Alpaca.
https://crfm.stanford.edu/2023/03/13/alpaca.html
------------------------------------------
详细想法与内容就请看simon willison的部落格。
我是蛮认同这想法的,LLM(Large Language Model)很快就会普及。
https://cocktailpeanut.github.io/dalai/#/
自动安装的script都出了。LLaMA的Inference在现代多核CPU跑是可行的,现在优化速度也很快。
离ChatGPT,GPT4还有一段距离,但很够用了,而且整个网路一起发展,可能很快就追上也不一定。我虽然最近超忙,但都想找时间看能不能移植到OpenCL。
我觉得LLM最大的好处是summerize(总结)
例如之前讨论手刻Make的问题。
Make是偶而一用,真的容易忘记指令跟功能,也就不容易发现问题。
LLM在这就很适合帮忙,把make档给它,解释总结,很快就能发现问题,就不须要找很难找到的Make专家。
虽然LLM容易"hallucinate"但用LLM写个简单的Make档案当个开头也很好。
Code看不懂,用太多不明functions?LLM来帮忙。
ffmpeg参数太多太复杂?LLM写给你。
这是当年google横空出世让网路好用起来。再一次大感动。大家真的可以好好追踪这个发展。可以自己控制的LLM,可以发展的功能太多了。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.224.232.158 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1678856174.A.098.html
1F:推 create8: 推 03/15 17:38
2F:→ superpandal: 看过 没试过 不过可以看别人的感想 03/15 18:09
3F:→ superpandal: ffmpeg参数... 你还是要仔细看文档 03/15 18:12
4F:推 ptta: 这真的很神,从此regexp都给它写 03/15 18:46
5F:推 hizuki: 看看它能不能正确处理GNU make和旧Android Make的差异 03/15 18:49
6F:→ hizuki: make出问题,很多时候其实和shell环境有关,比如突然csh 03/15 18:50
7F:→ superpandal: 写regex会是不错应用 但指令说实话一堆文档没有的 03/15 18:50
8F:→ superpandal: 文档没有的 你也不知道可以这样用 03/15 18:50
9F:→ superpandal: makefile要分析整个专案了 03/15 18:51
10F:→ superpandal: makefile可定义选项 03/15 19:04
11F:→ Hsins: 而且有人用 4GB RAM 的树莓派就跑起来了 03/15 19:40
12F:→ superpandal: 观望中 听说效能不好 03/15 19:55
13F:→ oopFoo: pc的效能不错。RPI是10秒一个token,pc是秒内几个token 03/15 20:22
14F:→ oopFoo: declarative的程式,LLM比较会处理。只要补喂正确的资料, 03/15 20:23
15F:→ oopFoo: android/gnu make都可以分析。最近看好多应用都蛮有趣的 03/15 20:30
16F:→ oopFoo: 当然没有的功能,问LLM,它会幻想给你,但这是小问题 03/15 20:33
17F:→ superpandal: 测了一下web demo时间很久又答非所问 03/15 20:39
18F:→ superpandal: 还会error... 03/15 20:40
19F:推 v86861062: 推推 03/15 22:33
20F:推 CoNsTaR: 有没有哪个 ai 是会分清楚什麽时候该幻想什麽时候不该幻 03/16 04:17
21F:→ CoNsTaR: 想的 03/16 04:17
22F:推 CoNsTaR: 以前问过 clang format 的 rule,ChatGPT 幻想了一个给 03/16 04:21
23F:→ CoNsTaR: 我,我还问他这个 rule 是那个版本加入的,要怎麽用 etc 03/16 04:21
24F:→ CoNsTaR: 结果所有东西都是他幻想出来的,浪费了我十分钟 03/16 04:21
25F:推 AzureRW: 做比较重要的东西时要叫他给出处 多方比较後才采用 03/16 07:36
26F:→ AzureRW: 我想这也是为 03/16 07:36
27F:→ AzureRW: 毛该禁止ai写stack overflow跟wiki或技术文章 未来 03/16 07:36
28F:→ AzureRW: 整个池子被污 03/16 07:36
29F:→ AzureRW: 染之後可能会根本不知道哪里是ai自己乱唬烂的 03/16 07:36
30F:推 wsad50232: 原Po是Google派来的吗? 03/16 08:28
31F:推 ouskit: 可以跑跟跑的好是两回事 03/16 14:02
32F:→ oopFoo: Meta说LLaMA-13B可比GPT3的175B。 03/16 15:35
33F:→ oopFoo: 目前都是最简单的CPU优化。刚开始Pixel6需要26秒/token 03/16 15:38
34F:→ oopFoo: 前几天已经5token/秒。各家版本飞速进步中。 03/16 15:39
35F:→ oopFoo: LLMs的"幻想"是内建,目前没办法,只能後续查证。 03/16 15:40
36F:推 lastpost: 这些直接问chatGPT就好了,为何要自己弄? 03/17 17:56
37F:→ Hsins: 差别在一个是在大公司商用伺服器上,一个则是可以自己用消 03/17 18:13
38F:→ Hsins: 费型主机搭建。当初 Hadoop 的兴盛也是因为可以使用消费型 03/17 18:13
39F:→ Hsins: 主机作为运算丛集,真的能发展起来的话是很有价值的 03/17 18:13
40F:推 jay123peter: 推 03/17 22:36
41F:→ oopFoo: chatGPT是通用的chat,但自己的,如Alpaca你可以训练特化 03/18 10:16
42F:→ oopFoo: 的instruction tuning。更适合自己的用途。 03/18 10:17
44F:→ oopFoo: windows可以玩,自己编译7B版,13B版应该很快就来了。 03/18 21:57