Soft_Job 板


LINE

https://simonwillison.net/2023/Mar/11/llama/ https://simonwillison.net/2023/Mar/13/alpaca/ Simon Willison提到,很快大家都会有自己的ai助手。 看时间轴: 24th February 2023: LLaMA is announced, starts being shared with academic partners: https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/ 2nd March: Someone posts a PR with a BitTorrent link to the models: https://github.com/facebookresearch/llama/pull/73 10th March: First commit to llama.cpp by Georgi Gerganov: https://github.com/ggerganov/llama.cpp 11th March: llama.cpp now runs the 7B model on a 4GB RaspberryPi: https://twitter.com/miolini/status/1634982361757790209 12th March: npx dalai llama: https://cocktailpeanut.github.io/dalai/ 13th March (today): llama.cpp on a Pixel 6 phone: https://twitter.com/thiteanish/status/1635188333705043969 And now, Alpaca. https://crfm.stanford.edu/2023/03/13/alpaca.html ------------------------------------------ 详细想法与内容就请看simon willison的部落格。 我是蛮认同这想法的,LLM(Large Language Model)很快就会普及。 https://cocktailpeanut.github.io/dalai/#/ 自动安装的script都出了。LLaMA的Inference在现代多核CPU跑是可行的,现在优化速度也很快。 离ChatGPT,GPT4还有一段距离,但很够用了,而且整个网路一起发展,可能很快就追上也不一定。我虽然最近超忙,但都想找时间看能不能移植到OpenCL。 我觉得LLM最大的好处是summerize(总结) 例如之前讨论手刻Make的问题。 Make是偶而一用,真的容易忘记指令跟功能,也就不容易发现问题。 LLM在这就很适合帮忙,把make档给它,解释总结,很快就能发现问题,就不须要找很难找到的Make专家。 虽然LLM容易"hallucinate"但用LLM写个简单的Make档案当个开头也很好。 Code看不懂,用太多不明functions?LLM来帮忙。 ffmpeg参数太多太复杂?LLM写给你。 这是当年google横空出世让网路好用起来。再一次大感动。大家真的可以好好追踪这个发展。可以自己控制的LLM,可以发展的功能太多了。 --
QR Code



※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.224.232.158 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1678856174.A.098.html
1F:推 create8: 推 03/15 17:38
2F:→ superpandal: 看过 没试过 不过可以看别人的感想 03/15 18:09
3F:→ superpandal: ffmpeg参数... 你还是要仔细看文档 03/15 18:12
4F:推 ptta: 这真的很神,从此regexp都给它写 03/15 18:46
5F:推 hizuki: 看看它能不能正确处理GNU make和旧Android Make的差异 03/15 18:49
6F:→ hizuki: make出问题,很多时候其实和shell环境有关,比如突然csh 03/15 18:50
7F:→ superpandal: 写regex会是不错应用 但指令说实话一堆文档没有的 03/15 18:50
8F:→ superpandal: 文档没有的 你也不知道可以这样用 03/15 18:50
9F:→ superpandal: makefile要分析整个专案了 03/15 18:51
10F:→ superpandal: makefile可定义选项 03/15 19:04
11F:→ Hsins: 而且有人用 4GB RAM 的树莓派就跑起来了 03/15 19:40
12F:→ superpandal: 观望中 听说效能不好 03/15 19:55
13F:→ oopFoo: pc的效能不错。RPI是10秒一个token,pc是秒内几个token 03/15 20:22
14F:→ oopFoo: declarative的程式,LLM比较会处理。只要补喂正确的资料, 03/15 20:23
15F:→ oopFoo: android/gnu make都可以分析。最近看好多应用都蛮有趣的 03/15 20:30
16F:→ oopFoo: 当然没有的功能,问LLM,它会幻想给你,但这是小问题 03/15 20:33
17F:→ superpandal: 测了一下web demo时间很久又答非所问 03/15 20:39
18F:→ superpandal: 还会error... 03/15 20:40
19F:推 v86861062: 推推 03/15 22:33
20F:推 CoNsTaR: 有没有哪个 ai 是会分清楚什麽时候该幻想什麽时候不该幻 03/16 04:17
21F:→ CoNsTaR: 想的 03/16 04:17
22F:推 CoNsTaR: 以前问过 clang format 的 rule,ChatGPT 幻想了一个给 03/16 04:21
23F:→ CoNsTaR: 我,我还问他这个 rule 是那个版本加入的,要怎麽用 etc 03/16 04:21
24F:→ CoNsTaR: 结果所有东西都是他幻想出来的,浪费了我十分钟 03/16 04:21
25F:推 AzureRW: 做比较重要的东西时要叫他给出处 多方比较後才采用 03/16 07:36
26F:→ AzureRW: 我想这也是为 03/16 07:36
27F:→ AzureRW: 毛该禁止ai写stack overflow跟wiki或技术文章 未来 03/16 07:36
28F:→ AzureRW: 整个池子被污 03/16 07:36
29F:→ AzureRW: 染之後可能会根本不知道哪里是ai自己乱唬烂的 03/16 07:36
30F:推 wsad50232: 原Po是Google派来的吗? 03/16 08:28
31F:推 ouskit: 可以跑跟跑的好是两回事 03/16 14:02
32F:→ oopFoo: Meta说LLaMA-13B可比GPT3的175B。 03/16 15:35
33F:→ oopFoo: 目前都是最简单的CPU优化。刚开始Pixel6需要26秒/token 03/16 15:38
34F:→ oopFoo: 前几天已经5token/秒。各家版本飞速进步中。 03/16 15:39
35F:→ oopFoo: LLMs的"幻想"是内建,目前没办法,只能後续查证。 03/16 15:40
36F:推 lastpost: 这些直接问chatGPT就好了,为何要自己弄? 03/17 17:56
37F:→ Hsins: 差别在一个是在大公司商用伺服器上,一个则是可以自己用消 03/17 18:13
38F:→ Hsins: 费型主机搭建。当初 Hadoop 的兴盛也是因为可以使用消费型 03/17 18:13
39F:→ Hsins: 主机作为运算丛集,真的能发展起来的话是很有价值的 03/17 18:13
40F:推 jay123peter: 推 03/17 22:36
41F:→ oopFoo: chatGPT是通用的chat,但自己的,如Alpaca你可以训练特化 03/18 10:16
42F:→ oopFoo: 的instruction tuning。更适合自己的用途。 03/18 10:17
43F:→ oopFoo: https://github.com/antimatter15/alpaca.cpp 03/18 21:56
44F:→ oopFoo: windows可以玩,自己编译7B版,13B版应该很快就来了。 03/18 21:57







like.gif 您可能会有兴趣的文章
icon.png[问题/行为] 猫晚上进房间会不会有憋尿问题
icon.pngRe: [闲聊] 选了错误的女孩成为魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一张
icon.png[心得] EMS高领长版毛衣.墨小楼MC1002
icon.png[分享] 丹龙隔热纸GE55+33+22
icon.png[问题] 清洗洗衣机
icon.png[寻物] 窗台下的空间
icon.png[闲聊] 双极の女神1 木魔爵
icon.png[售车] 新竹 1997 march 1297cc 白色 四门
icon.png[讨论] 能从照片感受到摄影者心情吗
icon.png[狂贺] 贺贺贺贺 贺!岛村卯月!总选举NO.1
icon.png[难过] 羡慕白皮肤的女生
icon.png阅读文章
icon.png[黑特]
icon.png[问题] SBK S1安装於安全帽位置
icon.png[分享] 旧woo100绝版开箱!!
icon.pngRe: [无言] 关於小包卫生纸
icon.png[开箱] E5-2683V3 RX480Strix 快睿C1 简单测试
icon.png[心得] 苍の海贼龙 地狱 执行者16PT
icon.png[售车] 1999年Virage iO 1.8EXi
icon.png[心得] 挑战33 LV10 狮子座pt solo
icon.png[闲聊] 手把手教你不被桶之新手主购教学
icon.png[分享] Civic Type R 量产版官方照无预警流出
icon.png[售车] Golf 4 2.0 银色 自排
icon.png[出售] Graco提篮汽座(有底座)2000元诚可议
icon.png[问题] 请问补牙材质掉了还能再补吗?(台中半年内
icon.png[问题] 44th 单曲 生写竟然都给重复的啊啊!
icon.png[心得] 华南红卡/icash 核卡
icon.png[问题] 拔牙矫正这样正常吗
icon.png[赠送] 老莫高业 初业 102年版
icon.png[情报] 三大行动支付 本季掀战火
icon.png[宝宝] 博客来Amos水蜡笔5/1特价五折
icon.pngRe: [心得] 新鲜人一些面试分享
icon.png[心得] 苍の海贼龙 地狱 麒麟25PT
icon.pngRe: [闲聊] (君の名は。雷慎入) 君名二创漫画翻译
icon.pngRe: [闲聊] OGN中场影片:失踪人口局 (英文字幕)
icon.png[问题] 台湾大哥大4G讯号差
icon.png[出售] [全国]全新千寻侘草LED灯, 水草

请输入看板名称,例如:Soft_Job站内搜寻

TOP