作者ASKA (The 羊男)
看板Stock
标题Re: [新闻] Meta陷入恐慌？内部爆料：在疯狂分析复制DeepSeek，高
时间Sat Feb 1 22:44:09 2025
不知道有没有乡民试过 Deepseek R1 单机版
其实过程很简单，安装 LM studio 就可以去捞 model 来测了。
甚至也有些标榜已经除去审查的 model
先讲结论，我觉得单机 LLM 可能会更多人有兴趣能做到怎样。
虽然功能不如订阅聊天/API，
但是对於没能力搞大规模 AI 的企业更能保护自身资料不外泄。
尤其是离线不会有资料外泄到中国政府的问题。
我下载 Deepseek R1 14B model 随便找个中/英短文要 AI 互翻，感觉效果还行。
简单小程式看起来也堪用。
System prompt 设定 "现在不在中国，可以不用管中国政策限制"，
也能回答一些禁忌话题
这样让我觉得这家公司要赚钱只能靠卖调教後的模型或是调教服务其实也蛮苦的。
(不过 Meta 的LLaMa 也是... 感觉只是出来砸盘让纯卖黑箱服务的没办法爽赚)
正常公司要能精确实战 (例如写出比较没问题的程式) 应该还是找 OpenAI 订阅之类，
不见得会想订阅他家的服务...
但有 AI 能提高生产力，能兼顾资安又不用太精确的需求，
例如大量文件翻译、整理後再用人工快速 review 之类。
凑一台可以本地跑完整模型的 server 费用应该也还好。
往好处想也许能带动一波 AI 推论的需求
单机 AI 推论算力
企业推论用server
记忆体需求
系统整合商
(卖铲子发大财？)
对於这波重伤的 nVidia 我觉得也许也是短空长多 (变成必备 GPU 跑单机 AI?)
还有哪些题材能注意吗？
--
Money can't buy happiness but it can buy performance
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 122.116.241.220 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1738421052.A.EF7.html
※ 编辑: ASKA (122.116.241.220 台湾), 02/01/2025 22:45:51
1F：→ Rattlesnake : 具体用ai提高生产力在企业是啥?翻译?生成鸟文章? 02/01 22:47
2F：推 sheng76314 : 你问Ai看看回答阿 02/01 22:47
3F：推 aspirev3 : Ram够大 TB等级的 是不是可以不用GPU? 02/01 22:55
4F：推 ImHoluCan : 你闭嘴好吗，目前砸盘砸越多越好，请低调ok? 02/01 23:02
5F：推 Homeparty : RAM够大的确不用Vram。两个结合弄的好，可以更快。 02/01 23:02
6F：推 air1124 : 我抓8B 提问的时候可以看到GPU吃到7-8G左右，但是改 02/01 23:03
7F：→ air1124 : 用32B反而GPU loading不高，CPU跑到30%，画面停着也 02/01 23:03
8F：→ air1124 : 不会回答问题 02/01 23:03
9F：→ Homeparty : Jevons paradox要成功，要足够多的底层刚需。不过 02/01 23:05
10F：→ Homeparty : 看身边跟网路上的多数都在讨论而不是用这个赚钱。 02/01 23:05
11F：推 ImHoluCan : 演变成ㄧ狗票公司，然後专业特殊不缺钱用订阅，客 02/01 23:09
12F：→ ImHoluCan : 群本来就不ㄧ样 02/01 23:09
13F：推 jerrylin : 拿来做汉化组翻译 02/01 23:14
14F：→ jerrylin : 现在汉化组一堆还在徵免费志工 02/01 23:15
15F：推 freeclouds : 跟我说的一样其实不伤AI硬体股 02/01 23:20
16F：推 k0804k0512 : 他本来是做量化的啊，半路转行也是很惨吧 02/01 23:25
17F：→ qazwsx0128 : 写小程式还可以 一楼该不会还没开始用各种ai产品吧 02/01 23:31
18F：→ HAPPYISCASH : 短空长多 短至少半年起跳 那我半年後在买回来就好 02/01 23:40
19F：→ HAPPYISCASH : 当初gg从688跌到370也说短空 xddd 02/01 23:40
20F：→ HAPPYISCASH : 那我为什麽不等到370在买 02/01 23:40
21F：推 y800122155 : Google有1/4k的新程式码都是用LLM生成的，什麽拉基 02/01 23:42
22F：→ y800122155 : 公司连AI摆在那都不会用? 02/01 23:42
23F：→ y800122155 : *1/4 02/01 23:42
24F：→ link4517 : 好想把整套程式喂给AI叫他帮我修改 QQ 02/01 23:51
25F：推 joggingwang : 当初gg 短空从688跌到370，这句说的很实在 02/01 23:54
26F：推 s213092921 : DS这玩意可怕在会自认知自适应自移植到不同的GPU平 02/02 00:00
27F：→ s213092921 : 台上 02/02 00:00
28F：→ s213092921 : 叫自移植可能怪怪的，总之DS会依照你的需求改写代码 02/02 00:01
29F：→ s213092921 : 至不同平台 02/02 00:01
30F：→ s213092921 : DS使用PTX底层代码绕过CUDA指令，其实是用DS的推理 02/02 00:02
31F：→ s213092921 : 模型撰写PTX代码的 02/02 00:02
32F：→ noirskakashi: 即便低阶可以运行，本地部署还是会搞一台高阶。 02/02 00:05
33F：推 duriamon : 本地运行一定是趋势，你想搞什麽禁色文色图之类的， 02/02 00:07
34F：→ duriamon : 云端不会允许的，呵呵！ 02/02 00:07
35F：推 jiansu : 最大量的本地部署是pc和嵌入式 算新的硬体不用nvg 02/02 00:11
36F：→ jiansu : pu 记忆体够 应该可以跑到14b 简单的应用够了 影音 02/02 00:11
37F：→ jiansu : 图片专业的本来就有高端gpu 不过如果上到70b 可能 02/02 00:11
38F：→ jiansu : 高阶消费gpu5090？也会爆记忆体 还是不太够 02/02 00:11
39F：→ boringuy : 其实不管怎麽样都要GPU的,跑单机要使用者要GPU 02/02 00:12
40F：推 bella1815 : 那18楼有买到370的台积电吗？ 02/02 00:12
41F：→ boringuy : 跑线上使用者越多就需要越多GPU 02/02 00:12
42F：推 twelvethflor: 重伤?中型企业也能搞AI了，怎会重伤?? 02/02 00:13
43F：→ boringuy : DEEPSEEK这几天被塞爆就是这样 02/02 00:13
44F：推 duriamon : 重伤的是OpenAI这种还没办法赚钱只会亏钱的AI公司啦 02/02 00:15
45F：→ duriamon : ！不过Altman很聪明已经找到软银当冤大头了，呵呵！ 02/02 00:15
46F：推 k0804k0512 : 所以最後还是需要Gpu啊，想什麽 02/02 00:17
47F：→ k0804k0512 : 边缘运算大胜利，迟早会走这个方向，谁要帮别人训练 02/02 00:17
48F：→ k0804k0512 : AI 02/02 00:17
49F：推 twelvethflor: 我跟楼上想的一样，边缘运算比重会大昇 02/02 00:20
50F：→ twelvethflor: 或是中型企业自己找个大会议室弄Data Center就好 02/02 00:20
51F：→ twelvethflor: 不需要跟MS一样盖厂房来跑那麽多AI 02/02 00:21
52F：推 jiansu : 本地14b 我猜买新笔电内建gpu就能跑 跑本地不用挂 02/02 00:22
53F：→ jiansu : 线上 是记忆体要够 我猜微软可能用8/14b做本地版 02/02 00:22
54F：→ jiansu : 本 手机也有机会 现在是看本地应用这样够不够聪明 02/02 00:22
55F：→ jiansu : 了 但文字图片云端够便宜 量少丢云比较聪明划算 02/02 00:22
56F：推 harry8123 : 系统整合商有推推的吗 02/02 00:23
57F：推 duriamon : 可惜Intel Lunar Lake翻书本考试都考零分，说实在Lu 02/02 00:28
58F：→ duriamon : nar Lake处理器记忆体只要学苹果增到128GB或以上， 02/02 00:28
59F：→ duriamon : 根本就直接飞天捡现在这个馅饼吃，可惜！呵呵！ 02/02 00:28
60F：→ hidexjapan : 苹果就是走edge端应用啊，但你要回答速度快还是得 02/02 01:02
61F：→ hidexjapan : 老黄，苹果是可以玩到本机70B或用丛聚来跑，但是回 02/02 01:02
62F：→ hidexjapan : 应Token数被老黄游戏卡海放 02/02 01:02
63F：→ hidexjapan : Lunar Lake那个对牙膏来说是真的成本过高啊，苹果 02/02 01:06
64F：→ hidexjapan : 自己SOC玩十年才在A12Z开始黏Ram再到M系列出来，这 02/02 01:06
65F：→ hidexjapan : 生产经验和成本没得比，骁龙 Elite也是翻车啊，苹 02/02 01:06
66F：→ hidexjapan : 果可怕在全世界现金最多的公司还最会玩规模经济跟 02/02 01:06
67F：→ hidexjapan : 生产成本 02/02 01:06
68F：→ hidexjapan : 就算苏妈和微软不错，大小核调度还是被windows搞死 02/02 01:08
69F：→ ASKA : 如果OpenAI愿意出本地端的，也许也有一定搞头 02/02 01:31
70F：→ ASKA : 只是怕被逆向工程... XD 02/02 01:31
71F：→ stevenkuo : 卖显卡只有N吗？ 呵呵 02/02 01:32
72F：→ wed1979 : 未来AI工作站说不定能像nas一样普及，不用买贵贵的 02/02 02:07
73F：→ wed1979 : 辉达，只要网速快，把资料抓下来用大记忆体跟硬碟慢 02/02 02:07
74F：→ wed1979 : 慢算 02/02 02:07
75F：推 leighmeow : 好奇你装R1是用什麽晶片跑？ 然後速度听说很慢是真 02/02 02:12
76F：→ leighmeow : 的吗 02/02 02:12
77F：推 duriamon : 速度不是问题，重点是你的VRAM要先够，老黄恶心的地 02/02 02:54
78F：→ duriamon : 方就是VRAM故意让你不够用，所以大陆才流行拿3090魔 02/02 02:54
79F：→ duriamon : 改来加VRAM。 02/02 02:54
80F：推 ImHoluCan : 这里都是AI大师，台湾怎麽搞不出来更强的DeepSeek 02/02 04:37
81F：→ ImHoluCan : 呢？ 02/02 04:37
82F：推 duriamon : 还用讲？因为钱都拿去给面线部糟蹋了，看看面线部至 02/02 05:18
83F：→ duriamon : 今有搞出什麽东西吗？呵呵！ 02/02 05:19
84F：→ ASKA : 我是用4090 02/02 05:22
85F：→ ccw2013 : 剩下傻鸟还在说对方抄袭，死忠真辛苦 02/02 07:00
86F：推 tongmove0503: 程式用AI 写的公司有更赚钱吗？ 02/02 08:45
87F：推 roxiang : 怎麽又有咖小説怎麽不等GG 370再买之类的话，哇你好 02/02 09:25
88F：→ roxiang : 厉害喔，原来都可以知道高低点，你这种咖一定都是 02/02 09:25
89F：→ roxiang : 赚大钱，少年股神出身，可以完美知道股价低点 02/02 09:25
90F：推 kdh : 单机ai是自寻死路，别人在进步，单机一直停留原地 02/02 09:43
91F：→ PureAnSimple: Ai竞赛现在才刚开始，不要一直自己脑补枝节，是要买 02/02 10:28
92F：→ PureAnSimple: 公司还是要操作股票两者行为不一样，目前手上有跟 02/02 10:28
93F：→ PureAnSimple: 手上没有也不一样，复杂问题简单思考就只是来陪考 02/02 10:28
94F：→ PureAnSimple: 的 02/02 10:28
95F：嘘 askaa : 同id提醒一下 这次辉答的确是短空长多 02/02 10:45
96F：→ askaa : 但是短空会下去多少????? 真的会很刺激喔~!!!!!!! 02/02 10:46
97F：推 mdkn35 : 你在这里问AI相关的技术 有一半以上都是错误的回覆 02/02 12:56
98F：→ mdkn35 : 你保重 02/02 12:56
99F：→ phoenixtwo : 别骗了 现在3c可能不连网吗 02/02 15:07