作者MA40433 (Masa)
看板Stock
标题[新闻] NV推出个人版Chat With RTX 开放下载
时间Thu Feb 15 08:34:56 2024
原文标题：
NVIDIA 推出个人 AI 聊天机器人 Chat With RTX 开放下载
原文连结：
https://reurl.cc/zlOepV
发布时间：
2024-02-14
记者署名：
SINCHEN
原文内容：
聊天机器人在各种领域中被广泛使用，并且不少采用 NVIDIA GPU 的云端伺服器提供服务
，但对於个人的敏感资料或者企业内部使用的状况下，NVIDIA 推出 Chat with RTX 基於
本机的 RTX GPU 提供生成 AI 的聊天机器人服务。
Chat with RTX 采用检索增强生成（Retrieval-Augmented Generation, RAG）、NVIDIA
TensorRT-LLM 软体与 NVIDIA RTX 加速的本地端生成 AI，玩家可依据本地的资料连结至
开源的大型语言模型库：Mistral、Llama 2，达到快速的查询并获得相关答案。
此外，Chat with RTX 工具支援着 .txt、.pdf、.doc、.docx 与 .xml 等文档格式，能
将这些本地资料加入资料库中，并且可加入 YouTube 影片、播放清单，让聊天机器人可
根据喜爱的影片清单提供相关的整理资讯。
Chat with RTX 基於 PC 或者工作站电脑提供本地快速的生成 AI 聊天互动功能，使用者
的资料只会储存在本地端的资料库中，只要使用 GeForce RTX 30、RTX 40 系列 GPU 并
有着 8GB VRAM 以上的规格，在 Windows 10、11 等作业系统都可运行。
Chat with RTX 工具基於 TensorRT-LLM RAG 开发人员参考专案所建立并於 GitHub 中开
源释出，开发者可依据此专案自行研发自有的 RAG 应用程式，并采用 RTX 加速的
TensorRT-LLM 语言模型。
Chat With RTX 下载：nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
安装完毕後 Chat with RTX 必须要指定文件、资料，才能依据这些资料透过 AI 模型生
成相关的对话，像是我指定有关於 RTX 40 Super 的资料後，就可以询问关於 NVIDIA、
RTX 40 等问题。
换句话说若个人或企业的资料够庞大时，可让 Chat with RTX 的 AI 模型有着更好的资
料比对产生出关连度更高的结果；有兴趣的玩家不妨下载安装并提供资料，如此一来个人
的本地端生成 AI 聊天机器人就开始上工罗。
心得/评论：
已经有很多部落客对此有评论了
1. 整个下载包预计35G 非常大 要先把硬碟空间清出来
只支援RTX30或40系列显卡 而且至少要8G VRAM
2. 及时运行速度很快 而且采用RAG可以很快校正答案
3. 跟GPT一样 有些答案根本是胡扯 所以使用者还是要自己小心
感觉NV想给PC产业做个示范
以前有搭载GTX1050以上的 才叫做 Gaming PC，
现在刀客直接示范甚麽叫做 AI PC
先让使用者有感觉
然後各大PC品牌就会自己放入符合规范的产品
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.200.31.215 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1707957298.A.697.html
1F：→ knives : 没用，准备泡沫破裂 02/15 08:35
2F：推 CaTkinGG : 去年买4080很值得 02/15 08:39
3F：→ jc761128 : !!!! 02/15 08:44
4F：→ jc761128 : 3060 12G可以用惹吧 02/15 08:44
5F：→ piece1 : 继续加卖显卡...真的不会输! 02/15 08:44
6F：→ losage : 35g叫非常大？？ 02/15 08:44
7F：→ Alwen : 就本来啥的ai pc 有装中高阶显卡的就是惹 02/15 08:47
8F：→ Alwen : 牙膏在那讲啥npu 真的笑死 02/15 08:48
9F：推 dulldog : AI PC是Intel不甘寂寞跑出来的名词 02/15 08:49
10F：推 seemoon2000 : 我还以为是VRAM要35G 02/15 08:55
11F：嘘 a000000000 : 8G ram能跑的不会是太大的model所以蠢很正常 02/15 09:01
12F：推 xm3u4vmp6 : Ai pc 最强的就MacBook 啊 02/15 09:06
13F：推 fedona : amd 崩溃 02/15 09:08
14F：推 AMDsucks : 是在hello? 02/15 09:23
15F：推 supereva : 35g哪里大…. 有在用rtx显卡玩游戏的 随便也1t 02/15 09:23
16F：→ supereva : 2t 02/15 09:23
17F：→ supereva : 现在随便一个大作都80-100g + 02/15 09:24
18F：推 jeff22aa22 : 2024年35G绝对不算大 02/15 09:26
19F：推 strlen : G叔：乾！你居然敢阴我？ 02/15 09:27
20F：推 Retangle : 会买RTX8G显卡的哪个硬碟没2T 02/15 09:28
21F：推 wacoal : 35G放到2024 根本3.5G而已，现在随便个大作都80起跳 02/15 09:29
22F：→ TomChu : 随便一个游戏都超过35G了 02/15 09:30
23F：推 wujiarong : 才10个A片的容量… 02/15 09:33
24F：推 DMW : 应该标榜说可以跟你家的显卡聊天，像Hololive生成一 02/15 09:34
25F：→ DMW : 个虚拟图像 02/15 09:34
26F：推 zoze : RTX准备卖爆 02/15 09:36
27F：推 simpson083 : 35g大？游戏都80多g以上了 笔者是脱节多久了 02/15 09:40
28F：推 stlinman : 有Tensor加速就是爽! 02/15 09:40
29F：推 GooglePixel : 跟虚拟老婆聊天 满足阿宅幻想 02/15 09:42
30F：→ strlen : 以後人人都可以自己做一只neruo-sama 02/15 09:43
31F：→ howzming : 可能我很落伍,觉得用文字搜寻比较有效率. 02/15 09:45
32F：推 SRNOB : 你是一只可爱的猫娘 我说什麽都要听令 02/15 09:56
33F：推 horseorange : 等快一个月终於开放了 02/15 10:00
34F：推 ALiGoo : 应该是竟然只要35g吧 02/15 10:07
35F：推 k862479k : 提早下班回家陪rtx老婆指日可待 02/15 10:27
36F：推 mike8469 : 35G 很小吧….. 02/15 10:27
37F：推 chrischiu : AIPC对生活有帮助吗？ 02/15 10:34
38F：推 yinaser : 体验比Chatgpt差很多 02/15 11:03
39F：推 bitcch : 50系列该给多一点ram了吧 02/15 11:12
40F：推 SYUAN0301 : 用30.40系显卡的，有几个没7.80g以上的单机大作， 02/15 11:26
41F：→ SYUAN0301 : 30多g真的还好 02/15 11:26
42F：→ fatb : 电脑很小 手机很大 02/15 11:28
43F：推 hcwang1126 : 这超屌 不会说事後发现有些东西偷偷上传给伟哥吧？ 02/15 11:30
44F：推 maxty : 完了NV怕不是要1000了 02/15 11:52
45F：推 Hettt5655 : 35G超小 02/15 11:58
46F：→ Zepho : 有网页版chatgpt 干嘛自己装地端版的？ 02/15 13:49
47F：→ LDPC : 楼上 因为今年流行priviate data本地端跑 02/15 14:00
48F：→ LDPC : 且本地端对做Reg有优势 02/15 14:00
49F：→ patrickptt : 可以麻烦AI机器人 做一件事 吗？把未来10年内，每 02/15 14:23
50F：→ patrickptt : 日，AI的新闻，都先列出来吗？ 02/15 14:23
51F：推 chrischiu : Nvidia 自己开发的不行吧 02/15 17:08