作者MA40433 (Masa)
看板Stock
標題[新聞] NV推出個人版Chat With RTX 開放下載
時間Thu Feb 15 08:34:56 2024
原文標題:
NVIDIA 推出個人 AI 聊天機器人 Chat With RTX 開放下載
原文連結:
https://reurl.cc/zlOepV
發布時間:
2024-02-14
記者署名:
SINCHEN
原文內容:
聊天機器人在各種領域中被廣泛使用,並且不少採用 NVIDIA GPU 的雲端伺服器提供服務
,但對於個人的敏感資料或者企業內部使用的狀況下,NVIDIA 推出 Chat with RTX 基於
本機的 RTX GPU 提供生成 AI 的聊天機器人服務。
Chat with RTX 採用檢索增強生成(Retrieval-Augmented Generation, RAG)、NVIDIA
TensorRT-LLM 軟體與 NVIDIA RTX 加速的本地端生成 AI,玩家可依據本地的資料連結至
開源的大型語言模型庫:Mistral、Llama 2,達到快速的查詢並獲得相關答案。
此外,Chat with RTX 工具支援著 .txt、.pdf、.doc、.docx 與 .xml 等文檔格式,能
將這些本地資料加入資料庫中,並且可加入 YouTube 影片、播放清單,讓聊天機器人可
根據喜愛的影片清單提供相關的整理資訊。
Chat with RTX 基於 PC 或者工作站電腦提供本地快速的生成 AI 聊天互動功能,使用者
的資料只會儲存在本地端的資料庫中,只要使用 GeForce RTX 30、RTX 40 系列 GPU 並
有著 8GB VRAM 以上的規格,在 Windows 10、11 等作業系統都可運行。
Chat with RTX 工具基於 TensorRT-LLM RAG 開發人員參考專案所建立並於 GitHub 中開
源釋出,開發者可依據此專案自行研發自有的 RAG 應用程式,並採用 RTX 加速的
TensorRT-LLM 語言模型。
Chat With RTX 下載:nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
安裝完畢後 Chat with RTX 必須要指定文件、資料,才能依據這些資料透過 AI 模型生
成相關的對話,像是我指定有關於 RTX 40 Super 的資料後,就可以詢問關於 NVIDIA、
RTX 40 等問題。
換句話說若個人或企業的資料夠龐大時,可讓 Chat with RTX 的 AI 模型有著更好的資
料比對產生出關連度更高的結果;有興趣的玩家不妨下載安裝並提供資料,如此一來個人
的本地端生成 AI 聊天機器人就開始上工囉。
心得/評論:
已經有很多部落客對此有評論了
1. 整個下載包預計35G 非常大 要先把硬碟空間清出來
只支援RTX30或40系列顯卡 而且至少要8G VRAM
2. 及時運行速度很快 而且採用RAG可以很快校正答案
3. 跟GPT一樣 有些答案根本是胡扯 所以使用者還是要自己小心
感覺NV想給PC產業做個示範
以前有搭載GTX1050以上的 才叫做 Gaming PC,
現在刀客直接示範甚麼叫做 AI PC
先讓使用者有感覺
然後各大PC品牌就會自己放入符合規範的產品
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.200.31.215 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1707957298.A.697.html
1F:→ knives : 沒用,準備泡沫破裂 02/15 08:35
2F:推 CaTkinGG : 去年買4080很值得 02/15 08:39
3F:→ jc761128 : !!!! 02/15 08:44
4F:→ jc761128 : 3060 12G可以用惹吧 02/15 08:44
5F:→ piece1 : 繼續加賣顯卡...真的不會輸! 02/15 08:44
6F:→ losage : 35g叫非常大?? 02/15 08:44
7F:→ Alwen : 就本來啥的ai pc 有裝中高階顯卡的就是惹 02/15 08:47
8F:→ Alwen : 牙膏在那講啥npu 真的笑死 02/15 08:48
9F:推 dulldog : AI PC是Intel不甘寂寞跑出來的名詞 02/15 08:49
10F:推 seemoon2000 : 我還以為是VRAM要35G 02/15 08:55
11F:噓 a000000000 : 8G ram能跑的不會是太大的model所以蠢很正常 02/15 09:01
12F:推 xm3u4vmp6 : Ai pc 最強的就MacBook 啊 02/15 09:06
13F:推 fedona : amd 崩潰 02/15 09:08
14F:推 AMDsucks : 是在hello? 02/15 09:23
15F:推 supereva : 35g哪裡大…. 有在用rtx顯卡玩遊戲的 隨便也1t 02/15 09:23
16F:→ supereva : 2t 02/15 09:23
17F:→ supereva : 現在隨便一個大作都80-100g + 02/15 09:24
18F:推 jeff22aa22 : 2024年35G絕對不算大 02/15 09:26
19F:推 strlen : G叔:乾!你居然敢陰我? 02/15 09:27
20F:推 Retangle : 會買RTX8G顯卡的哪個硬碟沒2T 02/15 09:28
21F:推 wacoal : 35G放到2024 根本3.5G而已,現在隨便個大作都80起跳 02/15 09:29
22F:→ TomChu : 隨便一個遊戲都超過35G了 02/15 09:30
23F:推 wujiarong : 才10個A片的容量… 02/15 09:33
24F:推 DMW : 應該標榜說可以跟你家的顯卡聊天,像Hololive生成一 02/15 09:34
25F:→ DMW : 個虛擬圖像 02/15 09:34
26F:推 zoze : RTX準備賣爆 02/15 09:36
27F:推 simpson083 : 35g大?遊戲都80多g以上了 筆者是脫節多久了 02/15 09:40
28F:推 stlinman : 有Tensor加速就是爽! 02/15 09:40
29F:推 GooglePixel : 跟虛擬老婆聊天 滿足阿宅幻想 02/15 09:42
30F:→ strlen : 以後人人都可以自己做一隻neruo-sama 02/15 09:43
31F:→ howzming : 可能我很落伍,覺得用文字搜尋比較有效率. 02/15 09:45
32F:推 SRNOB : 你是一隻可愛的貓娘 我說什麼都要聽令 02/15 09:56
33F:推 horseorange : 等快一個月終於開放了 02/15 10:00
34F:推 ALiGoo : 應該是竟然只要35g吧 02/15 10:07
35F:推 k862479k : 提早下班回家陪rtx老婆指日可待 02/15 10:27
36F:推 mike8469 : 35G 很小吧….. 02/15 10:27
37F:推 chrischiu : AIPC對生活有幫助嗎? 02/15 10:34
38F:推 yinaser : 體驗比Chatgpt差很多 02/15 11:03
39F:推 bitcch : 50系列該給多一點ram了吧 02/15 11:12
40F:推 SYUAN0301 : 用30.40系顯卡的,有幾個沒7.80g以上的單機大作, 02/15 11:26
41F:→ SYUAN0301 : 30多g真的還好 02/15 11:26
42F:→ fatb : 電腦很小 手機很大 02/15 11:28
43F:推 hcwang1126 : 這超屌 不會說事後發現有些東西偷偷上傳給偉哥吧? 02/15 11:30
44F:推 maxty : 完了NV怕不是要1000了 02/15 11:52
45F:推 Hettt5655 : 35G超小 02/15 11:58
46F:→ Zepho : 有網頁版chatgpt 幹嘛自己裝地端版的? 02/15 13:49
47F:→ LDPC : 樓上 因為今年流行priviate data本地端跑 02/15 14:00
48F:→ LDPC : 且本地端對做Reg有優勢 02/15 14:00
49F:→ patrickptt : 可以麻煩AI機器人 做一件事 嗎?把未來10年內,每 02/15 14:23
50F:→ patrickptt : 日,AI的新聞,都先列出來嗎? 02/15 14:23
51F:推 chrischiu : Nvidia 自己開發的不行吧 02/15 17:08