作者error405 (流河=L)
看板AI_Art
標題[閒聊] AI代理人 開源音樂生成 ..本週AI新聞
時間Sun Jan 18 12:08:28 2026
https://www.youtube.com/watch?v=eHMVifFMq0Q
這部影片整理了 2026 年 1 月中旬多項重大的 AI 技術進展,涵蓋了 AI 代理人、音訊
生成、3D 建模及影片生成等領域。以下是詳細的簡介:
AI 代理人與電腦操作
Show UI Aloha:這是一個能透過觀察人類錄製的操作流程來學習任務的 AI 代理人
。它能學習如訂機票、編輯試算表等複雜流程,並在之後自主完成類似任務,表現優於
UI TARS 與 Claude 3.5 Sonnet [01:25]。
Show UI Pi:專門優化「滑鼠平滑移動」的 AI,能執行以往 AI 難以達成的拖放動
作,甚至能解開滑動驗證碼(Slider Captchas)或在畫小畫家中簽名 [09:53]。
音訊與音樂生成
HeartMula:全新的開源音樂生成器,能根據文字提示和歌詞生成完整歌曲。它支
援多國語言(英文、中文、日文、韓文、西班牙文),在旋律一致性與音質上接近業界領
先的 Suno v5 [20:59]。
Nova SR:僅有 50KB 的極小音訊模型,能以超過即時速度 3,500 倍的效率提升音訊
音質,使其聽起來更清晰 [03:37]。
極輕量 TTS (文字轉語音):僅有 1 億參數的模型,延遲極低(200ms),可在一般
CPU(如 MacBook Air M4)上流暢運行,並支援語音複製與長文本閱讀 [31:22]。
影片生成與 3D 技術
Verse Crafter (騰訊):能從單張圖片生成影片,並允許使用者在 3D 空間中精確控
制攝影機軌跡與物體移動路徑 [05:28]。
Unish:能將單一段影片轉換為包含人物與場景的 3D 模型,並預測人體的姿勢與位
置 [08:38]。
Meta Shape R:將場景的照片或影片轉換為精確的 3D 模型。不同於以往,它能將場
景中各個物件分離成獨立模型,方便後續編輯 [19:11]。
Rigmo:自動化 3D 模型的「骨架綁定(Rigging)」過程,讓靜態 3D 模型能快速變
為可隨意調整動作的動畫模型 [30:05]。
Pixverse R1:即時影片生成世界模型,使用者可以一邊觀看連續串流影片,一邊輸
入指令即時改變影片內容或風格 [34:31]。
圖片編輯與深度預測
Flux 2 Klein & Vibe:超快速的開源圖片生成與編輯器。Vibe 模型僅需 4 秒即可
在高效能 GPU 上生成 2K 解析度圖片,且在保持圖片原始細節的編輯能力上表現出色
[14:03]。
AnyDepth:高保真度的深度預測模型,能精確推算影片或圖片中的景深,解析度與準
確度皆超越以往模型 [11:53]。
這部影片展示了 AI 正在朝向更輕量化(可在個人設備運行)與更高精確度(如 3D 建模
與精準控制)的方向發展。
--
gemini3整理
Flux 2 Klein聽說不錯?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.136.197.234 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1768709310.A.715.html
1F:→ error405: 說明漏了類香蕉改圖的VIBE跟場景照轉3D的ShapeR 01/18 13:03
※ 編輯: error405 (220.136.197.234 臺灣), 01/18/2026 13:36:54
2F:推 Supasizeit: Klein 是給中低顯卡用的 然後4B 是Apache license 01/18 13:47
3F:→ Supasizeit: 大顯存的不如用flux.2 dev量化跟fp4 01/18 13:48
4F:推 kimwang: 感覺還能加個TranslateGemma? 強化的本地端翻譯AI 01/18 21:01
5F:推 avans: 推有趣模型整理 01/19 00:20
9F:→ error405: 可惜HeartMula還沒出gguf 01/20 13:04
10F:推 potatotato: 本來以為8gb vram跟heartmula無緣 沒想到用wanGP跑起 01/24 15:48
11F:→ potatotato: 來了 01/24 15:48