作者blarc (blarc)
看板AI_Art
標題Re: [分享] openai_whisper / faster-whisper /webui
時間Thu Sep 7 09:09:01 2023
先感謝大大分享跟介紹!
最近使用fast-whisper-large-v2來翻譯日綜
有一些心得跟問題想請教
目前翻譯的效果還可以, 至少可以看懂7成內容了, 但感覺還有改善空間
遇到一些人名/地名/專有名詞會比較苦手
這部份我是利用Initial Prompt來改善
先把藝人名或節目介紹的地名先打上去, 翻譯會比較傾向用你提示的內容
不過好像有224個token限制的樣子
另外有時候會遇到一段翻譯一直重複同一個句子長達幾分鐘
感覺像是卡住或是落入loop
我有試著把VAD - Max Merge Size 從90改成180或更高
或是去Full頁面把Condition on previous text取消掉
可以減少這種重複句子的問題
最後有兩個想請教的地方
web-ui上有translate model和language欄位
這兩個欄位的用途是? for translate task用的嗎?
還是跟翻譯成中文有關?
另外我透過修改config的方式下載其他model來做transcrbie
ex: zh-plus/faster-whisper-large-v2-japanese-5k-steps
arc-r/faster-whisper-large-v2-mix-jp
不過效果怎麼比原本faster-whisper-large-v2還差 @@
我以為這些model是為了加強日語辨識, 還是我還少做了什麼步驟嗎?
謝謝.
※ 引述《avans (阿緯)》之銘言：
: whisper這是openai公開的語音辨識模型
: 非常強大相信不少人已經聽過或使用過了
: 沒聽過也沒關係這邊做個使用介紹
: 這裡主要要介紹的是
: whisper與faster-whisper
: 還有whisper-webui(網頁版本)
: openai/whisper
: https://github.com/openai/whisper
: guillaumekln/faster-whisper
: https://github.com/guillaumekln/faster-whisper
: aadnk/whisper-webui
: https://huggingface.co/spaces/aadnk/whisper-webui
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 210.71.217.243 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1694048944.A.49C.html
1F：推 avans: whisper官方只有實作其他語言翻譯為英文，沒有提供任意翻譯 09/07 20:05
2F：→ avans: 你說的translate model和language欄位是指我fork的版本的嗎 09/07 20:07
3F：→ blarc: 是的! 09/07 20:07
4F：→ avans: 如果是的話，那是結合FB(Meta)推出的NLLB翻譯模型來翻譯的 09/07 20:08
5F：→ avans: 後來我發現Initial Prompt輸入"繁體:"有時候會導致whisper 09/07 20:10
6F：→ avans: 產出的字幕怪怪的，連"繁體"兩字也吃進去 09/07 20:10
7F：→ avans: 我還沒有使用過其他whisper model過...這個幫不到 09/07 20:12
8F：→ blarc: 那請問NLLB Model有需要選嗎? 選了會幫助翻譯中文更準確嗎? 09/07 20:13
9F：→ blarc: 問了一下bard, 看起來預設whisper是連網用chatgpt翻譯, 而 09/07 20:36
10F：→ blarc: 大大提供的NLLB Model選項是能夠離線使用fb的翻譯模型 09/07 20:37
11F：→ blarc: 我這樣的理解是否正確呢? 09/07 20:37
12F：→ avans: 應該不是，whisper翻譯不需要連網也非用chatgpt翻譯 09/07 20:41
13F：→ avans: 畢竟我也沒輸入chatgpt的key給whisper使用 09/07 20:42
14F：→ avans: 不過whisper只有實作他語言到英文的翻譯，其他語言時好時壞 09/07 20:43
15F：→ avans: 都是正常的，使用NLLB Model選項就是離線翻譯模型 09/07 20:43
16F：→ avans: 使用NLLB Model的話，whisper的language欄位就選聲音的語言 09/07 20:45
17F：→ avans: NLLB的language欄位就選擇你要翻譯的語言 09/07 20:46
18F：→ blarc: 嗯 我也覺得沒輸入api key怎麼可能用chatgpt翻譯, bard又在 09/07 20:53
19F：→ blarc: 唬爛我.. 我再繼續研究一下各種組合好了, 感謝大大回覆 09/07 20:54
20F：推 tzouandy2818: 不要相信Bard 唬爛程度超高 09/08 01:00