作者blarc (blarc)
看板AI_Art
标题Re: [分享] openai_whisper / faster-whisper /webui
时间Thu Sep 7 09:09:01 2023
先感谢大大分享跟介绍!
最近使用fast-whisper-large-v2来翻译日综
有一些心得跟问题想请教
目前翻译的效果还可以, 至少可以看懂7成内容了, 但感觉还有改善空间
遇到一些人名/地名/专有名词会比较苦手
这部份我是利用Initial Prompt来改善
先把艺人名或节目介绍的地名先打上去, 翻译会比较倾向用你提示的内容
不过好像有224个token限制的样子
另外有时候会遇到一段翻译一直重复同一个句子长达几分钟
感觉像是卡住或是落入loop
我有试着把VAD - Max Merge Size 从90改成180或更高
或是去Full页面把Condition on previous text取消掉
可以减少这种重复句子的问题
最後有两个想请教的地方
web-ui上有translate model和language栏位
这两个栏位的用途是? for translate task用的吗?
还是跟翻译成中文有关?
另外我透过修改config的方式下载其他model来做transcrbie
ex: zh-plus/faster-whisper-large-v2-japanese-5k-steps
arc-r/faster-whisper-large-v2-mix-jp
不过效果怎麽比原本faster-whisper-large-v2还差 @@
我以为这些model是为了加强日语辨识, 还是我还少做了什麽步骤吗?
谢谢.
※ 引述《avans (阿纬)》之铭言：
: whisper这是openai公开的语音辨识模型
: 非常强大相信不少人已经听过或使用过了
: 没听过也没关系这边做个使用介绍
: 这里主要要介绍的是
: whisper与faster-whisper
: 还有whisper-webui(网页版本)
: openai/whisper
: https://github.com/openai/whisper
: guillaumekln/faster-whisper
: https://github.com/guillaumekln/faster-whisper
: aadnk/whisper-webui
: https://huggingface.co/spaces/aadnk/whisper-webui
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 210.71.217.243 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1694048944.A.49C.html
1F：推 avans: whisper官方只有实作其他语言翻译为英文，没有提供任意翻译 09/07 20:05
2F：→ avans: 你说的translate model和language栏位是指我fork的版本的吗 09/07 20:07
3F：→ blarc: 是的! 09/07 20:07
4F：→ avans: 如果是的话，那是结合FB(Meta)推出的NLLB翻译模型来翻译的 09/07 20:08
5F：→ avans: 後来我发现Initial Prompt输入"繁体:"有时候会导致whisper 09/07 20:10
6F：→ avans: 产出的字幕怪怪的，连"繁体"两字也吃进去 09/07 20:10
7F：→ avans: 我还没有使用过其他whisper model过...这个帮不到 09/07 20:12
8F：→ blarc: 那请问NLLB Model有需要选吗? 选了会帮助翻译中文更准确吗? 09/07 20:13
9F：→ blarc: 问了一下bard, 看起来预设whisper是连网用chatgpt翻译, 而 09/07 20:36
10F：→ blarc: 大大提供的NLLB Model选项是能够离线使用fb的翻译模型 09/07 20:37
11F：→ blarc: 我这样的理解是否正确呢? 09/07 20:37
12F：→ avans: 应该不是，whisper翻译不需要连网也非用chatgpt翻译 09/07 20:41
13F：→ avans: 毕竟我也没输入chatgpt的key给whisper使用 09/07 20:42
14F：→ avans: 不过whisper只有实作他语言到英文的翻译，其他语言时好时坏 09/07 20:43
15F：→ avans: 都是正常的，使用NLLB Model选项就是离线翻译模型 09/07 20:43
16F：→ avans: 使用NLLB Model的话，whisper的language栏位就选声音的语言 09/07 20:45
17F：→ avans: NLLB的language栏位就选择你要翻译的语言 09/07 20:46
18F：→ blarc: 嗯 我也觉得没输入api key怎麽可能用chatgpt翻译, bard又在 09/07 20:53
19F：→ blarc: 唬烂我.. 我再继续研究一下各种组合好了, 感谢大大回覆 09/07 20:54
20F：推 tzouandy2818: 不要相信Bard 唬烂程度超高 09/08 01:00