作者ZMTL (Zaious.)
看板AI_Art
標題[LLMs] 使用AI工具整理逐字稿？
時間Thu Aug 24 15:21:25 2023
不知道有沒有版友願意討論一下這部分的心得，原本我以為很簡單實際上意外的困難。
目前做法：
使用Word聽寫功能得到Word版的逐字稿(準確率大概7成)
然後用GPT4-8k Model下以下的Prompt:
{"role":"system", "content": "你是位專業的逐字稿整理師"},
{"role":"user", "content": "我會給你一份(主題說明)的講座紀錄，
請你幫我整理逐字稿，除了修正錯字贅字外盡可能保留原本的用詞。"},
實際問題：
1.GPT4目前只有8k，最多只能進4000tokens(約2500中文字)回4000tokens，
GPT3.5有16K，但幻覺很嚴重。
等於一次大概只能處理15分鐘左右的逐字稿。
(不然就是等GPT4-32K開放)
2.目前我怎麼調Prompt都很容易進4000tokens回1500tokens，把逐字稿內容刪減的太過頭
其他選擇：
OpenAI Whisper AI
好像無法區分講者，所以我沒試
有沒有人專案上做過相關嘗試或研究的？感謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 59.124.87.90 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1692861690.A.A46.html
1F：推 AlanCloud: whisper不能區分講者，你試試看用時間軸分，然後用其他 08/24 16:09
2F：→ AlanCloud: 可以分辨講者的辨識也定義時間軸比對看看？ 08/24 16:09
3F：推 olctw: Whisper 產生的字幕檔案搭配編輯軟體已經相當準確與省下很 08/25 06:24
4F：→ olctw: 多時間，搭配影片區分應該還算容易 08/25 06:24
5F：→ ZMTL: 我的需求是從一段純語音對話內容整理資料 08/25 12:13
6F：→ ZMTL: 剛剛用電腦跑Whisper Large模型，準度還不錯，但無法辨識講 08/25 12:13
7F：→ ZMTL: 者導致整理有點麻煩 08/25 12:14
8F：推 Supasizeit: 竹子稿一個字都不能錯哩，所以還不是要重聽重修 08/25 12:33
9F：→ Supasizeit: 我上次是整理論壇，ChatGPT 可以從語意中判斷某段話 08/25 12:34
10F：→ Supasizeit: 誰講的，蠻厲害的 08/25 12:34
11F：推 cgjosephlee: 長文本可以參考langchain map reduce summarizatiin 08/25 12:50
12F：→ cgjosephlee: 調整一下prompt 後3萬字的總結效果也不錯 08/25 12:51
13F：→ cgjosephlee: 我有寫了個網頁做這個 提供給你參考 08/25 12:51
15F：→ cgjosephlee: STT分講者可以搜尋diarization, whisper.cpp 有實驗 08/25 12:51
17F：→ cgjosephlee: 有興趣我們可以再討論，希望有幫上忙 08/25 12:51
18F：推 rent2ez: Vocol.ai怎麼做成可以分析講者的阿？ 08/26 01:17
19F：→ rent2ez: 它不是也用chatgpt api嗎？ 08/26 01:18
20F：→ ZMTL: 感謝討論，我之後研究一下 08/26 11:35
21F：→ ZMTL: 我目前使用相當硬幹的方式完成我的需求 08/26 11:36
22F：→ ZMTL: 1.提取Word轉錄的講者 2.配對到Whisper逐字稿文本 08/26 11:36
23F：→ ZMTL: 3.把逐字稿文本每一段分開請GPT4修整精簡 08/26 11:36
24F：推 andersonhaha: 用 Langchain 寫了一段 audio to text/summary 08/27 08:41
25F：→ andersonhaha: 使用 gpt-3.5-turbo-16k 來處理 08/27 08:41
28F：推 venroxas: Azure的認知服務應該有機會解決 08/28 21:36
29F：→ ZMTL: @cgjosephlee 感謝，我正在閱讀你的Langchain方法，很有幫助 08/29 15:19
30F：→ ZMTL: @andersonhaha 想請問這是部屬在伺服器上的?不然我怎麼可以 08/29 15:20
31F：→ ZMTL: 連上去?好酷，不知道方不方便學習整個專案的建置 08/29 15:21
32F：→ ZMTL: @rent2ez 看了一下，有人用whisper ai實現辨識講者，但不是 08/29 15:54
33F：→ ZMTL: openai原本模型有的能力，是另外掛了音調辨識的模型上去 08/29 15:55
35F：推 andersonhaha: 最近學的Langchain 程式，連結 whisper，在 strea 09/03 19:34
36F：→ andersonhaha: mlit 部署就可以直接使用了。只是Prompts 內容無法 09/03 19:34
37F：→ andersonhaha: 讓使用者自填 。 09/03 19:34
38F：推 sajanny: 這是我最近在用的，逐字稿內容濃縮的還不錯 09/24 05:41
40F：推 ping40336: Vocol.ai很讚欸 錯字率低，也可以匯出Srt.txt檔，方便 11/10 22:38