這裡要介紹的是Video Processor using dghs-imgutils專案 他是一個可處理多個動畫影片 並依據UI介面設定的檢測與分析方式 產出各角色圖片的工具 經過人工篩選圖片並加上tag後 可再用於訓練SD LoRA模型 https://huggingface.co/spaces/avans06/ImgutilsVideoProcessor 因為專案放在huggingface免費空間，線上應該是無法直接執行 建議git clone到本機執行，python需要安裝gradio與dghs-imgutils[gpu] 一部23分的影片依電腦等級不同，處理時間約350秒~1000秒之間 以香格里拉動畫做測試，其執行結果例子如下 https://i.imgur.com/yQVWShF.png https://i.imgur.com/610d1rn.png ___ 底下說明下UI中各參數的用途 * 取樣間隔 (毫秒) (Sample Interval (ms)) 設定從影片中擷取影格進行分析的時間間隔，單位是毫秒 (ms)。 ___ *人物偵測選項 (Person Detection Options) 啟用人物偵測 (Enable Person Detection): 勾選後，程式會嘗試在每個取樣影格中偵測人物。 最小目標寬度 (影格寬度的百分比) (Min Target Width (% of Frame Width)): 設定被偵測到的人物必須達到的最小寬度（相對於完整影格寬度的百分比），才會被視 為有效目標進行後續處理。例如，0.25 代表人物寬度至少需達到影格寬度的 25%。 人物偵測模型 (PD Model): 選擇用於人物偵測的預訓練模型。不同的模型在速度和準確度上可能有所差異。 人物偵測信心度閾值 (PD Conf): 設定人物偵測的信心度閾值。只有當模型的預測信心度高於此值時，偵測結果才被接受 人物偵測 IoU 閾值 (PD IoU): 設定人物偵測中用於非極大值抑制 (NMS) 的交並比 (Intersection over Union) 閾值，用來過濾重疊的偵測框。 ___ *半身偵測選項 (Half-Body Detection Options) 啟用半身偵測 (Enable Half-Body Detection): 勾選後，若「人物偵測」未啟用或未偵測到人物，程式會在完整影格上嘗試偵測 半身像。 使用半身像作為目標 (Use Half-Bodies as Targets): 若啟用半身偵測，勾選此項會將偵測到的半身像裁切下來作為主要處理目標。 最小目標寬度 (影格寬度的百分比) (Min Target Width (% of Frame Width)): 設定被偵測到的半身像必須達到的最小寬度（相對於完整影格寬度的百分比）， 才會被視為有效目標。 半身偵測模型 (HBD Model): 選擇用於半身偵測的預訓練模型。 半身偵測信心度閾值 (HBD Conf): 設定半身偵測的信心度閾值。 半身偵測 IoU 閾值 (HBD IoU): 設定半身偵測中用於 NMS 的 IoU 閾值。 ___ *臉部偵測選項 (Face Detection Options) 啟用臉部偵測 (Enable Face Detection): 勾選後，程式會在已識別的主要目標（如人物或半身像）上進行臉部偵測。 裁切偵測到的臉部 (Crop Detected Faces): 若啟用臉部偵測，勾選此項會將偵測到的臉部裁切下來並單獨儲存。 最小裁切寬度 (父影像寬度的百分比) (Min Crop Width (% of Parent Width)): 設定臉部裁切的最小寬度，此百分比是相對於其父影像（即人物或半身像的裁切圖） 的寬度。 臉部偵測信心度閾值 (FD Conf): 設定臉部偵測的信心度閾值。 臉部偵測 IoU 閾值 (FD IoU): 設定臉部偵測中用於 NMS 的 IoU 閾值。 過濾未偵測到臉部的目標 (Filter Targets Without Detected Faces): 若勾選，則主要目標（如人物、半身像）如果未能在其上偵測到任何臉部，則該主要 目標將被過濾掉，不進行後續處理和儲存。 ___ *頭部偵測選項 (Head Detection Options) 啟用頭部偵測 (Enable Head Detection): 勾選後，程式會在已識別的主要目標上進行頭部偵測。 裁切偵測到的頭部 (Crop Detected Heads): 若啟用頭部偵測，勾選此項會將偵測到的頭部裁切下來並單獨儲存（需滿足最小寬度） 最小裁切寬度 (父影像寬度的百分比) (Min Crop Width (% of Parent Width)): 設定頭部裁切的最小寬度，此百分比是相對於其父影像的寬度。 頭部偵測模型 (HD Model): 選擇用於頭部偵測的預訓練模型。 頭部偵測信心度閾值 (HD Conf): 設定頭部偵測的信心度閾值。 頭部偵測 IoU 閾值 (HD IoU): 設定頭部偵測中用於 NMS 的 IoU 閾值。 過濾未偵測到頭部的目標 (Filter Targets Without Heads): 若勾選，則主要目標如果未能在其上偵測到任何頭部，則該主要目標將被過濾掉。 ___ *CCIP 分類選項 (CCIP Classification Options) 啟用 CCIP 分類 (Enable CCIP Classification): 勾選此項以啟用 CCIP 特徵提取與分類。程式會根據圖片內容的相似性將圖片分到不同 的叢集（資料夾）中。資料夾會根據內部圖片數量排序命名。 CCIP 模型 (CCIP Model): 選擇用於 CCIP 特徵提取的模型。 CCIP 相似度閾值 (CCIP Similarity Threshold): 設定 CCIP 分類的相似度閾值。兩張圖片的 CCIP 特徵向量差異小於此閾值時，被認為 屬於同一個叢集。值越小，代表對相似度的要求越高。 ___ *LPIPS 聚類選項 (LPIPS Clustering Options) 啟用 LPIPS 聚類 (Enable LPIPS Clustering): 勾選此項以啟用 LPIPS 聚類。LPIPS 是一種衡量圖片感知相似度的指標，用於將視覺上 相似的圖片分組。如果 CCIP 分類已啟用，LPIPS 聚類會在每個 CCIP 叢集內部進行；否 則，會在所有收集到的圖片上進行全域聚類。 LPIPS 相似度閾值 (LPIPS Similarity Threshold): 設定 LPIPS 聚類的相似度閾值。兩張圖片的 LPIPS 距離小於此閾值時，被認為屬於 同一個叢集。值越小，代表對相似度的要求越高。 ___ *美學分析選項 (Aesthetic Analysis Options) 啟用美學分析 (動漫風格) (Enable Aesthetic Analysis (Anime)): 勾選此項以啟用基於動漫風格的美學評分模型。分析結果（如 great, good, normal, low, worst）會作為標籤加到圖片檔名的最前面。分析結果僅供參考不一定準確。 美學模型 (Aesthetic Model): 選擇用於美學分析的預訓練模型。 ___ 本專案有使用Gemini補助開發且功能設計概念參考了 cybermeow作者製作的anime_screenshot_pipeline專案 #1ZrgoSI5 (AI_Art) [AI] 練了個怕痛的模型 https://github.com/cyber-meow/anime_screenshot_pipeline anime_screenshot_pipeline是使用waifuc套件的command-line介面程式 ImgutilsVideoProcessor 是使用dghs-imgutils具有UI介面程式 上述兩個專案核心套件(waifuc、dghs-imgutils)皆為DeepGHS團隊開發設計的 https://github.com/deepghs PS. waifuc專案的核心套件是dghs-imgutils並重新包裝改寫 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.140.7.212 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/AI_Art/M.1746858440.A.EEE.html