※ 引述《jonas (Jonas!Jo!)》之銘言： : J大的列表真是太好用了 : 不過想請教一下 : 關於一些MOD官網未建好目錄路徑的影片 : 例如:電影199裡的新天堂樂園 : http://mod.cht.com.tw/video/movie-details.php?id=386003 : 電影199 龍紋身的女孩 : http://mod.cht.com.tw/video/movie-details.php?id=452694 : 電影199 紅色情深 經典數位修復 : http://mod.cht.com.tw/video/movie-details.php?id=417886 : 等等 族繁不及備載 : 不知道J大是否也有辦法用程式抓取列表呢？ : 或是量會太大？ : 或許可以懇請J大設一頁工作表來放這些迷失的名片 : 因為機上盒雖然找得到，但是要找出哪些片即將下片實在太費時了 : 光是有片名跟下片日期，即使沒有路徑幫助也很大了， : MOD官網不知為何 比方說驚悚類的就漏建路徑十來片 : 好萊塢199的影集更是幾乎全都漏...Orz : 個人小小發現，如不方便也感謝J大，畢竟是MOD官網的問題... : 謝謝撥冗閱讀^^ 官網目前資料有點奇怪, 以前電影199大概都能抓到1400筆左右的資料, 等官網修正吧. 以下簡介一下目前爬蟲的機制, 以電影199來舉例, 1. 首先會進入 http://mod.cht.com.tw/video/set_monthly.php?id=1 2. 抓取每個標題連結, 例如 本週上架 http://mod.cht.com.tw/video/set-type.php?id=73 熱門排行 http://mod.cht.com.tw/video/set-type.php?id=74 音樂電影 http://mod.cht.com.tw/video/set-type.php?id=75 劇情 http://mod.cht.com.tw/video/set-type.php?id=76 ... 3. 再進入每個標題(例如本週上架), 抓取每個影片連結, 例如 柯羅索巨獸 http://mod.cht.com.tw/video/movie-details.php?id=459269 蠟筆小新電影 http://mod.cht.com.tw/video/movie-details.php?id=459257 恐龍尤物 http://mod.cht.com.tw/video/movie-details.php?id=459443 唱吧！奇蹟！ http://mod.cht.com.tw/video/movie-details.php?id=459271 ... 4. 最後進入每個影片連結, 抓取相關資料(片名, 多螢, 路徑, 下片日期, 簡介...) 所以如果無法透過以上方式進入的影片, 將無法抓取. 另外影集的問題, 舉個例子 http://mod.cht.com.tw/video/drama-details.php?id=448866 當步驟4進入此影片的連結後, 目前只會抓取現存的影片資料, 也就是 [Poli波力S2第1-2話] , 其他集數不會進去抓取資料, 我有嘗試過修改程式進去抓取資料, 可是會遇到三個問題 , 第一個遇到的是官網資料混亂的問題, 例如 http://mod.cht.com.tw/video/drama-details.php?id=458921 http://mod.cht.com.tw/video/drama-details.php?id=460533 ... 裡面集數非常混亂, 且包含許多錯誤的影片, 很多卡通199的影集都有類似的問題, 第二個問題是資料龐大, 如果將每個集數都抓出來的話, 卡通199-兒童 的資料量就會從 目 前的88筆暴漲到4400筆左右. 由於怕資料量太大官網擋掉, 目前爬蟲大概是接近每0.7秒抓一個影片資料, 每天大概會 抓 二到三次, 如果資料量太大, 花費時間會過多. 第三個是google試算表的排序問題, 一般正常人的觀點, 排續集數的時候, 大概是這樣 火影第1集 火影第2集 火影第3集 火影第4集 火影第10集 火影第11集 火影第12集 火影第20集 火影第21集 火影第22集 火影第99集 火影第100集 火影第101集 但是google試算表排序的是 火影第1集 火影第10集 火影第100集 火影第101集 火影第11集 火影第12集 火影第2集 火影第20集 火影第21集 火影第22集 火影第3集 火影第4集 當然, 對sort下一些參數可以改善排序, 但始終沒找到一個適用全部影集的方式, 都 只能改善部分影集. 以上三個問題, 讓我目前暫時放棄抓影集的資訊. --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 122.116.77.25 ※ 文章網址: https://webptt.com/m.aspx?n=bbs/MOD/M.1506219893.A.CB1.html