※ 引述《jonas (Jonas!Jo!)》之铭言： : J大的列表真是太好用了 : 不过想请教一下 : 关於一些MOD官网未建好目录路径的影片 : 例如:电影199里的新天堂乐园 : http://mod.cht.com.tw/video/movie-details.php?id=386003 : 电影199 龙纹身的女孩 : http://mod.cht.com.tw/video/movie-details.php?id=452694 : 电影199 红色情深 经典数位修复 : http://mod.cht.com.tw/video/movie-details.php?id=417886 : 等等 族繁不及备载 : 不知道J大是否也有办法用程式抓取列表呢？ : 或是量会太大？ : 或许可以恳请J大设一页工作表来放这些迷失的名片 : 因为机上盒虽然找得到，但是要找出哪些片即将下片实在太费时了 : 光是有片名跟下片日期，即使没有路径帮助也很大了， : MOD官网不知为何 比方说惊悚类的就漏建路径十来片 : 好莱坞199的影集更是几乎全都漏...Orz : 个人小小发现，如不方便也感谢J大，毕竟是MOD官网的问题... : 谢谢拨冗阅读^^ 官网目前资料有点奇怪, 以前电影199大概都能抓到1400笔左右的资料, 等官网修正吧. 以下简介一下目前爬虫的机制, 以电影199来举例, 1. 首先会进入 http://mod.cht.com.tw/video/set_monthly.php?id=1 2. 抓取每个标题连结, 例如 本周上架 http://mod.cht.com.tw/video/set-type.php?id=73 热门排行 http://mod.cht.com.tw/video/set-type.php?id=74 音乐电影 http://mod.cht.com.tw/video/set-type.php?id=75 剧情 http://mod.cht.com.tw/video/set-type.php?id=76 ... 3. 再进入每个标题(例如本周上架), 抓取每个影片连结, 例如 柯罗索巨兽 http://mod.cht.com.tw/video/movie-details.php?id=459269 蜡笔小新电影 http://mod.cht.com.tw/video/movie-details.php?id=459257 恐龙尤物 http://mod.cht.com.tw/video/movie-details.php?id=459443 唱吧！奇蹟！ http://mod.cht.com.tw/video/movie-details.php?id=459271 ... 4. 最後进入每个影片连结, 抓取相关资料(片名, 多萤, 路径, 下片日期, 简介...) 所以如果无法透过以上方式进入的影片, 将无法抓取. 另外影集的问题, 举个例子 http://mod.cht.com.tw/video/drama-details.php?id=448866 当步骤4进入此影片的连结後, 目前只会抓取现存的影片资料, 也就是 [Poli波力S2第1-2话] , 其他集数不会进去抓取资料, 我有尝试过修改程式进去抓取资料, 可是会遇到三个问题 , 第一个遇到的是官网资料混乱的问题, 例如 http://mod.cht.com.tw/video/drama-details.php?id=458921 http://mod.cht.com.tw/video/drama-details.php?id=460533 ... 里面集数非常混乱, 且包含许多错误的影片, 很多卡通199的影集都有类似的问题, 第二个问题是资料庞大, 如果将每个集数都抓出来的话, 卡通199-儿童 的资料量就会从 目 前的88笔暴涨到4400笔左右. 由於怕资料量太大官网挡掉, 目前爬虫大概是接近每0.7秒抓一个影片资料, 每天大概会 抓 二到三次, 如果资料量太大, 花费时间会过多. 第三个是google试算表的排序问题, 一般正常人的观点, 排续集数的时候, 大概是这样 火影第1集 火影第2集 火影第3集 火影第4集 火影第10集 火影第11集 火影第12集 火影第20集 火影第21集 火影第22集 火影第99集 火影第100集 火影第101集 但是google试算表排序的是 火影第1集 火影第10集 火影第100集 火影第101集 火影第11集 火影第12集 火影第2集 火影第20集 火影第21集 火影第22集 火影第3集 火影第4集 当然, 对sort下一些参数可以改善排序, 但始终没找到一个适用全部影集的方式, 都 只能改善部分影集. 以上三个问题, 让我目前暂时放弃抓影集的资讯. --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 122.116.77.25 ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MOD/M.1506219893.A.CB1.html