作者jasonjss (古怪天地)
标题Re: [其他] MOD电影199清单列表, 按照下片时间排序
时间Sun Sep 24 10:24:49 2017
※ 引述《jonas (Jonas!Jo!)》之铭言:
: J大的列表真是太好用了
: 不过想请教一下
: 关於一些MOD官网未建好目录路径的影片
: 例如:电影199里的新天堂乐园
: http://mod.cht.com.tw/video/movie-details.php?id=386003
: 电影199 龙纹身的女孩
: http://mod.cht.com.tw/video/movie-details.php?id=452694
: 电影199 红色情深 经典数位修复
: http://mod.cht.com.tw/video/movie-details.php?id=417886
: 等等 族繁不及备载
: 不知道J大是否也有办法用程式抓取列表呢?
: 或是量会太大?
: 或许可以恳请J大设一页工作表来放这些迷失的名片
: 因为机上盒虽然找得到,但是要找出哪些片即将下片实在太费时了
: 光是有片名跟下片日期,即使没有路径帮助也很大了,
: MOD官网不知为何 比方说惊悚类的就漏建路径十来片
: 好莱坞199的影集更是几乎全都漏...Orz
: 个人小小发现,如不方便也感谢J大,毕竟是MOD官网的问题...
: 谢谢拨冗阅读^^
官网目前资料有点奇怪, 以前电影199大概都能抓到1400笔左右的资料, 等官网修正吧.
以下简介一下目前爬虫的机制, 以电影199来举例,
1. 首先会进入
http://mod.cht.com.tw/video/set_monthly.php?id=1
2. 抓取每个标题连结, 例如
本周上架
http://mod.cht.com.tw/video/set-type.php?id=73
热门排行
http://mod.cht.com.tw/video/set-type.php?id=74
音乐电影
http://mod.cht.com.tw/video/set-type.php?id=75
剧情
http://mod.cht.com.tw/video/set-type.php?id=76
...
3. 再进入每个标题(例如本周上架), 抓取每个影片连结, 例如
柯罗索巨兽
http://mod.cht.com.tw/video/movie-details.php?id=459269
蜡笔小新电影
http://mod.cht.com.tw/video/movie-details.php?id=459257
恐龙尤物
http://mod.cht.com.tw/video/movie-details.php?id=459443
唱吧!奇蹟!
http://mod.cht.com.tw/video/movie-details.php?id=459271
...
4. 最後进入每个影片连结, 抓取相关资料(片名, 多萤, 路径, 下片日期, 简介...)
所以如果无法透过以上方式进入的影片, 将无法抓取.
另外影集的问题, 举个例子
http://mod.cht.com.tw/video/drama-details.php?id=448866
当步骤4进入此影片的连结後, 目前只会抓取现存的影片资料, 也就是
[Poli波力S2第1-2话]
, 其他集数不会进去抓取资料, 我有尝试过修改程式进去抓取资料, 可是会遇到三个问题
, 第一个遇到的是官网资料混乱的问题, 例如
http://mod.cht.com.tw/video/drama-details.php?id=458921
http://mod.cht.com.tw/video/drama-details.php?id=460533
...
里面集数非常混乱, 且包含许多错误的影片, 很多卡通199的影集都有类似的问题,
第二个问题是资料庞大, 如果将每个集数都抓出来的话, 卡通199-儿童 的资料量就会从
目
前的88笔暴涨到4400笔左右.
由於怕资料量太大官网挡掉, 目前爬虫大概是接近每0.7秒抓一个影片资料, 每天大概会
抓
二到三次, 如果资料量太大, 花费时间会过多.
第三个是google试算表的排序问题, 一般正常人的观点, 排续集数的时候, 大概是这样
火影第1集
火影第2集
火影第3集
火影第4集
火影第10集
火影第11集
火影第12集
火影第20集
火影第21集
火影第22集
火影第99集
火影第100集
火影第101集
但是google试算表排序的是
火影第1集
火影第10集
火影第100集
火影第101集
火影第11集
火影第12集
火影第2集
火影第20集
火影第21集
火影第22集
火影第3集
火影第4集
当然, 对sort下一些参数可以改善排序, 但始终没找到一个适用全部影集的方式, 都
只能改善部分影集.
以上三个问题, 让我目前暂时放弃抓影集的资讯.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 122.116.77.25
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/MOD/M.1506219893.A.CB1.html
1F:推 GameGyu : 只能说辛苦了 做这种吃力不讨好的工作... 09/24 13:07
2F:→ GameGyu : 一个现在连节目表都做不好 光是STB、WEB、APP都能不 09/24 13:08
3F:→ GameGyu : 同步的系统。外面的人是更难去做统合之类的事。 09/24 13:09
4F:推 andy199113 : 开放API即可改善所有问题 但不可能 09/24 13:14
5F:推 jonas : 谢谢J大,看来目前只能等MOD官网改善了 09/24 18:30
6F:推 sulpht : 感谢J大感叹J大! 09/27 02:16
7F:推 kdsl : 电影199超赞啊! 10/17 00:46