作者freddy (lkking)
看板Python
标题[问题] 如何爬一个每次打开来都不太一样的网页
时间Mon Mar 1 01:43:33 2021
入题,我最近在爬的一个网站会有一些不定因素导致每次爬都有些微不同
假如说这个网站会写出已打卡的人的名字、资料(还没打卡的不会显示),但我去爬的时
候一定有人请假或还没打卡,那如果用for 去找从项目第1个到第总人数个,一定会发生
错误,所以想请教该怎麽处理
欧对了,这份档我用selenium 写很久了,可能没办法打掉重练,如果用requests +bs4
稍微分析一下是否可行,还是有其他更好的方法,谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.76.78.27 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1614534215.A.19F.html
1F:→ ck574b027: 你要解释为何不能用程式分辨那个不同,错误是什麽 03/01 03:04
2F:→ Daredevil316: 假设你网页内每一阶层都相同就do while去爬啊 03/01 10:13
3F:→ Daredevil316: 爬到名称比对为null就表示至今打卡人数 03/01 10:14
4F:→ ddavid: 你为什麽是for去跑「个数」而不是取得一个目前实际的列表 03/02 01:32
5F:→ ddavid: 然後for x in student_list之类的 03/02 01:33
6F:→ ddavid: 你如果会用bs4,分析一下很简单吧 03/02 01:33