作者ncueBenson (nuceBenson29)
看板Python
标题[问题] Pyhton 爬虫frame看不到 试过Selenium
时间Sun Oct 29 20:34:31 2017
大家好，第一次碰爬虫
要到某学校帮学生抓取成绩资料，但该学校的网站设计我透过
request，seleium都看不到frame的部份(输入帐密，还有成绩表格部份设计方式一样)
会有隐私问题就不提供帐密(请见谅)，仅以相同设计方式的登入页面解说
学校网址登入网址
https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw
以下是code
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('
https://khweb.ischool.com.tw/?dn=wfjh.kh.edu.tw#wfjh.kh.edu.tw')
print(driver.page_source)
跑出来的结果没有框架的原始码，连frame什麽的都没有
请问大神们 我是不是搞错什麽?
或是提点我有什麽方向该去查的~
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.253.48.14
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1509280474.A.FE4.html
1F：→ neil987: 你有没有帐密可以测试 有的话直接丢一次 看开发工具 10/29 20:36
2F：→ neil987: 看他把哪些资料 送到啥网页 10/29 20:36
好我测试一下不是很熟可能要一段时间
※ 编辑: ncueBenson (111.253.48.14), 10/29/2017 20:48:44
扣掉图档、css、font後有6x个档、其中有xhr、js、htm
※ 编辑: ncueBenson (111.253.48.14), 10/29/2017 20:57:21
4F：→ neil987: 不是 不管他form怎处理 到最後一定有个网页收资料 10/29 21:01
5F：→ neil987: 上面那张图就是我按登入之後 他送的资料跟目标网页 10/29 21:02
6F：→ neil987: 也就是说auth.ischool.com.tw/service/basicauth.php这个 10/29 21:03
7F：→ neil987: 就是他收登入资料的网址 送的资料图上有 10/29 21:03
超怪的耶我登失败登成功这个php都是一样的内容
里面有多一个getaccountinfo.php 但该php没有密码比较像是认证完从这个php
取得使用者资料
怪了从开发者介面看到的又不同 送了account(帐号) uuid(没意外就是密码转成密文吧?) language(繁中)
名字 还有一些error 的检查码
※ 编辑: ncueBenson (111.253.48.14), 10/29/2017 21:23:49
8F：→ neil987: 我没有帐密没办法帮你测 反正登入这块这步看起来是没错的 10/29 21:21
9F：推 coeric: 楼上的意思是 先去Response 看看到底是显示在哪个页面吧？ 10/29 21:24
我大概再问一下，我现在是不是透过python想办法传资料到这个php
如果我得到正确的response我再透过一样的方式去取的我想要的资料?
※ 编辑: ncueBenson (111.253.48.14), 10/29/2017 21:36:07
有了抓到帐号的正确request感谢 n大 感谢 c大 我明天再试我要拿的资料 谢谢 <3
※ 编辑: ncueBenson (111.253.48.14), 10/29/2017 21:51:59
10F：推 vi000246: 看起来是透过basicauth.php判断帐密是否正确 再呼叫登入 10/29 21:54
11F：→ vi000246: 动作 你再研究看看网页下一步会做什麽 10/29 21:54
12F：→ ncueBenson: 好的我明天下班後试试 我习惯十点就寝~~谢谢三位大大 10/29 21:58
13F：推 f496328mm: seleium基本上应该无敌吧！很难遇到看不到的 10/30 12:11
14F：→ zerof: switch_to.frame 10/30 13:43
可是我透过webdriver 看不到frame 还是我有什麽搞错?
※ 编辑: ncueBenson (111.253.48.14), 10/30/2017 19:43:20
15F：→ ncueBenson: 有透过frame登入了 可是driver抓到的资料好像是还没 11/03 12:47
16F：→ ncueBenson: 登入的网页 11/03 12:47
17F：→ ncueBenson: 里面有个table table里面的东西都看不到 11/05 15:06