作者SONGya168 (威威)
看板Python
标题[问题] 爬买卖日报表CAPTCHA问题
时间Wed Feb 28 09:40:01 2018
Hi 各位好,
最近开始学习python进行爬虫,参考网路上的大数软体教学,
先进行半自动化的爬取, 取得验证码图片後再手动输入验证码,
以上部份都没有问题, 但由於在进行证交所买卖日报表的爬取时,
因为买卖日报表是aspx, 所以一开始遇到__VIEWSTATE及__EVENTVALIDATION
变数会变动问题,所幸在本版有爬文知道如何解决此问题 (先利用GET爬取
此两变数,再利用POST送出实际的请求)
但最後送出POST後会发现爬取回来的网页内容会是 "验证码错误"
买卖日报表有两个FRAME: Menu及Content,
Menu会出现验证码错误;Content则为空白
想请问各位大神, 是否可提供小弟一个方向呢?
ps. 在正式送出POST前,只会选一个证券代号, 再选择後, 我查看Chrome 开发者工具
应该并没有额外的POST请求,所以我所爬取的__VIEWSTATE应该是没问题的
请参考我写的code (jupyter notebook):
https://github.com/weishiny/ProgramNote/blob/master/DailyReportCAPTCHA.ipynb
--
那天在捷运站被机器吃钱，
更机车的是站务跟我落英文说：
吐币or not 吐币，That is the question...
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.45.146.45
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1519782022.A.172.html
1F：→ s860134: 你买卖日报进去的时候不用填验证码吗? 02/28 18:50
2F：→ SONGya168: 需要，我是先取得验证码图片後，formdata手动填，有利 02/28 21:58
3F：→ SONGya168: 用session 02/28 21:58
4F：→ SONGya168: 目前还没有做到自动的 02/28 21:59
5F：→ SONGya168: 手动填完验证码後送post出去 02/28 22:01
6F：推 ok963963ok: 若有需要识别验证码，可站内 03/01 10:19
7F：→ SONGya168: 目前我是卡在送post出去验证码不过，验证码为手填 03/01 18:11