作者jn8029 (鲁)
看板Python
标题Re: [问题] 爬取网站的excel档案
时间Wed Apr 3 07:19:42 2019
※ 引述《yshihyu (yshihyu)》之铭言：
: https://gist.github.com/shihyu/cafbf8feeb1dbb821084504fcd2c544b // 目前程式码
: 我想爬取 http://mopsfin.twse.com.tw/ 网站的excel 文件
: 目前是从 requests.post 出来结果不是chrome分析的那个页面
: 想请问一下可能原因是？
: 我看chrome 分析会有 jsessionid ? 是要产生这个才可以嘛？
: Request URL:
: http://mopsfin.twse.com.tw/compare/data;jsessionid=948EF4B129CCA4E8F4FA1A8991AC72F8
: 还有我看点选excel 下载好像是javascript 功能有办法透过直接下载嘛？
: 还是说javascript 必须要用 selenium？
: 谢谢
刚试了一下 可以直接下载
jsessionid你可以先get首页之後抓
他藏这
<link rel="icon" type="image/png" href="/resources/images/favicon-32x32.png;
jsessionid=F353143C92325BE0902E08030FE14F71" sizes="32x32">
然後下载excel的url是/export/data 不是compare/data
你可以用chrome的developer tool看一下你按下载excel之後他的payload有啥
把payload放对 url放/export/data 然後jsessionid放进去
就可以了 不用selenium
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.177.86.170
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1554247185.A.40B.html