作者a199111222 (oyeh)
看板Python
标题[问题] 爬虫 csrf 怎麽获得？
时间Tue Jul 20 19:21:54 2021
网页为以下
https://www.barchart.com/stocks/quotes/AMD/put-call-ratios
Cookies内的xsrf-token每天都会变
不知道有没有办法用python抓出来
试了以下方法都失败
1. 从网页内直接找是不是有藏token的数值，但没有
2. 直接不带cookies直接抓网页，并拿回传的cookies，还是失败
暂时不考虑用python的网页去抓（太多资料应该会抓不完）
不知道有没有人处理过类似的问题
谢谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.234.120.165 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1626780117.A.B5C.html
1F：推 ckc1ark: 在put-call-ratios response的set-cookie找看看 07/20 20:35
2F：→ a199111222: 请问c大有没有清楚一点的说明，菜鸡不是很懂... 07/20 23:54
4F：→ ckc1ark: 是藏在response header不是在body 07/21 02:34
6F：→ a199111222: 如果用get 去这网页确实会得到後来request的csrf，不 07/21 10:33
7F：→ a199111222: 过我把这网页的curl转换成python语法後，回应的header 07/21 10:33
8F：→ a199111222: s和图片上的不一样...，如果很复杂可以站内我，酬劳可 07/21 10:33
9F：→ a199111222: 成功了，原来curl等於不同使用者，所以回应的header也 07/21 10:49
10F：→ a199111222: 会不一样，把回应的再拿去post拿到的资料是正确的， 07/21 10:49
11F：→ a199111222: 谢谢c大 07/21 10:49
12F：推 aidansky0989: Form表单元素看一下通常会有 07/21 12:38