作者a199111222 (oyeh)
看板Python
標題[問題] 爬蟲 csrf 怎麼獲得？
時間Tue Jul 20 19:21:54 2021
網頁為以下
https://www.barchart.com/stocks/quotes/AMD/put-call-ratios
Cookies內的xsrf-token每天都會變
不知道有沒有辦法用python抓出來
試了以下方法都失敗
1. 從網頁內直接找是不是有藏token的數值，但沒有
2. 直接不帶cookies直接抓網頁，並拿回傳的cookies，還是失敗
暫時不考慮用python的網頁去抓（太多資料應該會抓不完）
不知道有沒有人處理過類似的問題
謝謝
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.234.120.165 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1626780117.A.B5C.html
1F：推 ckc1ark: 在put-call-ratios response的set-cookie找看看 07/20 20:35
2F：→ a199111222: 請問c大有沒有清楚一點的說明，菜雞不是很懂... 07/20 23:54
4F：→ ckc1ark: 是藏在response header不是在body 07/21 02:34
6F：→ a199111222: 如果用get 去這網頁確實會得到後來request的csrf，不 07/21 10:33
7F：→ a199111222: 過我把這網頁的curl轉換成python語法後，回應的header 07/21 10:33
8F：→ a199111222: s和圖片上的不一樣...，如果很複雜可以站內我，酬勞可 07/21 10:33
9F：→ a199111222: 成功了，原來curl等於不同使用者，所以回應的header也 07/21 10:49
10F：→ a199111222: 會不一樣，把回應的再拿去post拿到的資料是正確的， 07/21 10:49
11F：→ a199111222: 謝謝c大 07/21 10:49
12F：推 aidansky0989: Form表單元素看一下通常會有 07/21 12:38