Soft_Job 板


LINE

追了一天動漫來回點東西, 轉生公主天才千金好香,槍神畫面好屌 遇到問題時除了試著使用其它工具或做法, 還能做的 - 或許也是應該先做的 - 是瞭解問題。 或許你是後端工程師,對前端不熟,那看看你們公司有沒有前端工程師可以問, 不然試著到前端社群上請益看看。 要爬 https://www.hktvmall.com/hktv/zh 這樣一個網站需要注意什麼? 怎麼爬比較快? 或許有人看了看可以提供一些回饋, 例如有防 csrf 機制,token 就寫在頁面上一個隱藏的 input 裡, https://en.wikipedia.org/wiki/Cross-site_request_forgery 會直接跟頁面 html 一起吐回來 後端用的應該是 JAVA,所以 cookie 有個 JSESSIONID, 不過因為它的設定是 http only 無法以 JS 取得 另外本身就神慢,不論是頁面或 API 經常需要 10~30 秒 瞭解了問題之後,或許解法就不會是改用 Selenium 之外的工具, 而是使用 Selenium 但調整做法。 因為就算換了工具慢還是慢在網站本身 例如,一樣先用 Selenium 連到該頁面, 但是不再用操作頁面連結的方式做,而是設法取得 CSRF token 組參數打 api, 使用 execute_script 應該就能在第一次頁面載入後由 input 元素取得 CSRF token, 再使用 execute_async_script 打 api 取得資料 Ref : https://stackoverflow.com/q/28057338/1042731 而由於是實際跑在瀏覽器,可以正確的帶上 JSESSION ID, 並且瀏覽器本身的同 domain request 數量限制會自動避免你變成 DDOS (印像中是 4 或 8,不確定現在有沒有改變) 而像以下是一個可以跑的 api 示例,我沒怎麼研究, 只是直接拿開發者工具裡看到的參數來用 https://pastebin.com/ANgNVxqF 說回為什麼 "瞭解問題" 重要, 弄清楚問題是什麼再對症下藥,比較不會花大量時間做無用功, 當問題解決時也比較清楚問題究竟是什麼,為什麼能解決, 才能真的吸收並得到經驗 有時候不一定要急著趕工, 稍微停下來,多查一查想想看,反而可能更快更有收獲 ※ 引述《andy22543 (andy22543)》之銘言: : 最近接到一個專案要爬購物網站存mySQL : 爬分類裡面各產品資訊+內頁詳細資訊 : 目前已經使用selenium+multithreading寫完 : 可惜速度不夠快 : 所以正改用request改寫 : 但發現不管用什麼方法(session、cookie、payload)都沒辦法取得首頁的商品資訊 : 已經把網路上能看的解決方式都看過一遍還是無解 : 另外也試過network的event(貌似是api? : 把相關資訊post上去爆出ConnectionError: ('Connection aborted.' : 所有能試解法都試過還是無法 : 有沒有精通的高手幫看一下還有甚麼辦法呢 : 附上連結 : https://www.hktvmall.com/hktv/zh/%E8%B6%85%E7%B4%9A%E5%B7%BF%E5%A0%B4/%E8%B6%85%E7%B4%9A%E5%B8%82%E5%A0%B4/%E5%86%B7%E5%87%8D-%E6%80%A5%E5%87%8D%E9%A3%9F%E5%93%81/main/search?page=0&q=%3Arelevance%3Astreet%3Amain%3Acategory%3AAA11110000000 : ----- : Sent from JPTT on my iPhone --
QR Code



※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.37.169.144 (臺灣)
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Soft_Job/M.1674828041.A.5EB.html ※ 編輯: lovdkkkk (114.37.169.144 臺灣), 01/28/2023 00:47:48
1F:推 kimi112136: 大眼鏡的威席不是熟悉的威席QQ 01/28 11:42







like.gif 您可能會有興趣的文章
icon.png[問題/行為] 貓晚上進房間會不會有憋尿問題
icon.pngRe: [閒聊] 選了錯誤的女孩成為魔法少女 XDDDDDDDDDD
icon.png[正妹] 瑞典 一張
icon.png[心得] EMS高領長版毛衣.墨小樓MC1002
icon.png[分享] 丹龍隔熱紙GE55+33+22
icon.png[問題] 清洗洗衣機
icon.png[尋物] 窗台下的空間
icon.png[閒聊] 双極の女神1 木魔爵
icon.png[售車] 新竹 1997 march 1297cc 白色 四門
icon.png[討論] 能從照片感受到攝影者心情嗎
icon.png[狂賀] 賀賀賀賀 賀!島村卯月!總選舉NO.1
icon.png[難過] 羨慕白皮膚的女生
icon.png閱讀文章
icon.png[黑特]
icon.png[問題] SBK S1安裝於安全帽位置
icon.png[分享] 舊woo100絕版開箱!!
icon.pngRe: [無言] 關於小包衛生紙
icon.png[開箱] E5-2683V3 RX480Strix 快睿C1 簡單測試
icon.png[心得] 蒼の海賊龍 地獄 執行者16PT
icon.png[售車] 1999年Virage iO 1.8EXi
icon.png[心得] 挑戰33 LV10 獅子座pt solo
icon.png[閒聊] 手把手教你不被桶之新手主購教學
icon.png[分享] Civic Type R 量產版官方照無預警流出
icon.png[售車] Golf 4 2.0 銀色 自排
icon.png[出售] Graco提籃汽座(有底座)2000元誠可議
icon.png[問題] 請問補牙材質掉了還能再補嗎?(台中半年內
icon.png[問題] 44th 單曲 生寫竟然都給重複的啊啊!
icon.png[心得] 華南紅卡/icash 核卡
icon.png[問題] 拔牙矯正這樣正常嗎
icon.png[贈送] 老莫高業 初業 102年版
icon.png[情報] 三大行動支付 本季掀戰火
icon.png[寶寶] 博客來Amos水蠟筆5/1特價五折
icon.pngRe: [心得] 新鮮人一些面試分享
icon.png[心得] 蒼の海賊龍 地獄 麒麟25PT
icon.pngRe: [閒聊] (君の名は。雷慎入) 君名二創漫畫翻譯
icon.pngRe: [閒聊] OGN中場影片:失蹤人口局 (英文字幕)
icon.png[問題] 台灣大哥大4G訊號差
icon.png[出售] [全國]全新千尋侘草LED燈, 水草

請輸入看板名稱,例如:Boy-Girl站內搜尋

TOP