作者MacPerson (Gary)
看板C_Sharp
標題[問題] 網頁資料抓取
時間Tue Feb 4 17:42:40 2014
大家好:
最近朋友有一個需求，就是希望能擷取某個網頁上的資料，
但這個網站都是用POST去切換網頁，也就是網址列都是固定的，
當下我就回答她說，這個無法擷取資料，但他突然說:[為什麼不行]
我在腦海裡思考了各種說法，但都無法說服他，例如:他只想擷取某一頁的
資料，但因為網頁是POST過去不像GET，所以我無法取得資料，但他的想法是
你可以寫一個程式，照我所操作的步驟進去，到了那一頁就抓資料，
照理來說應該也取的到。
所以想請教各位，POST方式切換網頁的網站，是否可以抓得到網頁資料?
順便請教各位解法~
感謝各位前輩
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 61.70.224.226
1F：推 YahooTaiwan:可以 照他說的做 02/04 17:53
2F：→ YahooTaiwan:甚至可以找出最終目的頁面所需的資料 直接丟POST req 02/04 17:54
感謝前輩 ~ 每次都提供忠肯建議^^
3F：→ LetDogDay:看一下HttpClient 這個類別 02/04 17:56
大大 還是有個疑問~ 之前我都是用webrequest 類別來擷取資料，因此只需要如:
www.yahoo.com.tw?testa=12&testb=11，就可以得到response擷取到資料，但網址
是POST，我該怎麼一步一步丟request給SERVER利用HttpClient類別，因為剛剛稍微
查了一下，他似乎也是必須傳入GET的網址列
※ 編輯: MacPerson 來自: 61.70.224.226 (02/04 18:07)
抱歉，又長智慧了~ 稍微Search一下，網站利用框架方式或轉址，例如MasterPage
讓網址一直維持在index首頁或轉址網址列一直在ww.yahoo.com,那這種網站還能
抓資料嗎?
※ 編輯: MacPerson 來自: 61.70.224.226 (02/04 18:27)
4F：推 YahooTaiwan:能呈現在你的瀏覽器上的就能抓 難易度不同而已 02/04 18:28
5F：→ tooto1985:找出框架的實際網址即可 02/04 18:29
感謝各位~ 稍微討論一下 清晰不少阿~ 我繼續研究，感恩!
※ 編輯: MacPerson 來自: 61.70.224.226 (02/04 18:32)
※ 編輯: MacPerson 來自: 61.70.224.226 (02/04 18:33)
6F：→ Litfal:Post也是有response的, 不要混淆了喔~ 02/08 17:12