作者l8PeakNeymar (十八尖山內馬爾)
看板C_Sharp
標題[問題] 網路爬蟲 八卦版
時間Wed Apr 25 15:57:08 2018
這個問題困擾我一段時間
因為網路上都是python或java的教學
想請問用C# console專案來爬蟲的問題
目前只要爬到八卦板或是西斯板之類的
像是我要求看這個網頁：
https://webptt.com/m.aspx?n=bbs/Gossiping/M.1234567890.A.D55.html
回傳卻是這個：
https://webptt.com/m.aspx?n=/ask/over18
在思考要怎麼把自己已滿18歲認證的˙Cookies一起送給伺服器
亂試很多class：
System.Net.Cookie、HttpWebRequest、WebRequest...
結果都不行 因為其實我也不懂原理
請問有板友可以教學嗎？非常感激！
-----
Sent from JPTT on my Xiaomi Redmi Note 4.
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.217.131.73
※ 文章網址: https://webptt.com/m.aspx?n=bbs/C_Sharp/M.1524643031.A.ED6.html
※ 編輯: l8PeakNeymar (180.217.131.73), 04/25/2018 15:58:43
1F：推 YahooTaiwan: over18 設成 1 呢? 04/25 16:09
2F：→ l8PeakNeymar: 有在Python教學看到這行 可是我是很基礎的不懂QQ 04/25 16:10
3F：→ vi000246: 不要用C#寫爬蟲 cookie跟session會搞到煩死 04/25 18:08
4F：→ vi000246: 有個叫RestSharp的lib 不知道有沒有支援cookie了 04/25 18:08
5F：→ vi000246: 你可以研究看看 04/25 18:08
6F：推 free112136: 用c#寫爬蟲不會有問題啊？cookie與seesion對client來 04/25 19:07
7F：→ free112136: 說都是cookie，會有問題表示cookie的處理不熟悉吧？ 04/25 19:07
8F：→ free112136: 我猜樓主是domain問題 04/25 19:08
9F：→ l8PeakNeymar: 我寫C#但是沒碰過網頁 如果有範例願意5000P酬謝 04/25 20:01
10F：→ MOONY135: 500P請直接轉給我XDDD 04/25 22:48
11F：→ vi000246: C#遇到cookie麻煩的點在要把cookie用變數存起來 04/26 01:20
12F：→ vi000246: 每次的request都要取需要的cookie 04/26 01:20
14F：→ vi000246: 現在可能有比較方便的套件 或是我當時的寫法比較不成熟 04/26 01:21
15F：→ vi000246: 不知道有沒有更好的處理方式 04/26 01:21
16F：推 vi000246: 現在才看到有P幣XD 那我講解一下好了 32行宣告一個 04/26 01:29
17F：→ vi000246: HttpWebRequest 39行將CookieContainer初始化 04/26 01:29
18F：→ vi000246: 42~44行 將同意瀏覽18禁的cookie加到CookieContainer 04/26 01:30
19F：→ vi000246: 48~61行 組出一個post請求 64行取得回傳結果 04/26 01:30
20F：推 free112136: 我從你給的原始碼來看，因為你每次都是new新的request 04/26 07:58
21F：→ free112136: 物件，當然要用cookie要重設定 04/26 07:58
22F：→ vi000246: 原來如此 找時間來測一下 04/26 08:26
23F：推 vi000246: 已收到原po紅包 謝謝 04/26 08:28
24F：→ vi000246: f大 我有個問題 如果要向不同url發請求 要怎麼用同一個 04/26 08:41
25F：→ vi000246: HttpWebRequest物件呢 04/26 08:42