作者l8PeakNeymar (十八尖山内马尔)
看板C_Sharp
标题[问题] 网路爬虫 八卦版
时间Wed Apr 25 15:57:08 2018
这个问题困扰我一段时间
因为网路上都是python或java的教学
想请问用C# console专案来爬虫的问题
目前只要爬到八卦板或是西斯板之类的
像是我要求看这个网页：
https://webptt.com/cn.aspx?n=bbs/Gossiping/M.1234567890.A.D55.html
回传却是这个：
https://webptt.com/cn.aspx?n=/ask/over18
在思考要怎麽把自己已满18岁认证的˙Cookies一起送给伺服器
乱试很多class：
System.Net.Cookie、HttpWebRequest、WebRequest...
结果都不行 因为其实我也不懂原理
请问有板友可以教学吗？非常感激！
-----
Sent from JPTT on my Xiaomi Redmi Note 4.
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 180.217.131.73
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/C_Sharp/M.1524643031.A.ED6.html
※ 编辑: l8PeakNeymar (180.217.131.73), 04/25/2018 15:58:43
1F：推 YahooTaiwan: over18 设成 1 呢? 04/25 16:09
2F：→ l8PeakNeymar: 有在Python教学看到这行 可是我是很基础的不懂QQ 04/25 16:10
3F：→ vi000246: 不要用C#写爬虫 cookie跟session会搞到烦死 04/25 18:08
4F：→ vi000246: 有个叫RestSharp的lib 不知道有没有支援cookie了 04/25 18:08
5F：→ vi000246: 你可以研究看看 04/25 18:08
6F：推 free112136: 用c#写爬虫不会有问题啊？cookie与seesion对client来 04/25 19:07
7F：→ free112136: 说都是cookie，会有问题表示cookie的处理不熟悉吧？ 04/25 19:07
8F：→ free112136: 我猜楼主是domain问题 04/25 19:08
9F：→ l8PeakNeymar: 我写C#但是没碰过网页 如果有范例愿意5000P酬谢 04/25 20:01
10F：→ MOONY135: 500P请直接转给我XDDD 04/25 22:48
11F：→ vi000246: C#遇到cookie麻烦的点在要把cookie用变数存起来 04/26 01:20
12F：→ vi000246: 每次的request都要取需要的cookie 04/26 01:20
14F：→ vi000246: 现在可能有比较方便的套件 或是我当时的写法比较不成熟 04/26 01:21
15F：→ vi000246: 不知道有没有更好的处理方式 04/26 01:21
16F：推 vi000246: 现在才看到有P币XD 那我讲解一下好了 32行宣告一个 04/26 01:29
17F：→ vi000246: HttpWebRequest 39行将CookieContainer初始化 04/26 01:29
18F：→ vi000246: 42~44行 将同意浏览18禁的cookie加到CookieContainer 04/26 01:30
19F：→ vi000246: 48~61行 组出一个post请求 64行取得回传结果 04/26 01:30
20F：推 free112136: 我从你给的原始码来看，因为你每次都是new新的request 04/26 07:58
21F：→ free112136: 物件，当然要用cookie要重设定 04/26 07:58
22F：→ vi000246: 原来如此 找时间来测一下 04/26 08:26
23F：推 vi000246: 已收到原po红包 谢谢 04/26 08:28
24F：→ vi000246: f大 我有个问题 如果要向不同url发请求 要怎麽用同一个 04/26 08:41
25F：→ vi000246: HttpWebRequest物件呢 04/26 08:42