作者pig98520 (Jimmy)
看板Python
标题[问题] pandas爬虫被挡下来
时间Thu Feb 22 14:30:38 2018
各位版大好,刚接触python爬虫没多久,想要尝试抓取网站表格,
随便找了个股票网站,
http://stock.nlog.cc/b/1101
原本是使用bs4来爬,但是後来发现有pandas可以抓取表格,
因此想要尝试使用pandas,
程式码如下:
import pandas
url='
http://stock.nlog.cc/b/1101'
pd=pandas.read_html(url)
print(pd)
但是却出现了
ConnectionResetError: [WinError 10054] 远端主机已强制关闭一个现存的连线。
这样的文字,但是我尝试抓别的网站,却都没有问题,
想问一下这是甚麽状况?是被挡下来了吗?该怎麽解决?
先谢谢各位了~
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.226.218.20
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1519281042.A.9C5.html
1F：推 ckc1ark: 他会检查是否有传User-Agent的样子 02/22 16:21
2F：推 OnePiecePR: from fake_useragent import UserAgent 02/22 19:39
3F：→ pig98520: 我加上了header仍然会出现同样的问题耶~ 02/22 23:33
4F：→ WunoW: 我有读到，但产生另一个问题是回传的结果非常非常难看 02/23 01:38
5F：→ WunoW: 这可能反而是需要花更多时间的地方 02/23 01:39
6F：→ WunoW: 建议不好用的方法就不要用 02/23 01:39
7F：→ Kazimir: 其实我是建议你先用req拿回来再给pandas读啦 02/23 09:49
8F：→ Kazimir: 这样速度也会提升不少 02/23 09:50
9F：→ pig98520: 好的 谢谢～ 02/23 19:44