作者ponwar87123 (干我屁事喔北七)
看板Python
标题[问题] 用BeautifulSoup解析的网页码与原本不同
时间Wed Jul 11 12:09:06 2018
url = '
http://www.58b.tv/vod-play-id-87084-sid-0-pid-1.html'
html = urllib.request.Request(url,headers = headers)
req = urllib.request.urlopen(html).read().decode('utf-8')
soup = BeautifulSoup(req,features = 'lxml')
这是我喂给beautifulsoup的程式码
我要抓取的内容是那个网页里面的"xfplay://dna.xxxxxxxx"也就是"先锋传送门"那里的连结
但我发现beautifulsoup怎麽样也抓不到
於是我直接print(soup)来看
发现没有那个"xfplay://"
怎麽会这样@@ 该怎麽办
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.24.117.198
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1531282149.A.C70.html
1F：推 Kazimir: 那个网址看起来是js组出来的 我觉得你要是不想动脑筋 07/11 17:18
2F：→ Kazimir: 就用web-driver跑一遍自然有 不然的话你看response 293行 07/11 17:19
3F：→ Kazimir: 那段应该是给js的资料 我猜应该可以用这个拼出下一层 07/11 17:22
4F：→ Kazimir: 然後再从第二个档案拿拨放器的url 07/11 17:23
我目前是有在该网页的右键-检查-network中发现某一个"name"里面包含我要的网址，
我该怎麽取得那里的资料呢
※ 编辑: ponwar87123 (36.227.137.209), 07/11/2018 19:47:39
5F：→ TakiDog: .name .herf 可以直接取值 没记错的话 07/12 02:47
6F：→ TakiDog: 等等name 在network 他是个封包吧，看你浏览器喂给他什 07/12 02:48
7F：→ TakiDog: 麽去处理 07/12 02:48
8F：→ ponwar87123: 那我应该怎麽取得那个封包呢 07/13 01:33
9F：→ TakiDog: 看你那个封包怎麽传带了什麽资讯，用Python仿造出来，依 07/13 19:26
10F：→ TakiDog: 照你的说法你要的网址就在回应中 07/13 19:26