作者truth1999 (真)
看板Python
标题[问题] 爬虫 - requests後的资料查询 (新手)
时间Sat Mar 17 10:48:51 2018
大家好，小弟刚接触python几天...
有个资料查询的问题一直无法解决
(
http://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx )
该网站查询的资料结果是url不变并以js呈现(请见谅非本科系的形容@@")
且结果若超过60笔，
才会出现下一页的按钮可以点选
所以碰到的问题是在显示资料之前
第2、3页...下一页的按钮不会出现
而按钮的方式是以javascripl：__doPostBack的方式写入
因此问题有两个：
1.我该如何才能获得第1页之後的资料
目前查到的方法好像要利用requests.session方法
但是怎麽写都跑不出来
2.有办法可以在查询後，直接利用"下载"这个按钮下载资料吗
爬文後不知道能否利用request後，再配合selenium
只是找到的文章大多是利用cookie带入，好像不适合这个网页
不知道是否有善心版友可以协助指导新手...
以下附上查询的code跟试着加入session的code
单纯查询一次性资料：
# -*- coding: utf-8 -*-
import requests
from bs4 import BeautifulSoup
import pandas as pd
resp =
requests.get('
http://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx')
soup = BeautifulSoup(resp.text, 'html5lib')
view_state = soup.find(id='__VIEWSTATE')['value']
event_validation = soup.find(id='__EVENTVALIDATION')['value']
viewstate_generator = soup.find(id='__VIEWSTATEGENERATOR')['value']
form_data = {
'__VIEWSTATE': view_state,
'__VIEWSTATEGENERATOR': viewstate_generator,
'__EVENTVALIDATION': event_validation,
'ctl00$contentPlaceHolder$txtStartDate':'106/12/01',
'ctl00$contentPlaceHolder$txtEndDate':'107/03/15',
'ctl00$contentPlaceHolder$ucCoopVegFruitMarket$radlMarketRange':'P',
'ctl00$contentPlaceHolder$ucCoopVegFruitMarket$lstMarket':'109',
'ctl00$contentPlaceHolder$ucCoopVegFruitMainProduct$radlProductType':'V',
'ctl00$contentPlaceHolder$ucCoopVegFruitMainProduct$lstProduct':'FA0',
'ctl00$contentPlaceHolder$dropProductClass':'1',
'ctl00$contentPlaceHolder$btnQuery':'查询'
}
resp =
requests.post('
http://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx',
data=form_data)
df = pd.read_html(resp.text)[6].dropna(axis=0, how='any')
print(df)
---------------------------------------------------------------------------
加上session，但是资料一直无法跳到第2页> < ：
import requests
from bs4 import BeautifulSoup
import pandas as pd
resp =
requests.get('
http://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx')
soup = BeautifulSoup(resp.text, 'html5lib')
with requests.session() as s:
s.headers['user-agent'] = 'Mozilla/5.0'
soup = BeautifulSoup(resp.content, 'html5lib')
target = (
'ctl00$contentPlaceHolder$dataPager$ctl02$ctl{:02d}'
)
# unsupported CSS Selector 'input[name^=ctl00][value]'
data = { tag['name']: tag['value']
for tag in soup.select('input[name^=ctl00]') if tag.get('value')
}
state = { tag['name']: tag['value']
for tag in soup.select('input[name^=__]')
}
data.update(state)
view_state = soup.find(id='__VIEWSTATE')['value']
event_validation = soup.find(id='__EVENTVALIDATION')['value']
viewstate_generator = soup.find(id='__VIEWSTATEGENERATOR')['value']
form_data = {
'__VIEWSTATE': view_state,
'__VIEWSTATEGENERATOR': viewstate_generator,
'__EVENTVALIDATION': event_validation,
'ctl00$contentPlaceHolder$txtStartDate':'106/12/01',
'ctl00$contentPlaceHolder$txtEndDate':'107/03/15',
'ctl00$contentPlaceHolder$ucCoopVegFruitMarket$radlMarketRange':'P',
'ctl00$contentPlaceHolder$ucCoopVegFruitMarket$lstMarket':'109',
'ctl00$contentPlaceHolder$ucCoopVegFruitMainProduct$radlProductType':'V',
'ctl00$contentPlaceHolder$ucCoopVegFruitMainProduct$lstProduct':'FA0',
'ctl00$contentPlaceHolder$dropProductClass':'1',
'ctl00$contentPlaceHolder$btnQuery':'查询'
}
#
data['ctl00$FhMainContent$FhContent$ctl00$AnalysesCourse$CustomPager$total']
resp =
requests.post('
http://amis.afa.gov.tw/m_coop/CoopVegFullMarketMainProd.aspx',
data=form_data)
soup = BeautifulSoup(resp.text, 'html5lib')
sl = soup.find_all("span")
last_page = '+'.join([span.get_text() for span in sl][-2])
# for page in range(last_page + 1):
for page in range(int(last_page)):
data['__EVENTTARGET'] = target.format(page)
df = pd.read_html(resp.text)[7].dropna(axis=0, how='any')
print(df)
谢谢大家
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 180.217.170.50
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1521254934.A.7ED.html
※ 编辑: truth1999 (180.217.170.50), 03/17/2018 10:51:12
1F：→ froce: 你都用selenium了，就直接用selenium模拟点击就好。 03/17 11:17
2F：→ froce: 这网站不需要登入也能下载，你应该不用去考虑cookies问题。 03/17 11:18
3F：→ froce: 当然如果要快的话，还是得用requests去找ajax的网址去取得 03/17 11:22
4F：→ froce: 结果。 03/17 11:22
5F：→ froce: 另外他是用ajax去取下一页，每次传回一页(60笔)的结果（htm 03/17 11:30
6F：→ froce: l）。 03/17 11:30
7F：→ froce: __doPostBack('ctl00$contentPlaceHolder$dataPager$ctl01$ 03/17 11:30
8F：→ froce: ctl0「页数减1」','') 03/17 11:30
9F：→ froce: 上面是他控制页数的javascript机制。 03/17 11:31
是的，只是妙的是，它的"下一页"js的控制页数都是使用
ctl00$contentPlaceHolder$dataPager$ctl02$ctl00，并且不会变动
所以我原本想简单一点，直接由结果抓到共x页，然後执行x-1次换页即可
10F：→ froce: 详细的话，得教你怎麽看browser的开发者工具，才能讲得清 03/17 11:32
11F：→ froce: 楚。 03/17 11:32
12F：→ froce: 只能说你选错网站了，新手没网页整体基础学爬虫，爬到asp w 03/17 11:35
13F：→ froce: eb form就是个悲剧，最简单就是利用selenium去模拟人点击了 03/17 11:35
14F：→ froce: 。 03/17 11:35
15F：→ truth1999: 请问f大，所以尽管它是使用doPostBack，还是可以将 03/17 11:49
16F：→ truth1999: ajax所得到html解出来吗? 03/17 11:51
17F：→ truth1999: 一开始是学selenium，不过碰到选日期的年、月卡住 03/17 11:52
18F：→ truth1999: 选不了年跟月，所以才学requests，途中也发现我好像选 03/17 11:53
19F：→ truth1999: 错网站了(选到大魔王之类的...)，先谢谢您的回覆，感恩 03/17 11:53
20F：推 froce: 他执行选页动作後，传回的结果就是当页的html。 03/17 13:18
21F：推 froce: 另外你要选日期，就照日期格式，对input做.send_keys()就 03/17 13:22
22F：→ froce: 行了啊。 03/17 13:22
23F：→ froce: input.send_key("107/03/17")类似这样。 03/17 13:22
24F：推 froce: 基本上，asp web form会送很多框架使用的request field， 03/17 13:25
25F：→ froce: 并且使用ajax去做很多的动作，很容易造成初学爬虫者混淆。 03/17 13:25
26F：→ vi000246: 还好啦 asp.net都是用固定的控制项 去网路找一定有解法 03/17 14:21
27F：→ vi000246: 不像其他网页 各种换页方式都有 解读起来比较复杂 03/17 14:22
28F：推 vi000246: 你按F12 观察它换页按钮的html 会呼叫javascript 03/17 14:29
29F：→ vi000246: 按下去会将值赋到隐藏栏位再post 再观察network 03/17 14:29
30F：→ vi000246: 里的变数 就大概知道asp.net运作的原理了 03/17 14:30
31F：推 froce: 我们看惯的当然还好啊。哈 03/17 14:32
33F：→ vi000246: asp.net的网页是最好google的 不像其他的要靠临机应变XD 03/17 14:33
34F：→ alansyue: selenium 03/17 14:51
35F：推 froce: 哈，v你这样说也对，因为看到要爬都已经习惯性的开开发者模 03/17 17:20
36F：→ froce: 式直接看送啥request了，根本没想到对asp web form来google 03/17 17:20
37F：→ froce: 爬虫。Orz 03/17 17:20
谢谢f大、v大跟a大的回覆与建议，v大提到的部份我有注意到
承上回覆，所以我有尝试将换页按钮js的dopostback参数写入。
不管是页码按钮(值为页数-1)、或者是下一页按钮(值不变)，
还是写不出如何在第一次取得requests後，再送出eventTarget
来拿到下一页的查询结果...
可能是因为此网站的设定是，要取到第一次的查询後，
才会观察(搜寻?)到eventTarget，所以这是我困扰的点><
※ 编辑: truth1999 (180.217.170.50), 03/17/2018 18:02:07
38F：推 coeric: 注意第二页开始，有多些参数要送 03/18 01:09
39F：→ coeric: hfldTransVolume、hfldTransAmount、hfldAvgPrice 这三个 03/18 01:10
40F：→ coeric: 我可正常爬完(不过code很乱，整理完再分享了) 03/18 01:11
41F：→ truth1999: 谢谢c大指点，我自己也来试试看 03/18 02:24
谢谢C大的资讯，真的在第二页开始加上参数就可以了
超级感谢您
※ 编辑: truth1999 (180.217.170.50), 03/18/2018 14:07:34
42F：→ coeric: 一楼的froce才是重点，要去看开发者模式 03/19 13:15