作者starlin2 (找房子找房子找房子～)
看板Python
標題[問題] 如何爬蟲會每日更新網站？
時間Mon Jan 8 14:18:01 2018
不好意思爬蟲初學，
目前想要爬法拍屋查詢，
http://aomp.judicial.gov.tw/abbs/wkw/WHD2A00.jsp
我目前可以找到他查詢出來TABLE的網址，並用GET去取得資料秀出來～
目前程式查詢的是宜蘭縣頭城鎮的法拍屋
import pandas
dfs = pandas.read_html("
http://aomp.judicial.gov.tw/abbs/wkw/WHD2A03.jsp?
CB9A40A9FDA4E10666512BC4C2A180D2=C13752ECCB9567ECF0193DDCAFF6EF5A&hsimun=
%A9y%C4%F5%BF%A4&ctmd=%C0Y%AB%B0%C2%ED&saledate1=&saledate2=&crmyy=&crmid=
&crmno=&dpt=&minprice1=&minprice2=&saleno=&area1=&area2=®isteno=&checkyn=
all&emptyyn=all&rrange=%A4%A3%A4%C0&comm_yn=&owner1=&order=odcrm&courtX=
ILD&proptypeX=C52&saletypeX=1&query_typeX=db")
currency = dfs[0]
currency = currency.ix[5:,4:6]
currency.columns = [u'',u'',u'']
print (currency)
執行後可以成功得到頭城鎮的拍賣資料....
5 房屋地址/樓層面積 總拍賣底價(元)
6 宜蘭縣頭城鎮忠孝新村68號 4 坪 x 4分之1 建物拍賣底價:....
7 宜蘭縣頭城鎮忠孝新村68號 16 坪 x 4分之1 建物拍賣底價:....
8 宜蘭縣頭城鎮協天路653號4樓 22 坪 x 全部 建物拍賣底價: ....
9 宜蘭縣頭城鎮頭濱路2段146號 89 坪 x 100000分之16667 建物拍賣底價
10 宜蘭縣頭城鎮福成路210號 44 坪 x 100000分之12500 建物拍賣底價:
11 NaN NaN NaN
不過他的這個連結每天按下查詢都會不一樣，這樣的話我要怎麼去爬他的資料呢？
--
尋找理想中的房子～
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 150.116.183.188
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1515392285.A.75C.html
1F：推 Sunal: 爬出來的放data到資料庫 比對update or create 01/08 14:19
2F：→ coeric: 看到這篇...突然想到我該做的事 還沒完成..... 01/08 14:31
3F：→ coeric: 目前一直都是刷掉抓最新的 歷史的還沒去爬...提醒我了 01/08 14:31
Sorry....我好像瞄述的不太清楚，是按下查詢的那個網址，今天一整天的網址都會一樣，
不過明天再用一樣的程式去抓就抓不到了，因為那個網址會不一樣～
就是read_html("這裡面的網址會每天不同")
※ 編輯: starlin2 (150.116.183.188), 01/08/2018 16:12:20
4F：→ blc: 從不會變的網址開始抓 01/08 18:54
5F：推 coeric: 有API可以用阿...別傻傻的去爬 01/09 07:55
6F：推 yimean: 請問要如何取得API？ 01/09 10:03
7F：→ coeric: opendata 01/09 13:43
8F：推 vi000246: 用字號當key 重覆的不抓 01/10 23:17