作者starlin2 (找房子找房子找房子～)
看板Python
标题[问题] 如何爬虫会每日更新网站？
时间Mon Jan 8 14:18:01 2018
不好意思爬虫初学，
目前想要爬法拍屋查询，
http://aomp.judicial.gov.tw/abbs/wkw/WHD2A00.jsp
我目前可以找到他查询出来TABLE的网址，并用GET去取得资料秀出来～
目前程式查询的是宜兰县头城镇的法拍屋
import pandas
dfs = pandas.read_html("
http://aomp.judicial.gov.tw/abbs/wkw/WHD2A03.jsp?
CB9A40A9FDA4E10666512BC4C2A180D2=C13752ECCB9567ECF0193DDCAFF6EF5A&hsimun=
%A9y%C4%F5%BF%A4&ctmd=%C0Y%AB%B0%C2%ED&saledate1=&saledate2=&crmyy=&crmid=
&crmno=&dpt=&minprice1=&minprice2=&saleno=&area1=&area2=®isteno=&checkyn=
all&emptyyn=all&rrange=%A4%A3%A4%C0&comm_yn=&owner1=&order=odcrm&courtX=
ILD&proptypeX=C52&saletypeX=1&query_typeX=db")
currency = dfs[0]
currency = currency.ix[5:,4:6]
currency.columns = [u'',u'',u'']
print (currency)
执行後可以成功得到头城镇的拍卖资料....
5 房屋地址/楼层面积 总拍卖底价(元)
6 宜兰县头城镇忠孝新村68号 4 坪 x 4分之1 建物拍卖底价:....
7 宜兰县头城镇忠孝新村68号 16 坪 x 4分之1 建物拍卖底价:....
8 宜兰县头城镇协天路653号4楼 22 坪 x 全部 建物拍卖底价: ....
9 宜兰县头城镇头滨路2段146号 89 坪 x 100000分之16667 建物拍卖底价
10 宜兰县头城镇福成路210号 44 坪 x 100000分之12500 建物拍卖底价:
11 NaN NaN NaN
不过他的这个连结每天按下查询都会不一样，这样的话我要怎麽去爬他的资料呢？
--
寻找理想中的房子～
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 150.116.183.188
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1515392285.A.75C.html
1F：推 Sunal: 爬出来的放data到资料库 比对update or create 01/08 14:19
2F：→ coeric: 看到这篇...突然想到我该做的事 还没完成..... 01/08 14:31
3F：→ coeric: 目前一直都是刷掉抓最新的 历史的还没去爬...提醒我了 01/08 14:31
Sorry....我好像瞄述的不太清楚，是按下查询的那个网址，今天一整天的网址都会一样，
不过明天再用一样的程式去抓就抓不到了，因为那个网址会不一样～
就是read_html("这里面的网址会每天不同")
※ 编辑: starlin2 (150.116.183.188), 01/08/2018 16:12:20
4F：→ blc: 从不会变的网址开始抓 01/08 18:54
5F：推 coeric: 有API可以用阿...别傻傻的去爬 01/09 07:55
6F：推 yimean: 请问要如何取得API？ 01/09 10:03
7F：→ coeric: opendata 01/09 13:43
8F：推 vi000246: 用字号当key 重覆的不抓 01/10 23:17