作者eecheng87 (EEcheng)
看板Python
标题[问题]如何爬取即使产生的资料
时间Wed Nov 20 21:11:56 2019
各位大大好，目前我在练习拿中央气象局的各地温度，但是用requests.get拿到的程式码
都不含温度的资料，他们好像会即时产生，程式码只有表格的雏型，想请问有神麽办法能
用爬虫的方式拿到吗?谢谢。
以下附上网址，表格在123行开始。
https://www.cwb.gov.tw/V8/C/W/OBS_County.html?ID=64
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 140.116.103.162 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1574255518.A.BA7.html
※ 编辑: eecheng87 (140.116.103.162 台湾), 11/20/2019 21:13:33
※ 编辑: eecheng87 (140.116.103.162 台湾), 11/20/2019 21:18:30
※ 编辑: eecheng87 (140.116.103.162 台湾), 11/20/2019 21:19:01
1F：→ dennisxkimo: 资料是叫用api回传内容 所以你爬这页看到表格 没资料 11/20 22:01
2F：→ dennisxkimo: 网页原始码看的出来 高雄市 11/20 22:02
3F：→ dennisxkimo: www.cwb.gov.tw/Data/js/Observe/County/64.js 11/20 22:02
4F：→ dennisxkimo: 如果非静态网页 叫api回资料 反而要看懂他怎麽叫 11/20 22:04
5F：→ eecheng87: 所以这个应该是动态网页?所以应该没办法走找寻selector 11/20 22:11
6F：→ eecheng87: 取值这条路了吧?那请问有神麽套件或api可以解决这个问 11/20 22:11
7F：→ eecheng87: 题吗? 11/20 22:11
8F：→ dennisxkimo: 这种就不用爬 直接就给资料了 只要parse就好了 11/20 22:44
9F：→ hoho8: 气象局有资料开放平台，直接用json取值比较快啦 11/21 05:34
10F：→ eecheng87: 感谢各位的意见，我再试试 11/21 08:47
11F：→ dennisxkimo: 不一定要找出api来源 有api的call api比较有效率而已 11/21 15:59
12F：→ dennisxkimo: 关键字 python webdriver ajax google一下吧 11/21 16:01
13F：→ dennisxkimo: 模拟浏览 爬资料 与 直接拿到资料的分别而已 11/21 16:02
14F：→ a9301040: 你找错地方了，找中央气象局 opendata，有api可以串， 11/22 11:50
15F：→ a9301040: 很容易 11/22 11:50
16F：→ dennisxkimo: 原po表示练习 猜他不是真的要资料而是这类网页如何 11/22 19:54
17F：→ dennisxkimo: 取 11/22 19:54
18F：→ blc: 开 selenium 吧。 11/24 06:26
19F：→ blc: 要资料的话请找opendata，要从网页抓资料的话请用 selenium 11/24 06:29
20F：推 ilove0618: 他是动态产生的，之前爬过一次楼上说的ajax那些搞懂就 11/26 10:38
21F：→ ilove0618: 很好爬了 11/26 10:38