作者relievezaoc (Nine9)
看板Python
标题[问题] 爬虫资料存入db 并制作成api
时间Thu Apr 19 17:39:43 2018
目前的需求是想要将资料爬下来之後，再将资料存起来
并且可以做成一支api，让手机app呼叫直接取得json资料
google之後的想法如下:
1. 写好一个爬虫的py档, 并且将资料存到db
2. 要找一个平台, 可以定时执行py档（这样app才能一直捞到最新日期的资料)
3. 要找一个平台, 可以将db的资料变成api, 直接让其它人捞取
(想要让app可以call一段网址就能拿到资料, 就像openData一样)
--
目前找到好像（？）可以实作的平台是heroku
发现按照想法做，好像还要花上很多时间研究
例如爬到的资料要存到heroku的db 一点也没看懂怎麽做3口3
更不要说怎麽弄成api 实在不是复制贴上马上就可以看到测试结果的XD|||
想先确认想法没有完全走歪囧
请问这样的想法有问题吗？或是有没有其它的方式呢？
--
目的是想要练习自干前後端XD~~
後端负责把资料弄好, 手机app只要拿资料就对了XD"
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.241.179.223
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1524130786.A.536.html
1F：推 gojane20: 第2点可以用windows内建的工作排程器定期执行py档 04/19 17:45
唔 可是电脑会关机...@"@>
2F：→ uranusjr: Heroku 确实可以 04/19 17:50
感谢XD!
3F：推 vi000246: api可以用flask或hug来做 04/19 17:59
4F：→ vi000246: 上传到heroku就能写手机app去call这支api 04/19 17:59
如果熊熊搞不定heroku的db跟排程, 就用内建排程+flask试试@"@+
5F：推 fiorentino: 用flask 写个Restful 的API server再用uwsgi运行，放d 04/19 19:33
6F：→ fiorentino: igitalocean也可以 04/19 19:33
感谢提供其它方法 查了一下DigitalOcean居然没有free(惊
暂排後补解法+v+>|||
7F：推 TitanEric: 我有做过类似的 是存在MongoDB然後用Flask做一个rest A 04/19 19:48
8F：→ TitanEric: PI 04/19 19:48
9F：→ TitanEric: 补充一下排程我是用Linux的crontab就是了 要有server就 04/19 19:49
10F：→ TitanEric: 是了 04/19 19:49
感谢提供其它解法 嗯？直接用Flask就可以做API出来？我好好研究一下Flask是什麽囧
11F：→ coeric: google cloud platform 04/19 22:13
感谢提供其它解法 google居然也有这种功能@口@+ 插队先研究googleXD!!
12F：推 f496328mm: 可以用 MySQL 免费好架 04/19 23:28
13F：→ f496328mm: 我目前是用 crontab 每天抓data 存在MySQL 04/19 23:29
14F：→ f496328mm: 也有对外IP 只差在手机 app 04/19 23:29
15F：→ f496328mm: 如果是用中华电信 可以免费申请固定IP 04/19 23:30
16F：→ f496328mm: 再用 NO-IP 去转成实体网址 04/19 23:30
咦？MySQL是指搭配phpMyAdmin那个吗？那不就是把自己电脑当server吗？
这样电脑关了不就问网址就会拿到404吗@_@？
17F：→ coeric: 回楼上，既然都用no-ip了 ddns也可以处理这类问题 04/20 00:27
18F：推 Falldog: AWS lambda可以考虑一下 04/20 12:14
感谢提供其它解法 哦哦 是amazon的 也有免费用 加入口袋名单@_@+
19F：推 chessman416: 资料量体不大的话说不定google app script就可以解决 04/20 13:15
20F：→ chessman416: 也有排程可以设定，也可以透过get或post拿资料 04/20 13:16
感谢速解法@口@ google试算表有那麽厉害@口@!!!! 再...再插队研究这个XD!!
如果可以最快最简单弄出一个会动的东西 实在是很大的动力啊TvT
※ 编辑: relievezaoc (61.231.52.105), 04/20/2018 13:32:58
24F：→ chessman416: 可以参考这几篇，基本上运用方式很多元，小而巧 04/20 20:57
25F：→ chessman416: 临时搭建小服务很方便，我也有挂line bot的服务在这 04/20 21:00
26F：推 vi000246: 感谢分享 原来app script也能写api 04/20 22:16
27F：推 Luluemiko: 推 04/21 11:14