作者relievezaoc (Nine9)
看板Python
標題[問題] 爬蟲資料存入db 並製作成api
時間Thu Apr 19 17:39:43 2018
目前的需求是想要將資料爬下來之後，再將資料存起來
並且可以做成一支api，讓手機app呼叫直接取得json資料
google之後的想法如下:
1. 寫好一個爬蟲的py檔, 並且將資料存到db
2. 要找一個平臺, 可以定時執行py檔（這樣app才能一直撈到最新日期的資料)
3. 要找一個平臺, 可以將db的資料變成api, 直接讓其它人撈取
(想要讓app可以call一段網址就能拿到資料, 就像openData一樣)
--
目前找到好像（？）可以實作的平臺是heroku
發現按照想法做，好像還要花上很多時間研究
例如爬到的資料要存到heroku的db 一點也沒看懂怎麼做3口3
更不要說怎麼弄成api 實在不是複製貼上馬上就可以看到測試結果的XD|||
想先確認想法沒有完全走歪囧
請問這樣的想法有問題嗎？或是有沒有其它的方式呢？
--
目的是想要練習自幹前後端XD~~
後端負責把資料弄好, 手機app只要拿資料就對了XD"
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.241.179.223
※ 文章網址: https://webptt.com/m.aspx?n=bbs/Python/M.1524130786.A.536.html
1F：推 gojane20: 第2點可以用windows內建的工作排程器定期執行py檔 04/19 17:45
唔 可是電腦會關機...@"@>
2F：→ uranusjr: Heroku 確實可以 04/19 17:50
感謝XD!
3F：推 vi000246: api可以用flask或hug來做 04/19 17:59
4F：→ vi000246: 上傳到heroku就能寫手機app去call這支api 04/19 17:59
如果熊熊搞不定heroku的db跟排程, 就用內建排程+flask試試@"@+
5F：推 fiorentino: 用flask 寫個Restful 的API server再用uwsgi運行，放d 04/19 19:33
6F：→ fiorentino: igitalocean也可以 04/19 19:33
感謝提供其它方法 查了一下DigitalOcean居然沒有free(驚
暫排後補解法+v+>|||
7F：推 TitanEric: 我有做過類似的 是存在MongoDB然後用Flask做一個rest A 04/19 19:48
8F：→ TitanEric: PI 04/19 19:48
9F：→ TitanEric: 補充一下排程我是用Linux的crontab就是了 要有server就 04/19 19:49
10F：→ TitanEric: 是了 04/19 19:49
感謝提供其它解法 嗯？直接用Flask就可以做API出來？我好好研究一下Flask是什麼囧
11F：→ coeric: google cloud platform 04/19 22:13
感謝提供其它解法 google居然也有這種功能@口@+ 插隊先研究googleXD!!
12F：推 f496328mm: 可以用 MySQL 免費好架 04/19 23:28
13F：→ f496328mm: 我目前是用 crontab 每天抓data 存在MySQL 04/19 23:29
14F：→ f496328mm: 也有對外IP 只差在手機 app 04/19 23:29
15F：→ f496328mm: 如果是用中華電信 可以免費申請固定IP 04/19 23:30
16F：→ f496328mm: 再用 NO-IP 去轉成實體網址 04/19 23:30
咦？MySQL是指搭配phpMyAdmin那個嗎？那不就是把自己電腦當server嗎？
這樣電腦關了不就問網址就會拿到404嗎@_@？
17F：→ coeric: 回樓上，既然都用no-ip了 ddns也可以處理這類問題 04/20 00:27
18F：推 Falldog: AWS lambda可以考慮一下 04/20 12:14
感謝提供其它解法 哦哦 是amazon的 也有免費用 加入口袋名單@_@+
19F：推 chessman416: 資料量體不大的話說不定google app script就可以解決 04/20 13:15
20F：→ chessman416: 也有排程可以設定，也可以透過get或post拿資料 04/20 13:16
感謝速解法@口@ google試算表有那麼厲害@口@!!!! 再...再插隊研究這個XD!!
如果可以最快最簡單弄出一個會動的東西 實在是很大的動力啊TvT
※ 編輯: relievezaoc (61.231.52.105), 04/20/2018 13:32:58
24F：→ chessman416: 可以參考這幾篇，基本上運用方式很多元，小而巧 04/20 20:57
25F：→ chessman416: 臨時搭建小服務很方便，我也有掛line bot的服務在這 04/20 21:00
26F：推 vi000246: 感謝分享 原來app script也能寫api 04/20 22:16
27F：推 Luluemiko: 推 04/21 11:14