作者ms0344303 (我不玩了)
看板Database
标题[讨论] api到db的定期资料串流
时间Wed Apr 13 11:41:44 2022
如标题
敝人有一个case需要定期从某个api取得资料 稍微处理 并塞入到指定db中
同时往後有其他api资料来源的话因为格式可能不同
需要做针对异质资料来源其他处理模组 整合成统一格式再塞入
简单来说就是整合异质资料并同质化的data loader
除了用比较土炮的爬虫脚本服务化之外
还有比较好用的方式吗
企业方向的解决方案也可？
感谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 101.10.11.173 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Database/M.1649821306.A.BB8.html
1F：→ MOONY135: 这种东西不会有企业解决方案 自己写吧 04/16 21:35
2F：→ ms0344303: 後来找到了 一堆公司在做这个... 04/17 10:28
3F：→ ms0344303: airbyte hevodata fivetran 国产也有netpro... 04/17 10:28
4F：→ ms0344303: 还有免伺服器企业托管订阅机制 04/17 10:29
5F：→ yaurtusn: 一窝蜂 06/03 10:18