作者dharma (达)
看板Soft_Job
标题[请益] 取得大量数据的管道？
时间Fri Jan 18 09:20:40 2019
一般人能拿到的大数据资料
除了股市、政府公开资讯(例如气象)
还有自己爬虫爬网页
之外可能还有什麽门路取得大量有品质的数据？
且不用花什麽钱的
一般人指的是没有身在什麽学术/研究单位
或相关的职场单位
thanks
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 211.72.78.253
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1547774443.A.BED.html
1F：→ pelicanper: 你这种问法的答案就是没有,最少给个领域吧 01/18 09:24
2F：→ william81615: 有品质 = 花钱整理过，你觉得对方为什麽要无偿提供 01/18 09:32
3F：推 neo5277: 国外是很多不过也都是本来就开放的，其他就要看相关社群 01/18 09:32
4F：→ neo5277: 有没有人放，剩下就是自己纪录 01/18 09:33
5F：推 novterm: kaggle啊 01/18 09:43
6F：推 IhateOGC: 健保资料库花钱就有搂 01/18 09:45
7F：→ IhateOGC: 台湾医疗资料连整个家族都有纪录 01/18 09:46
8F：推 deniel367: Microsoft Research 01/18 09:46
9F：推 vfgce: 内行人都知道健保资料库和垃圾没两样... 01/18 09:47
10F：→ vfgce: 一个一天看上百个患者的医生,你认为他的诊断码会多正确? 01/18 09:48
11F：→ vfgce: 更不用说为了开药而硬加上去的诊断码.. 01/18 09:49
12F：→ vfgce: 诊断都有问题了,做出来搞笑的结论也不意外.......... 01/18 09:50
13F：推 kokolotl: 美国官方很多问卷资料库可以抓 以前玩过brfss 01/18 10:01
14F：→ ChungLi5566: 嘉实资讯 20年前就开始卖金融资料库 01/18 10:18
15F：嘘 alihue: 想要有品质又不想花钱，去自己爬自己整理 01/18 10:29
16F：推 abc0922001: 现在满多资料政府都有开放OpenData了 01/18 10:32
17F：推 sean50301: 我们系上教授很爱用健保资料库发论文欸XD 01/18 10:37
18F：推 vi000246: 跟诈骗集团买 01/18 11:59
20F：推 purpleboy01: 曾经遇过期刊审稿意见说不要再用台湾健保资料库了 01/18 12:16
21F：推 lsk200000: github trending 01/18 12:17
22F：推 kerkercheng: 花钱crowd sourcing呀 01/18 13:19
23F：→ PoloHuang: 旧金山好像有opendata? 01/18 14:25
24F：推 chocopie: 健保资料库就是个聊胜於无的source 01/18 16:45
25F：→ chocopie: 问卷资料又比健保资料更难处理 01/18 16:46
26F：推 chuegou: 阿不就open data 01/18 19:33
27F：→ bean0917: 九楼V大说这些有证据吗？ 01/18 20:49
28F：→ bean0917: 刚好小弟也是这行的 01/18 20:49
29F：→ bean0917: 您真的知道健保审查过程跟作法？ 01/18 20:49
30F：→ bean0917: 或许真的有这状况但绝对是少数中的少数 01/18 20:49
31F：→ bean0917: 不要以偏概全，不懂装懂 01/18 20:49
32F：→ chocopie: 他可能分不清甚麽是诊断码跟医嘱 01/18 20:59
33F：推 mathrew: 有品质就是有人整理过 所以... 01/18 21:42
34F：→ viper9709: 推一二楼 01/19 00:59
35F：推 rocking5566: Imagenet 01/19 02:20
36F：推 vfgce: 呵呵,bean大,本人接触到跟这方面看到的绝对不比你少.... 01/19 07:59
37F：推 superpai: GitHub 01/19 07:59
38F：→ vfgce: 就曾有健保审查委员自己亲口说看不懂就删了再说... 01/19 08:00
39F：→ vfgce: 然後健保局还规定要删一定比例.所以都先删再说..反正医院 01/19 08:01
40F：→ vfgce: 一定会回覆... 01/19 08:03
41F：→ vfgce: 至於健保一堆规范才是造就出乱给诊断码的祸源... 01/19 08:04
42F：推 vfgce: 真正有用的资料根本不会在健保资料库... 01/19 08:10
43F：→ vfgce: 医学方面的研究,很多都是从自己医院的资料库再另外拉资料 01/19 08:11
44F：→ vfgce: 但对於其他领域的人,根本摸不到也不懂,只好从健保资料库 01/19 08:13
45F：→ vfgce: 去玩一下皮毛... 01/19 08:14
46F：→ ap954212: 中国政府 01/19 14:00
47F：嘘 angusyu: 要马儿好又要马儿不吃草。你要不要当那只马 01/19 14:11
48F：推 asa121: 请问有人知道制造业的资料要去哪边找吗? 需要自费的也可以 01/19 15:21
49F：→ asa121: 谢谢 01/19 15:21
50F：→ f496328mm: vfgce 删资料有好有坏，好是提高品质 01/19 23:52
51F：→ f496328mm: 坏是，删 data 等於在挑 data，资料跟实际状况会不同 01/19 23:53
52F：→ f496328mm: 政府有 opendata 但品质堪虑 01/19 23:58
53F：→ f496328mm: 除非医院真正想研发 DATA 这块 01/19 23:59
54F：→ f496328mm: 不然资料库都外包，品质真的很烂 01/19 23:59
55F：→ f496328mm: 制造业的话，kaggle 有生产线分析的比赛 01/20 00:01
56F：→ f496328mm: 真的要玩 DATA ，选国外的绝对比台湾好 01/20 00:01
57F：推 q10242: 政府有 open data 你是说这个吗 01/20 12:42
58F：推 asa121: 已找到制造业数据，感谢f49提供相关资讯。 01/20 16:33
59F：推 OhNo386: 你说的都是 google 一直做的呀 01/20 22:11
60F：推 OhNo386: 做免费软体或服务再从里面捞你要的 01/20 22:13
61F：推 vfgce: 健保资料库顶多用於流病公卫,而且其中的labeling是有问题的 01/21 10:19
62F：→ vfgce: 请小心服用.... 01/21 10:19
63F：→ vfgce: 很多真正的医学研究,用医院的资料库是因为真正有用的病人 01/21 10:20
64F：→ vfgce: 资讯是存在医院端的资料库,不会上传到健保资料库去 01/21 10:22
65F：→ vfgce: 资料库的内容有没有用,是看存的是怎样的资料,跟外包没有 01/21 10:24
66F：→ vfgce: 很大关系.. 01/21 10:24
67F：→ vfgce: 再差的医院端资料库,有用的东西可能还比健保资料库有用. 01/21 10:25
68F：→ vfgce: 健保资料库其实比较像流水帐,除了资料量超大,跨院区外,并没 01/21 10:26
69F：→ vfgce: 有比医院端资料库好 01/21 10:26
70F：→ taliao: AWS Public Dataset. 01/21 21:23