作者f496328mm (123)
看板Python
标题[讨论] 分享个人爬虫资料 ( PTT文章 )
时间Sat Nov 4 21:40:44 2017
分享给对text mining有兴趣的朋友
以下是我个人架设的 MySQL 平台
目前累积超过 500 万篇 ptt 文章 ( 包含八卦版，总共36GB )，连结如下
http://114.34.138.146/phpmyadmin/
另外以下连结是我的 github ，有对平台做一些介绍，
https://github.com/f496328mm/Crawler_and_Share
github中提供关於 py 连上 MySQL 的范例
1.
py_connect_sql_example.py，可自由取得 SQL 中的 data，该程式中已将格式转为
dataframe ，利於分析。
2.
upload_clean_data.py，可上传 data 的帐号，提供各位进行 data clean 後，
一个上传/分享的管道，这样就不需要每个人都进行 data clean，合作的概念。
程式中提供建立 data file 和上传 data 的范例。
PS : 如需其他 PTT 文章，可以私讯我，我会优先进行爬虫。
PS2: 本人在当兵中，放假不固定，有时间会上 github or ptt 进行回覆。
----------------------------------------------------------------------
另外即使我当兵期间，程式也设定好，每天爬取新文章 and 旧的文章，
基本上 500 万篇应该超过 PTT 一半以上的文章了吧?
如果有些版，特别多文章，而我没有注意到，麻烦再寄信提醒我，谢谢
---------------------------------------------------------------------
如果有建议也欢迎提供，本人数学系出身，这方面没什麽经验，
几乎都是土法炼钢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.36.63.132
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1509802847.A.AFB.html
1F：推 janice001: 。11/04 21:42
2F：推 shuwei12: 推 我也是用python写 还有搭配mail会通知11/05 01:32
3F：→ shuwei12: 为了抓股版的抄底王XD11/05 01:33
4F：推 goldflower: 话说我每次都在想 不想被放在ptt以外的人可以告吗XD11/05 01:41
5F：推 Sunal: 楼上是想说智财的重制跟散布？ 11/05 08:41
6F：→ vi000246: 站方本身是不允许这种备份行为的.. 只是抓不到11/05 11:14
7F：推 alan23273850: 如果不允许，那麽fb的出卖表特又该如何解释呢？11/05 20:47
8F：→ vi000246: 违反站规的事情你做了没被抓不代表站方默许11/06 12:29
9F：→ vi000246: 可以去看看PttAntiBot这个看板11/06 12:29
10F：→ vi000246: 如果是单个爬虫就算了 做了分散式爬虫算是DDOS了11/06 12:30
11F：→ vi000246: 要用法律治你也是可以的11/06 12:30
12F：→ f496328mm: 楼上其实说的没错，爬虫有点游走在法律边缘，甚至有些11/06 20:05
13F：→ f496328mm: 网站会挡，程式浏览网页跟人的行为非常不同，不难抓/ 11/06 20:05
14F：→ f496328mm: 挡11/06 20:05
15F：推 bluecadence: 除非要玩文字探勘不然架这个用途想不太出要做什麽，11/07 15:21
16F：→ bluecadence: 不如架一个股票股价相关资讯的资料库应该会大受欢迎11/07 15:23
17F：→ bluecadence: (纯属个人偏见)11/07 15:24
18F：→ bluecadence: 不过受欢迎後吃掉的频宽/资源就很可观了 :p11/07 15:27
19F：→ f496328mm: 我的目的就是text mining、nlp11/07 20:18
20F：→ f496328mm: 目前在当兵，PTT也快抓完了，会再去抓其他data11/08 07:10
※ 编辑: f496328mm (42.78.158.110), 11/10/2017 07:13:55
21F：推 chan15: 你中文都没遇到问题吗，我常遇到 cp950，即便对方编码是 u 11/13 12:11
22F：→ chan15: tf8 11/13 12:11
23F：→ f496328mm: chan，我目前都没遇到过，爬新闻、杂志等等都没遇到 11/13 19:40