作者yinxuanh (飘飘然)
看板Python
标题[心得] 小爬虫实做分享
时间Sun Mar 26 20:41:41 2017
github网址:
https://github.com/yin-xuanHuang/web_crawler_ptt_gamesale
爬虫目标是PTT gamesale 板的买卖文,
只要是在白名单的文章分类大部分会爬进去
(文章标题不符会跳过)。
将爬到的资料都用字串存在sqlite资料库里,
有用关联式的资料库。
还有很大改进的空间,
希望大大能指点。
初学git(大部分在udacity学的)
How to Use Git and GitHub
https://www.udacity.com/course/how-to-use-git-and-github--ud775
初学python(大部分在coursera学的)
Intro to Computer Science (udacity)
https://www.udacity.com/course/intro-to-computer-science--cs101
Python for Everybody Specialization(coursera)
https://www.coursera.org/specializations/python
请多多指教。
有站内信问目标课程,这里统一回应。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 125.231.219.77
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1490532104.A.C91.html
1F:→ MOONY135: 比较好奇你是整篇文章存 还是有过滤特殊字串? 03/27 08:16
你好,
内容有过滤特殊字串,
像是★、空白、大的空白、换行、发文提醒的范例文字,
最後也有过滤"【"、":" --->用这些判断区间,
像是 "物品名称" 存字串由":"到下个"【"之间,
内容分:八个区段:
1. 物品名称
2. 游戏分级
3. 语系版本
4. 徵求价 or 售价
5. 交易方式
6. 保存状况
7. 地区
8. 附注
TODO:交换的区段
※ 编辑: yinxuanh (111.253.153.59), 03/27/2017 12:21:42
※ 编辑: yinxuanh (118.170.72.158), 03/30/2017 12:37:13