作者EasonWW (R)
看板Python
标题[问题] 抓取限定区间日期的PTT文章
时间Sat Sep 1 13:58:04 2018
大家好,小弟最近在学习上遇到一个问题
先跟大家说一下,因为我希望短期有个明确的成果,来鼓励自己学习下去
因此在学习一些最最最基本的概念後,决定找一个已经被编辑好的code
从对方的code中,透过了解每行code的意义与用法後,希望最後可以理解并运用这个code
所以我选择之前在网路上看到的一则爬PTT图片的code来学习(因为看到很多心得分享文章,都说小成果的第一次是爬出PPT的图片)
但是那边主要是爬,当日的PTT文章,想请问如何把日期的限制,改成特定日期或特定区间的日期
而非只有针对当日新增的文章做爬文动作。以下是该code针对时间限制的段落
if __name__ == '__main__':
current_page = get_web_page(PTT_URL + '/bbs/Beauty/index.html')
if current_page:
articles = [] # 全部的今日文章
date = time.strftime("%m/%d").lstrip('0') # 今天日期, 去掉开头的 '0'
以符合 PTT 网站格式
current_articles, prev_url = get_articles(current_page, date) # 目前
页面的今日文章
while current_articles: # 若目前页面有今日文章则加入 articles,并回到
上一页继续寻找是否有今日文章
articles += current_articles
current_page = get_web_page(PTT_URL + prev_url)
current_articles, prev_url = get_articles(current_page, date)
"%m/%d" 如果这个是当日日期,要如何改变日期限制呢?再麻烦各位大大了谢谢!
我知道可能有人会觉得我的学习方式有点偏门,但是实在是为了有些成果来鼓励自己...
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.254.43.45
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1535781486.A.CE4.html
1F:推 s8300355: 直接从爬到的资料去限制时间应该可以吧 09/01 16:08
2F:→ EasonWW: 请问大大是什麽意思,我用这个爬都只会有当天的文章...这 09/01 19:26
3F:→ EasonWW: 样要从何限制呢?抱歉太菜 09/01 19:26
4F:→ TakiDog: "python 时间计算" datetime 等等.. 时间不只有字串状态 09/02 01:23
6F:→ CodingMan: 自动就是二元搜寻到你想要的日期的第一篇 然後爬文直到 09/02 17:00
7F:→ CodingMan: 不是你想要的日期 09/02 17:00
8F:→ CodingMan: 简单一点就是你先自己把该日期起始编号跟结束编号找出 09/02 17:01
9F:→ CodingMan: 来 然後用爬文API 去帮你爬完 09/02 17:01