作者taxi550 (小姐到哪)
看板Python
标题[心得] 取得联合报历史头版
时间Mon Jan 5 13:40:39 2015
联合报有个网站可以看到各年的头版，分享抓取的程式，参考参考..
2014-01-06 改为多执行绪
------------------------------------------------------------
#!/usr/bin/env python
#!coding=utf-8
import os
import sys
import time
import pycurl
import datetime
import threading
from PIL import Image
from StringIO import StringIO
class GetPic(threading.Thread):
def __init__(self, string, id):
threading.Thread.__init__(self)
self.setName(str(id))
self.lastLen = 1
self.lock = threading.Lock()
def run(self):
while 1:
#取得锁定
if self.lock.acquire():
#取出年份
if len(PP):
#取得任务
self.y = PP.pop(0)
self.lock.release()
else:
#已经没有任务了，退出线程
self.lock.release()
print time.strftime("%Y-%m-%d %H:%M:%S",
time.localtime())+" Thread id:"+self.getName()+" 结束."
#跳出回圈线程结束
break
else:
continue
#确认年份目录
self.yString = str(self.y)
self.path = os.path.normpath(path+"/"+self.yString)
if not os.path.isdir(self.path):
os.makedirs(self.path)
print "目录 "+self.path+" 不存在,产生新目录."
print time.strftime("%Y-%m-%d %H:%M:%S",
time.localtime())+" Thread id:"+self.getName()\
+" 开始撷取 "+self.yString+"年."
#取出月份
for self.m in xrange(1, 13):
#1951年9月16日前资料不存在所以跳过,写法不是很好，将就一下
if self.y == 1951 and self.m < 9:
continue
#未来资料不存在所以跳过
if self.y == now.tm_year and self.m > now.tm_mon:
continue
#帮月份小於十的月份前加上0
if self.m < 10:
self.mString = "0"+str(self.m)
else:
self.mString = str(self.m)
#取出日期
for self.d in xrange(1, 32):
#未来资料不存在所以跳过
if self.y == now.tm_year and self.m == now.tm_mon \
and self.d > now.tm_mday:
continue
self.dString = str(self.d)
#帮日期小於十的日期前加上0
if self.d < 10:
self.dString = "0"+self.dString
#产生下载日期
self.date = self.yString+self.mString+self.dString
#产生下载档名
self.savefile = os.path.normpath(self.path+"/"+self.date+".jpg")
#图片已存在或已下载就略过
if os.path.isfile(self.savefile):
#print self.savefile+" 已存在."
continue
else:
#尝试下载图片
try:
self.buffer = StringIO()
self.c = pycurl.Curl()
self.c.setopt(self.c.URL, picUrl+self.date)
self.c.setopt(self.c.WRITEFUNCTION, self.buffer.write)
self.c.perform()
self.c.close()
except:
#下载图片失败
continue
else:
#图片是"本日无出报"或图片跟前天重复就不储存了
if self.buffer.len < 19000 or self.buffer.len == self.lastLen:
#print self.savefile+" buffer.len="+str(self.buffer.len)+ \
# " lastLen="+str(self.lastLen)
continue
#储存图片
try:
self.buffer.seek(0)
self.lastLen = self.buffer.len
self.im = Image.open(self.buffer)
self.im.save(self.savefile, 'JPEG')
except:
#储存图片失败
print time.strftime("%Y-%m-%d %H:%M:%S",
time.localtime())+" 储存 "+self.savefile+" 失败."
pass
else:
#储存图片成功
#print time.strftime("%Y-%m-%d %H:%M:%S",
# time.localtime())+" 储存 "+self.savefile+" 成功."
pass
time.sleep(0.1)
def main():
global now, PP, picUrl, path
#今天日期
now = datetime.datetime.now().timetuple()
#年份范围
PP = range(1951, now.tm_year+1)
#下载网址
picUrl = r"
https://event.franklin.com.tw/C2014_11_TGF/showimg.aspx?date="
#存档路径
path = os.path.normpath(os.path.dirname(__file__)+"/pic")
#存档目录不存在
if not os.path.isdir(path):
try:
os.makedirs(path)
except:
print "产生存档目录 "+path+" 失败."
sys.exit()
else:
print "存档目录 "+path+" 不存在,产生新目录."
print "图片将储存於 "+path+" 目录."
#启动 Thread
for i in xrange(1, 6):
GetPic('ThreadFun', i).start()
time.sleep(0.1)
if __name__ == '__main__':
main()
---------------------------------------------------------------------
--
标题 [讨论]
为什麽女生殖器要叫做"鸡掰"?
我翻了诸多成人历史书籍也没看过有人写"鸡掰"
→ darkmanx2:
http://0rz.tw/CIAJQ 08/11 21:43
干,我亲戚都在旁边,你害死我了
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 220.132.215.155
※ 文章网址: http://webptt.com/cn.aspx?n=bbs/Python/M.1420436445.A.4E3.html
1F：推 TW185930: 推 01/05 13:47
2F：推 DemonDeath: 为啥要比对图片相似度? 01/05 15:33
3F：推 lc85301: 我同学写的，好像有加平行来变快 01/05 15:41
※ 编辑: taxi550 (220.132.215.155), 01/05/2015 17:50:35
5F：推 Seudo: 强者我同学 01/05 18:44
※ 编辑: taxi550 (220.132.215.155), 01/06/2015 00:41:21
※ 编辑: taxi550 (220.132.215.155), 01/06/2015 18:42:42
※ 编辑: taxi550 (220.132.215.155), 01/06/2015 18:46:18
6F：推 drajan: 感觉这资料很有趣 open source先推!XD 01/07 13:21
7F：推 shaform: 感觉是很强的同学耶 @@ 01/11 12:43