作者ansem (DoubleA)
看板Python
标题[问题] 证交所集保库存的特殊字元抓取问题。
时间Tue Jan 17 15:15:50 2017
小弟我想要抓取证交所集保库存的资料然後Print出来，使用的Python3.5，
目前发生的问题是在抓取台积电或是台泥等都没有问题，但是假如是一些特
殊的公司如"美吉吉-KY"就会发生编码问题，而我在以下程式码中
Tdcc.parse(webcode.read().decode('cp950')) 也使用过utf-8
基本上都还是会出问题，请问到底是编码的问题？还是是code本身有误？
还请各位赐教，以下是我的程式码(假如要改看台积电就把url里面的8466改成2330就好)
：
# -*- coding: utf8 -*-
# coding: utf8
import urllib.request, urllib.parse, urllib.error, codecs
from html.parser import HTMLParser
def TdccData(URL):
webcode = urllib.request.urlopen(URL) #解析网页开始
if webcode.code == 200:
Tdcc = ParseWebData()
#Tdcc.parse(webcode.read().decode('cp950'))
Tdcc.parse(webcode.read().decode('utf-8-sig'))
#Tdcc.parse(webcode.read())
Tdcc.close()
if len(Tdcc.cell) > 0 :
return Tdcc.cell
else:
return []
class ParseWebData(HTMLParser):
def __init__(self): #初始化class等同constructor
HTMLParser.__init__(self)
def reset(self): #初始化变数数值
HTMLParser.reset(self)
self.headname = False
self.center = False
self.right = False
self.cell = []
self.centercount = 0
self.rightcount = 0
def parse(self,data): #解析网页
self.feed(data)
self.close()
def handle_starttag(self, td, attrs):
for name,value in attrs:
if name =='class' and value == 'wuc9':
self.headname = True
if name =='align' and value == 'center':
self.center = True
self.centercount+=1
if name =='align' and value == 'right':
self.right = True
self.rightcount+=1
def handle_data(self, text): #开始读取集保资料到暂存list中
if self.headname:
self.headname = False #print text
if self.center:
if self.centercount == 1:
self.center = False #print "center : " + text
if self.centercount == 2:
self.center = False #print "center : " + text
self.centercount = 0
if self.right :
if self.rightcount == 1:
self.cell.append(text.strip().replace(",", "")) #print "right : " + text
self.right = False
if self.rightcount == 2:
self.cell.append(text.strip().replace(",", "")) #print "right : " + text
self.right = False
if self.rightcount == 3:
self.cell.append(text.strip()) #print "right : " + text
self.rightcount = 0
self.right = False
def main():
url =
"
http://www.tdcc.com.tw/smWeb/QryStock.jsp?SCA_DATE=20170113&SqlMethod=StockNo&StockNo=8466&StockName=&sub=%ACd%B8%DF"
cell = TdccData(url)
print(cell)
if __name__ == "__main__":
main()
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.124.166.19
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1484637353.A.4B3.html
2F：→ ckc1ark: 应该是 (木熙) 这个字 01/17 15:49
3F：→ ansem: 太神了，真的有用耶~感谢你 01/17 16:00