作者TZULIU (消费券收购商)
看板Python
标题[问题] Python2 unicode转日文
时间Mon Jun 5 14:55:15 2017
想请问各位一下，
近日我正在使用日文进行text clustering，
但当我将日文字/词转换成dictionary之後，
dictionary key就变成unicode而非日文，
请问该如何解决此问题？
Code 如下：
## load data
allWrdMat10 = pd.read_csv("../../data/allWrdMat10.csv.gz", encoding='CP932')
## Set X as CSR Sparse Matrix
X = np.array(allWrdMat10)
X = sp.csr_matrix(X)
## create dictionary
dict_index = {t:i for i,t in enumerate(allWrdMat10.columns)}
freqrank = np.array(dict_index.values()).argsort()
X_transform = X[:, freqrank < 1000].transpose().toarray()
##################################################################
若输入 allWrdMat10.columns 仍会显现日文，如下：
Index([u'?', u'．', u'・', u'％', u'０', u'１', u'１０月', u'１１月', u'１２月', u'１つ',
...
u'渖阳', u'疆', u'卢', u'笼', u'绊', u'胚', u'谏早', u'赵', u'铉', u'熔基'],
dtype='object', length=8655)
但若输入 dict_index.keys() 时，则会变成unicode:
[u'\u77ed\u9283',
u'\u5efa\u3066',
u'\u4f0a',
u'\u5e73\u5b89',
u'\u6025\u9a30',
u'\u897f\u65e5\u672c',
u'\u5e03\u9663',
...]
请问各位高手该如何解决此一问题？谢谢。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 168.150.122.10
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1496645718.A.A51.html
1F：推 minikai: 我之前也碰过python2的字典key如果不是英文或数字就会这 06/05 19:23
2F：→ minikai: 样，网路上好像没有比较好的解法。 06/05 19:23
3F：推 ides13: 先.encode('utf8')，再.decode('utf8')，试试看。 06/05 21:16
4F：推 ides13: 3.0以上只要使用str即可，str(dict_index.keys()) 06/05 21:23
5F：推 darkgerm: 2 的编码显示问题...还是早早换到 3 吧 06/05 21:36