作者ctr1 (【积π】)
看板Python
标题Re: [问题] Bag of words 中文单字词问题
时间Wed Jun 27 08:42:43 2018
我自己来回答
预设过滤掉一个字符长度的词
text = ["我|，|爱你|白Z",
"他|爱狗",
"猫|爱鼠"
]
vectorizer = CountVectorizer(
min_df=1, token_pattern='(?u)\\b\\w+\\b')
vectorizer.fit(text)
vector = vectorizer.transform(text)
print (vectorizer.vocabulary_)
print (vector.shape)
print (vector.toarray())
---------------------------------------------------------------------
输出：
{'我': 4, '爱你': 1, '白z': 5, '他': 0, '爱狗': 2, '猫': 6, '爱鼠': 3}
(3, 7)
[[0 1 0 ... 1 1 0]
[1 0 1 ... 0 0 0]
[0 0 0 ... 0 0 1]]
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.124.158.195
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Python/M.1530060167.A.156.html
※ 编辑: ctr1 (59.124.158.195), 06/27/2018 08:43:30
1F：→ b24333666: 你怎麽把上一篇的推文修掉了.... 06/27 08:55
2F：→ ctr1: 兄弟 你留言在另一个版~ 06/27 08:59
3F：推 b24333666: 不好意思XDD 06/27 10:45