※ 引述《kanako (我是香民)》之铭言： : 假设我有一个档案叫test.txt，内容只有一行字: : 中文 : 然後我用如下的码读入（省略之前之後的各个动作） : string = infile.readline().decode('utf-8') : 这样得到的变数跟以下我手动给初值有何不同？ : string = u'中文' : 我用sunburnt把资料加入solr时两者都可以加入 : 但只有後者得到的结果可以下中文关键字搜寻到 : 请问一下各位先进我应该如何修改呢？ : 谢谢 ※ 引述《kanako (我是香民)》之铭言： : 假设我有一个档案叫test.txt，内容只有一行字: : 中文 : 然後我用如下的码读入（省略之前之後的各个动作） : string = infile.readline().decode('utf-8') : 这样得到的变数跟以下我手动给初值有何不同？ : string = u'中文' : 我用sunburnt把资料加入solr时两者都可以加入 : 但只有後者得到的结果可以下中文关键字搜寻到 : 请问一下各位先进我应该如何修改呢？ : 谢谢 先回答你的问题 理论上应该要是一样的结果 但实际上在windows下使用会有一些问题 (我也只用过windows目前) 如果你也是用windows的话 可以参考一下我的心得(适用於python2.x) 我在初学有关字串问题时 被windows下美美的idle卡很大 因为正确的观念在美美的idle上会产生错误的结果 後来才在版上爬到文 整个大悟 (如果需要unicode与str的观念我再补 当做已经会了) 先提一下标准的 再提idle下怎麽是搞的 我们写 u"中文" 即等於 "中文".decode("python预设的编码 一般来说是cp950") 因为只要string里有不在ascii编码与跳脱字元(\开头的那些)里的"字" python会自动以预设的编码转换来显示 加上开头的u python会自动把"中文"用cp950去解码成unicode 这是一般的情况 若是只写 "中文" (没有u) python将会自动用cp950转换成 '\xa4\xa4\xa4\xe5' 的string(不是unicode) u开头是将这种特别的字转成unicode方便的写法 很方便 如果windows idle下没有问题的话orz... 在windows的command line下(黑黑的底色那个) 使用 u"中文" 会得到一般正确的结果 u'\u4e2d\u6587' 而读入的string若是utf8格式的 '\xe4\xb8\xad\xe6\x96\x87' 再decode("utf-8")之後也会正确得出 u'\u4e2d\u6587' 但是在windows 美美的idle下 u"中文" 却得到 u'\xa4\xa4\xa4\xe5' 这是什麽东西呢(很显然不是正确的 因为根本没辨法encode回去) 原因是在idle下 u"中文" 并不等於 "中文".decode("cp950") 这是idle最怪的地方 由结果推论起来 在idle下的 u"中文" 仅是把 "中文"原始编码下的值('\xa4\xa4\xa4\xe5') 转成unicode 变成先转换"中文"(非常奇怪的做法)之後 再结合u 相当於转换 u"\xa4\xa4\xa4\xe5" 因为没有不合法的字 就直接还是 u"\xa4\xa4\xa4\xe5" 奇怪的结果... 更奇怪的是idle还可以print的出来结果...在我的电脑上长这样--> ¤¤¤å 在command line下print不出来才是合理的 因为无法编成cp950相对应的string 所以在idle下 请使用 "中文".decode("cp950") 这种方式来得到正确的unicode 另外在windows下的 文字文件 档案中 若有输入中文的话 存档可以选择ansi 但其实windows会帮你偷偷用系统预设的编码存 一般是cp950 所以若读档时用utf8读cp950是有问题的(通常会转换失败、报错) 以上 有错请指正 谢谢 --

※ 发信站: 批踢踢实业坊(ptt.cc) ◆ From: 180.176.140.46