作者adrianshum (Alien)
看板java
标题Re: [问题] 读档不完整 (ANSI 文字档)
时间Fri May 24 23:10:52 2013
首先声明,这篇没有解决办法,只是旨在提供相关的背景知识。
第一样讲编码。编码 (encoding) 指的是什麽?举个简单例子。
首先 Java 运作时统统用 Unicode (UTF16 吧?) ,简单的把
它想成 Java 里的 character 够大,能放世上所有的文字。
可是你的档案,绝大部份时候都不是用 Unicode 来存。Big5
的标准下,“我”字是用两个 byte A7DA 来代表,可是在
UTF-8 底下,A7DA 代表的是另一个字(你当成是“你”字好
了,实际是别的东西,只是做例子而已)。好了,当 Java
要读你的档,面对一串的 bytes, 读进来的是两个 bytes 是A7 DA,
Java 要怎麽才能知道应该当成“我”字还是“你”字?这就
要靠你提供编码了。当 Java 被告知这次读档是要用 Big5 读,
它就知道这个 A7 DA 代表“我”字,如果被告知是用 UTF-8 读,
它就知道这个代表“你”字。
简而言之,所谓编码你可以想成是 字 的表示方法,对於 Java
而言,就是把 bytes 转成 chars 及 chars 转成 bytes 的格式。
(上面的讲法只是把故事讲得尽量浅白,有些不太准确)
第二要讲的是 "ANSI 编码",严格上世上没有一种编码叫 ANSI。
ASCII 大家都知道,有一个 ANSI 规格,算是把 ASCII 扩充,
用尽了 8 bits. Windows 中所谓 ANSI 编码,就单统是指每个
byte 都会用到 8 bits,换而言之,就是没编码。Windows 怎样
读档,就是依据 Windows 里面的default 的编码 (windows 里
又叫这叫 codepage),即是如果你的 Windows 设了做 Big5,
你所谓的 ANSI 编码存的文字档其实就是 Big5, Windows 设了做
GBK, 存的档就是 GBK。
Java 读档时,如果你没有明讲要用哪一种编码,没记错的话是会
用系统设定的,如果你的 windows 设了做 Big5,那麽它就会当
是 Big5 来读档。想当然耳,如果用来读 UTF-8 的档就当然会
出问题。
第三讲的是判断编码。面对一个文字档,我怎麽知道是 Big5 还
是 UTF8? 简单来说是没方法。道理很简单,假设档里面只有两个
bytes A7 DA,你当 Big5 读也对(读出“我”字),当 UTF-8 读
也对(读出“你”字),除非我有超能力否则我怎麽可能知道你
本身想写的是哪个字?
有些工具(Java 上好像少见)好像会靠里面的文字去猜编码,
比如出现某些组合是 Big5 的规格中没用到,那它就知道这档不是
Big5。可是,也是想当然耳,并不准确。
还有一个可能性,某些编码(好像只是 unicode 系列的才有)在存
文字档的时候,会在最开初有几个特别的 bytes 来表达自己是什麽
编码 (Byte Order Mark, BOM),不过很可惜,UTF-8 的档并不一定
会有 BOM(甚至可以说是不建议使用),要是刚好你的档有存 BOM
你或者可以用此作判断。
简而言之,Java 很笨 (同样可以套到其他语言),你不告诉它一
个档是什麽编码,它没法自己猜要用什麽编码读。你设计程式就要
想方法告诉它正确的编码,no magic。
Alien
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 223.19.42.175
※ 编辑: adrianshum 来自: 223.19.42.175 (05/24 23:11)
1F:→ realmeat:ANSI我後来找到了是ascii的延伸到255字元 05/24 23:52
2F:→ realmeat: ^从 ^到 05/24 23:54
3F:推 LPH66:我最近一直觉得"ANSI编码"这个讲法会让人误会很大 05/25 02:56
4F:→ LPH66:这个讲法就我所知应该是从记事本的存档选项来的 05/25 02:58
5F:推 tails32100:ANSI小弟只会想到BBS控制码 (遮脸 05/25 19:40
6F:推 s3748679:<~都用网页浏览器来读读看内容 试试看编码是啥.. 05/26 01:36
7F:→ KanoLoa:<~ 用word开 06/21 21:01