写嵌入式软体，离人类世界遥远，我只知道英文字ASCII code是1byte 小时候用倚天中文，BIG5编码每个字2byte UNICODE似乎是2byte，可以表示全世界的文字，蒙蒙懂懂 阅读Joel On Software的第四章 https://www.books.com.tw/products/0010467041 这篇文章也可以在这里看到 https://www.cnblogs.com/AlphaAI/articles/3960296.html ---- 原来UNICODE有个Code Point的概念 制定（桥）出这张code point的前辈，真的是伟大的成就 人类终於有一个共同的表示法，纪录每个字 所以用BIG5编码的文件，可以读入以後，"DECODE"成上述的编码（我觉得是UCS2） 在wchar_t的domain (u16)做字串处理 最後储存的时候，再"ENCODE"成其他格式，例如UTF-8 之前用Python的UNICODE感觉encode/decode难以理解 现在总算搞懂UTF-8是什麽，整理一份note记下来 https://lihgong.blogspot.com/2023/11/utf-8-unicode-utf-32-big5.html ---- patch, thanks to ybite, 更新UTF16 surrogate pair的资讯 这东西的概念是这样 1. UNICODE 0xD800 ~ 0xDFFF大家讲好不放东西；所以出现这种字元必定有诈！ 一般状态是 2byte代表一个字，这种状态变成4byte代表一个字 很多地方都有类似的招数 2. 要把UNICODE的U+10000 ~ U+10FFFF编进去，先把数值扣掉0x10000 看看他在16bit定址范围外的offset多少，这里的值域是0xFFFFF, 20bit 3. 编码规则如下 byte0 = offset[19:10] + 0xD800 byte1 = offset[9:0] + 0xDC00 4. 这种编码结构好处是self-synchronization，因为开头和结尾的值域固定下来了 如果中间有小错误也能侦测出来 缺点就LIB解析时，还有些额外的逻辑要弄，还真的有点麻烦； 不过比起用4byte字串的记忆体开销相比，应该勉勉强强能接受； 反正现在电脑效能过剩，小事啦！ ---- 後记3 感谢 *Dracarys 推荐的两篇文章，过了20Y，和Joel当初的文章互相辉映！ * https://tonsky.me/blog/emoji/ * https://tonsky.me/blog/unicode/ 原来UNICODE有Extended grapheme cluster A上面多带一个圈，可以是U+00C5或是U+0041 U+030A 我看过芬兰人的键盘，他们能打出某些特殊的上下标，亚洲人的我难以想像 所以A多带个圈（两个code point，符合我看他们键盘的感觉） 或是一个code point直接代表这个字，反应人类描述文字这件事，自带的复杂度 直观来看，所有文字都可以用UTF-32来表示？还是不行，有上述那些复杂的cases 所以作者说，处理UNICODE请用LIB，而且要按时更新的LIB（每年都会修订） 以我来说，就是体认UNICODE有自带的复杂度，不是像C的字串那麽简单的东西 这两篇文章确实看完就打通任督二脉，非常感谢 ---- 後纪4 关於UNICODE BOM (byte-order mark) 有个u16的数值，0xFE FF 这个数值用little-endian表示(大多数的电脑)，在记忆体里会是0xFF 0xFE 如果用big-endian表示，会是0xFE 0xFF 一份文件用UTF-16储存，编辑器打开，不知道这份文件的endian 假如开头是0xFF 0xFE，那就是little-endian 假如开头是0xFE 0xFF，那就是big-endian 我觉得上面的例子很烂，因为FE/FF实在长得太相似 写AA/BB可能更容易看清楚，不过标准就长这样... 具体的资料可以看下面WIKI连结，有标准的BOM定义 https://reurl.cc/GKYxrW 另外更general的问题是，这两种endian的好与坏，可以参考下面文章 https://hackmd.io/@chenishi/BJRaOrGCX?type=view 网路传输里，先传送big-endian天生是比较顺的 比如有笔u32资料0xaabbccdd，传输协定规定从MSB to LSB做CRC 假如是little-endian的机器，那就得这样灌入CRC 注意阵列的顺序是倒置的... data[3](0xaa) -> data[2](0xbb) -> data[1](0xcc) -> data[0](0xdd) 如果这台机器是big-endian，这样灌入CRC就很顺了 data[0](0xaa) -> data[1](0xbb) -> data[2](0xcc) -> data[3](0xdd) 操起for-loop，big-endian就是顺（直觉）很多 for(i=0; i<4; i++) { calc_crc(data[i]) } --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 61.220.100.151 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1699248406.A.A68.html ※ 编辑: lihgong (122.116.164.102 台湾), 11/07/2023 23:18:41 ※ 编辑: lihgong (122.116.164.102 台湾), 11/10/2023 23:59:30 ※ 编辑: lihgong (122.116.164.102 台湾), 11/11/2023 09:51:55