作者EdisonX (卡卡兽)
看板C_and_CPP
标题[问题] UTF-8 Read / Write
时间Sat Mar 17 02:51:27 2018
开发平台(Platform): (Ex: Win10, Linux, ...)
Visual Studio 2017 , Console C/C++
额外使用到的函数库(Library Used): (Ex: OpenGL, ...)
问题(Question)：
[Q1]
目前我收到的档案，用记事本开、notepad++开，
一般 asci 是用 1 byte , 繁中、简中(非常少数)是用 2 byte 存，
再用记事本去开，预设是用 utf-8 存 (非 asci)，且无 bom 档头 ,
所以我是否可以假设这份档案是以 utf-8 方式存档？
[Q2]
目前我嚐试过用 fopen / _wfopen 方式去开、读档 ,
也试过指定 ccs=UTF-8 方式去开 ,
再做简单的 printf / wprintf , 不论怎麽改跑出来的一直都是乱码 ,
最後嚐试用 char , 直接输出到档案去 , 神奇的事发生了
console 输出是乱码 , 档案全都解得出来
去细节後 code 摘要如下
FILE * fin = fopen(sfilename.c_str(), "rb,ccs=UTF-8");
char * pBuf = (char *)malloc(filesize + 32);
fread((void*)pBuf, 1, filesize, fin);
pBuf[filesize] = 0;
FILE * fout = fopen("output.txt", "w");
pFind = pBuf;
while (pFind = strstr(pFind, pszDesc)) {
pFindNext = strstr(pFind + iDescLen, pszScore);
if (pFindNext == NULL) break;
*(pFindNext - 1) = 0;
fprintf(stdout, "%s\n", pFind); \\ 乱码
fprintf(fout, "%s\n", pFind); \\ 正常
pFind = pFindNext + 1;
}
fclose(fout);
free(pBuf);
请问是不是我误会了什麽东西？
若要解析这种档案, 请问我的方法正确吗？
另若有版友建议直接加入 ATL CString 处理编码的话也请告知
(乍看只换 CString 问题应该不会改善)
[Q3]
最後的问题是 , 这些截出来的字串会丢到简易型 db,
之前碰过 sqlite , 但只用过 asci 编码 , 查了下官网 ,
sqlite 应是支援 utf-8 , 请问这方面是否有人有过经验能给些意见？
或是直接丢掉 sqlite , 有其他较简易但字元编码较佳的 sql lib ?
最後谢谢各位细心回覆，感激不尽。
--
就算把新鲜的肝拿回去，还是一样写码到秃头，加班到天亮，
永远当老板的傀儡 你是不是想这麽做？
是的话你就拿回去~ 拿啊！！
九世宅男 : 下辈子不要再让我干工程师了 ~
< Kuso 星爷语录 >
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 180.177.72.2
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/C_and_CPP/M.1521226295.A.2A0.html
1F：→ EdisonX: 补注一下,我疑惑的其中一个点在於 , 之前用 char * 去接 03/17 02:53
2F：→ EdisonX: 中文字, 在当时 (Win7/WinXp) 的 console 输出是正常的 03/17 02:54
3F：→ EdisonX: (VS2010),也不知道是不是和 VS2017 + Win10 环境相依 ? 03/17 02:55
4F：→ Sanvean: Windows 的 console 使用 cp950(big5 like) 编码 03/17 08:10
5F：→ Sanvean: 如果你的 windows 是台湾版的话 03/17 08:11
6F：→ Sanvean: 如果在 cmd 里使用 type 指令印出 utf8 的内容，也是乱码 03/17 08:13
7F：→ EdisonX: 谢谢 Sanvean. 03/17 12:37
8F：→ stucode: sqlite3 有支援 UTF-8 喔。也有提供 UTF-16 的 API。 03/17 14:10
9F：→ stucode: 如果尝试把 UTF-16 字串存进 UTF-8 资料库的话，sqlite3 03/17 14:12
10F：→ stucode: 会自动帮你做转换。 03/17 14:12
11F：→ stucode: （如果使用 UTF-16 的 API 的话） 03/17 14:14
12F：→ EdisonX: 太棒了 , 谢谢 stucode 03/17 15:15
13F：推 eye5002003: _wfopen只是可以读windows下的非ansi档名而已 03/17 15:22
14F：→ eye5002003: _wfopen不关心档案内的文字，想在windows的console 03/17 15:23
15F：→ eye5002003: 正常输出utf的话要使用WriteConsoleW这个windows API 03/17 15:25
16F：→ eye5002003: 我的习惯是绝大部分情况下使用utf-8格式，有必要才去 03/17 15:27
17F：→ eye5002003: 转换成其他的万国码格式，自己转换就不再需要去烦恼这 03/17 15:31
18F：→ eye5002003: 些跟编码有关的问题了 03/17 15:32