作者EdisonX (卡卡獸)
看板C_and_CPP
標題[問題] UTF-8 Read / Write
時間Sat Mar 17 02:51:27 2018
開發平台(Platform): (Ex: Win10, Linux, ...)
Visual Studio 2017 , Console C/C++
額外使用到的函數庫(Library Used): (Ex: OpenGL, ...)
問題(Question)：
[Q1]
目前我收到的檔案，用記事本開、notepad++開，
一般 asci 是用 1 byte , 繁中、簡中(非常少數)是用 2 byte 存，
再用記事本去開，預設是用 utf-8 存 (非 asci)，且無 bom 檔頭 ,
所以我是否可以假設這份檔案是以 utf-8 方式存檔？
[Q2]
目前我嚐試過用 fopen / _wfopen 方式去開、讀檔 ,
也試過指定 ccs=UTF-8 方式去開 ,
再做簡單的 printf / wprintf , 不論怎麼改跑出來的一直都是亂碼 ,
最後嚐試用 char , 直接輸出到檔案去 , 神奇的事發生了
console 輸出是亂碼 , 檔案全都解得出來
去細節後 code 摘要如下
FILE * fin = fopen(sfilename.c_str(), "rb,ccs=UTF-8");
char * pBuf = (char *)malloc(filesize + 32);
fread((void*)pBuf, 1, filesize, fin);
pBuf[filesize] = 0;
FILE * fout = fopen("output.txt", "w");
pFind = pBuf;
while (pFind = strstr(pFind, pszDesc)) {
pFindNext = strstr(pFind + iDescLen, pszScore);
if (pFindNext == NULL) break;
*(pFindNext - 1) = 0;
fprintf(stdout, "%s\n", pFind); \\ 亂碼
fprintf(fout, "%s\n", pFind); \\ 正常
pFind = pFindNext + 1;
}
fclose(fout);
free(pBuf);
請問是不是我誤會了什麼東西？
若要解析這種檔案, 請問我的方法正確嗎？
另若有版友建議直接加入 ATL CString 處理編碼的話也請告知
(乍看只換 CString 問題應該不會改善)
[Q3]
最後的問題是 , 這些截出來的字串會丟到簡易型 db,
之前碰過 sqlite , 但只用過 asci 編碼 , 查了下官網 ,
sqlite 應是支援 utf-8 , 請問這方面是否有人有過經驗能給些意見？
或是直接丟掉 sqlite , 有其他較簡易但字元編碼較佳的 sql lib ?
最後謝謝各位細心回覆，感激不盡。
--
就算把新鮮的肝拿回去，還是一樣寫碼到禿頭，加班到天亮，
永遠當老闆的傀儡 你是不是想這麼做？
是的話你就拿回去~ 拿啊！！
九世宅男 : 下輩子不要再讓我幹工程師了 ~
< Kuso 星爺語錄 >
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 180.177.72.2
※ 文章網址: https://webptt.com/m.aspx?n=bbs/C_and_CPP/M.1521226295.A.2A0.html
1F：→ EdisonX: 補註一下,我疑惑的其中一個點在於 , 之前用 char * 去接 03/17 02:53
2F：→ EdisonX: 中文字, 在當時 (Win7/WinXp) 的 console 輸出是正常的 03/17 02:54
3F：→ EdisonX: (VS2010),也不知道是不是和 VS2017 + Win10 環境相依 ? 03/17 02:55
4F：→ Sanvean: Windows 的 console 使用 cp950(big5 like) 編碼 03/17 08:10
5F：→ Sanvean: 如果你的 windows 是台灣版的話 03/17 08:11
6F：→ Sanvean: 如果在 cmd 裡使用 type 指令印出 utf8 的內容，也是亂碼 03/17 08:13
7F：→ EdisonX: 謝謝 Sanvean. 03/17 12:37
8F：→ stucode: sqlite3 有支援 UTF-8 喔。也有提供 UTF-16 的 API。 03/17 14:10
9F：→ stucode: 如果嘗試把 UTF-16 字串存進 UTF-8 資料庫的話，sqlite3 03/17 14:12
10F：→ stucode: 會自動幫你做轉換。 03/17 14:12
11F：→ stucode: （如果使用 UTF-16 的 API 的話） 03/17 14:14
12F：→ EdisonX: 太棒了 , 謝謝 stucode 03/17 15:15
13F：推 eye5002003: _wfopen只是可以讀windows下的非ansi檔名而已 03/17 15:22
14F：→ eye5002003: _wfopen不關心檔案內的文字，想在windows的console 03/17 15:23
15F：→ eye5002003: 正常輸出utf的話要使用WriteConsoleW這個windows API 03/17 15:25
16F：→ eye5002003: 我的習慣是絕大部分情況下使用utf-8格式，有必要才去 03/17 15:27
17F：→ eye5002003: 轉換成其他的萬國碼格式，自己轉換就不再需要去煩惱這 03/17 15:31
18F：→ eye5002003: 些跟編碼有關的問題了 03/17 15:32