作者dctzeng (DC)
看板Python
標題[問題] 讀檔如何避開OS cache or buffer?
時間Tue Aug 12 20:25:38 2014
我想寫測試硬碟效能的程式，主要在win7 和win xp跑
希望能保證"實際"對檔案做讀取動作,完全關閉任何系統快取
我遇到的問題是開啟檔案時,如果該檔先前有過讀寫動作時
python 中利用os.open() 或open() fd.read()時，OS並不會直接打開檔案讀出來
而是在 DRAM 中快取直接拿快取資料，造成發大量的讀寫硬碟卻沒有實際動作
試過這樣沒用
with open(copying_target_path, 'rb', buffering = 0) as fd:
避掉 FILE_SHARE_WRITE 好像也沒用
高手大大救命
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 111.235.222.156
※ 文章網址: http://webptt.com/m.aspx?n=bbs/Python/M.1407846340.A.58C.html
1F：推 LiloHuang: 恐怕得直接用 ctypes 或者 pywin32 呼叫 CreateFileW 08/12 20:45
2F：→ LiloHuang: 搭配FILE_FLAG_WRITE_THROUGH, FILE_FLAG_NO_BUFFERING 08/12 20:46
3F：→ LiloHuang: 我剛瞧了一下 Python 2.7 的源碼，並無以上的實作釋出 08/12 20:47
6F：推 LiloHuang: 剛剛看到有一條路可以用...應該算是隱藏的後門 XD 08/12 20:55
7F：→ LiloHuang: from _multiprocessing import win32 之後 08/12 20:55
8F：→ LiloHuang: 就可以用 win32.CreateFile(...) 的 API 來設定 flag 08/12 20:56
10F：→ LiloHuang: 只不過上面兩個常數沒有被寫進去，得查 header file 囉 08/12 21:03
11F：→ dctzeng: 太感謝 嗚嗚 ~~ 08/12 21:19
12F：→ dctzeng: 可以請教一下 中文路徑編碼 在 win32.CreateFile 失敗? 08/12 21:54
13F：推 LiloHuang: 真尷尬，剛剛去看了一下 DLLs\_multiprocessing.pyd 08/12 22:07
14F：推 LiloHuang: 該檔案的 Win32 PE Import Table 是寫 CreateFileA 08/12 22:09
15F：→ LiloHuang: 猜測 CPython 2.7 當初編譯時，沒有用 UNICODE 來編譯 08/12 22:10
16F：→ LiloHuang: 只能請樓主用 ctypes.windll.kernel32.CreateFileW 囉 08/12 22:10
17F：→ LiloHuang: 不然就只能用 win32.CreateFile(r'D:\中文字.txt', ... 08/12 22:23
18F：→ LiloHuang: Non-UNICODE 版本加減用 XD 只是這樣不是很好就是 08/12 22:24
19F：推 LiloHuang: 補充如果要自己重新編譯 Python Runtime 使其支援 XD 08/12 22:37
20F：→ LiloHuang: 除了得選 UNICODE 模式，PyArg_ParseTuple 也得改一下 08/12 22:38
21F：→ LiloHuang: 但是這不是一個很正常的方式，跟官方版本一致就好 08/12 22:40
22F：→ os653: 參考一下#1F2nhxPv，我想應該可以直接把ANSI版改成UNICODE 08/13 03:24
23F：→ dctzeng: 感謝樓上 該部會那篇是同行po的吧 XDDDD 08/13 23:11
24F：→ dctzeng: 今天才搞dll來開file, 原來有更好的解法 08/13 23:12
25F：→ dctzeng: python 有內建 fd.flush 跟os.fsync 我試只對write 有效 08/13 23:21
26F：→ dctzeng: read 還是一直打中cache 我就改從做dll來解問題 08/13 23:23
27F：→ dctzeng: 莫非FlushFileBuffers 跟fd.flush不同讓 #1F2nhxPv 有效? 08/13 23:25
28F：推 LiloHuang: 基本上呢該篇文章就是我第一個回應提到的，使用pywin32 08/13 23:43
29F：→ LiloHuang: 如果樓主願意安裝pywin32的話，那是一個很棒的選擇 :D 08/13 23:43
31F：→ LiloHuang: 根據原始碼 file_flush 的實作，是使用 fflush 函式 08/13 23:46
32F：→ LiloHuang: fflush 是標準 C runtime 提供的能力，而呼叫 fflush 08/13 23:46
33F：→ LiloHuang: 並不會呼叫 Win32 API 的 FlushFileBuffers 08/13 23:47
34F：→ LiloHuang: 樓主也可以用 windbg 下中斷點測試 :D 應該不會hit才是 08/13 23:48
35F：→ LiloHuang: 畢竟 fflush 跟 FlushFileBuffers 使用的目的就不同 08/13 23:51
36F：→ LiloHuang: 而在這個狀況的確得使用 FlushFileBuffers 再搭配 08/13 23:51
37F：→ LiloHuang: 我先前的推文或該文章中所提及的那兩個 flag 才是正解 08/13 23:53
38F：推 LiloHuang: 然而 os.fsync 狀況就不同了，在視窗平台上會用_commit 08/14 00:04
39F：→ LiloHuang: _commit 會轉呼叫 FlushFileBuffers (可下斷點驗證) 08/14 00:04
40F：→ LiloHuang: 根據以上資訊 os.fsync 應該要清緩衝，也許可以再試試 08/14 00:08
41F：→ LiloHuang: 當然使用時，你的 fd 本身在建立時也得具備那兩個 flag 08/14 00:09
42F：→ dctzeng: 樓上大大感謝 可以請教您怎麼找到實作原始碼? 08/14 22:42
44F：→ LiloHuang: 上面那個連結我貼成 stackless 版，儘管內容幾乎一樣 08/14 23:05
45F：→ LiloHuang: 至於怎麼樣找原始碼? 官網就有提供下載整包源碼啦 :D 08/14 23:06
48F：→ LiloHuang: 要看特定版號就去官網首頁抓源碼，或在SVN找對應branch 08/14 23:11
49F：→ dctzeng: 喔~~ 感恩 我初入門python 學習了 08/14 23:33