最近自己寫了優化演算法， 不過是針對特定情況的 pattern 才會進行優化。 然而我知道 compiler 會有 Phase Ordering Problem， 我想測定應用了我的優化演算法的 O1、O2、O3 與原本的 O1、O2、O3 跑在一個公信的 benchmark 上會不會有問題 （理論上不會，除非 benchmark 的 cases 有符合我的 pattern） 目前是鎖定使用 LLVM 的 test-suite 這個專案， 不過我研究半天，他有幾個問題似乎不太符合我的需求： 1. Build 很久 2. 跑很久：大多數的 cases 應該都不會符合我的 pattern，也就是說與原本的 O1、O2、O3 無異， 但卻還是要跑一次，我在想有沒有辦法能夠去 diff LLVM IR 3. 我每一次修正我的優化器似乎都要 Build 一次： 這部分不知道是不是我有誤會，我認為他是用 llvm 去編譯 cases，再去運行跑分， 所以只要我優化器有做變動，是不是就要整個重新build？ 打到這邊我突然想到 他似乎是利用 llvm-lit 去做 testing 的，所以理論上我優化器重新 build 後， 不用重新build test-suite 直接用 llvm-lit 跑就可以得到重新編譯後的優化器效能？ 我對 llvm-lit 這塊沒有研究很透徹，還請大家多多解答、討論 另外，這邊在編譯 test-suite 的時候有遇到問題，這邊跟大家分享一下解法 照著官方文件（https://llvm.org/docs/TestSuiteGuide.html）去 cmake 時， 會有某個程式碼片段 for (auto _:status）會出錯，原因是他居然沒有用 -std=c++11 這個 flag 去編譯 分享一下我 cmake 法： 首先，先創建要 build 的資料夾 mkdir test-suite-build 之後參考文件+版主說的 Ninja（真的快很多） cd test-suite-build # 先到 build 的資料夾 cmake -G Ninja \ -DCMAKE_C_COMPILER=<llvm-project-path>/build/bin/clang \ -DCMAKE_CXX_COMPILER=<llvm-project-path>/build/bin/clang++ \ -DCMAKE_CXX_FLAG="-std=c++11" \ -C../test-suite/cmake/caches/O3.cmake \ ../test-suite 快速使用就直接 cd test-suite-build llvm-lit -v -j 1 -o results.json . 開始進行 benchmark，太久的話可以去挑選資料夾，如 llvm-lit -v -j 1 -o result.json MicroBenchmarks 若我要比較兩個優化器的優缺與否，應該會是這樣做（？）： <path-to-old-llvm-project>/build/bin/llvm-lit -v -j 1 -o original.json . 得到原本優化器的跑分 接下來 <path-to-new-llvm-project>/build/bin/llvm-lit -v -j 1 -o new.josn . 得到兩份 json 檔，再利用 compare.py 去比較跑分 test-suite/utils/compare.py original.json new.json 應該會是這樣做，不確定正確與否，歡迎討論！ --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.141.111.59 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/CompilerDev/M.1647277863.A.285.html 可是要去測試，不是應該開一個 thread 嗎？ 否則，開越多好像只是測到平行化程度（？ 我其實不太知道如果要測試 compiler compile 出來的程式碼品質如何 要開幾個 core 才好 ※ 編輯: shane87123 (118.160.253.115 臺灣), 03/20/2022 12:29:26