觉得小游戏查表好麻烦，做了一个查表器 附上人权 http://i.imgur.com/vzuo7ru.jpg # 实验成果 v1 https://youtu.be/IcirpEYB2lY v2,感谢小精灵改scrcpy https://youtu.be/Nb9cCh4DmgY # source code aHR0cHM6Ly9wYXN0ZWJpbi5jb20vajhNY3F4RGE= # 实验环境 - Intel(R) Core(TM) i5-6200U CPU @ 2.30GHz - 12G RAM - MX500 SSD - Ubuntu 19.10 # 辨识九宫格图示 OpenCV提供大量函式，为此我们使用了 `matchTemplate` 辨识图示，整体流程如下 1. 切割原始图片成单张图示(icon)，大小为106x106px 2. 调整大小至78x78px 3. 用 `matchTemplate` 比对148张既有图示，排序 `min_val`，找出最大值所对应的图 示和ID  得益於Profiling工具的日新月异，我用cProfile分析单执行绪的 python script，发现 最耗时的地方位於`templateMatching`，足足占了整体执行时间97%‧ ```bash ~$ python3 -m cProfile -s tottime ./tmp.py 0.7606322765350342 325680 function calls (318751 primitive calls) in 1.289 seconds Ordered by: internal time ncalls tottime percall cumtime percall filename:lineno(function) 1287 0.741 0.001 0.741 0.001 {matchTemplate} 28/17 0.162 0.006 0.240 0.014 {built-in method _imp.create_dynamic} 280 0.045 0.000 0.045 0.000 {built-in method marshal.loads} 2 0.041 0.020 0.041 0.020 {imread} ``` ### 全彩转灰阶 试着将全彩图示转换成灰阶再进行比对 ```bash ~$ python3 -m cProfile -s tottime ./tmp.py 0.2725179195404053 326034 function calls (319105 primitive calls) in 0.811 seconds Ordered by: internal time ncalls tottime percall cumtime percall filename:lineno(function) 1287 0.256 0.000 0.256 0.000 {matchTemplate} ``` 看的出 maximum overhead 还是在`templateMatch`，但总执行时间足足少了65%‧ ### 缩小图示再比对 将两边要比对的78x78px缩小至26x26px，於是`matchTemplate`让出宝座，整体执行时间 更是来到 0.05s(-80%)，图示辨识率也还是维持100%。 ``` 0.05796694755554199 326071 function calls (319142 primitive calls) in 0.613 seconds Ordered by: internal time ncalls tottime percall cumtime percall filename:lineno(function) 28/17 0.153 0.005 0.234 0.014 {built-in method _imp.create_dynamic} 280 0.046 0.000 0.046 0.000 {built-in method marshal.loads} 2 0.043 0.022 0.043 0.022 {imread} 1287 0.042 0.000 0.042 0.000 {matchTemplate} 1175/1120 0.021 0.000 0.073 0.000 {built-in method builtins.__build_class__} ``` 为了减少执行时间，我们也测试图片大小和辨识准确率关系，程式有做一些改动(印出正 确率、存测试资料)，下方数据只是作为 Image size 的选取依据并非实际执行时间。测 试脚本如下 ```bash for i in `seq 78 -2 1`;do icon_size=$i python3 tmp.py; done; ``` 只用一张游戏画面图片做测试 icon size | elapsed time (sec)| accurate rate %） ---|---|--- 78x78|0.2452|100.0 26x26|0.0758|100.0 24x24|0.0447|100.0 22x22|0.0434|100.0 20x20|0.0390|100.0 18x18|0.0389|88.9 16x16|0.0339|77.8 14x14|0.0473|77.8 12x12|0.0277|66.7 10x10|0.0295|77.8 8x8|0.0248|55.6 6x6|0.0234|55.6 4x4|0.0221|11.1 2x2|0.0210|11.1 看来极限能到20x20px，取20x20的耗时较26x26减少30% 26x26 ``` 0.0584 326155 function calls (319226 primitive calls) in 0.573 seconds Ordered by: internal time ncalls tottime percall cumtime percall filename:lineno(function) 28/17 0.144 0.005 0.221 0.013 {built-in method _imp.create_dynamic} 280 0.045 0.000 0.045 0.000 {built-in method marshal.loads} 1287 0.043 0.000 0.043 0.000 {matchTemplate} ``` 20x20 ``` 0.0406 326057 function calls (319128 primitive calls) in 0.628 seconds Ordered by: internal time ncalls tottime percall cumtime percall filename:lineno(function) 28/17 0.158 0.006 0.242 0.014 {built-in method _imp.create_dynamic} 280 0.050 0.000 0.050 0.000 {built-in method marshal.loads} 2 0.043 0.021 0.043 0.021 {imread} 1287 0.025 0.000 0.025 0.000 {matchTemplate} ``` 不知道为什麽行的通...但是算了  ### 使用python的sorted Python的`sorted`使用名为Timsort的混合式排序演算法，使用`sorted`减少了0.0006秒 的执行时间 ``` 0.0385->0.0379 ``` ```python= # Before def findIconId(img): id = None result = -1 for icon in icons.values(): min_val, max_val, min_loc, max_loc = cv.minMaxLoc(res) if (result < min_val): result = min_val id = icon.id return id # After def findIconId(img): arr=[] for icon in icons.values(): res = cv.matchTemplate(resized,icon.img,cv.TM_CCOEFF) min_val, max_val, min_loc, max_loc = cv.minMaxLoc(res) arr.append((min_val, icon.id)) arr = sorted(arr, key= lambda x: x[0],reverse=True) return arr[0][1] ``` ### Multithreading 最後手段，但用了反而增加时间，不予采用。 `0.0373->0.0494 secs` 你知道 python 的 multithreading 跟你想像的不一样吗？ :::success "_Each thread that wants to run must wait for the GIL to be released by the other thread, which means your multi-threaded Python application is actually single threaded._" https://medium.com/practo-engineering/threading-vs-multiprocessing-in-python-7b57f224eadb :::  ### 保险机制 游戏中的过场画面可不能拿来辨识，因此次要设计用一套方法来判断何时该开始辨识 1. 用像素点颜色判断白边存在 2. 侦测白色反光，取图示中心的点做判断 两项测试都通过後才会进行template matching **valid** >  > >**invalid** >  >  >  >  >  >  ### 辨识韵母 韵母只有一张图要和38张图比对，尺寸小，耗时短，不在此多着墨。 # 选取演算法 这部份没什麽特别，目标就是最高分的图示。以满图监为目标？不会多点几次? --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.248.3.243 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/PCReDive/M.1583628323.A.04D.html ※ 编辑: gR7P4zXH (118.161.105.58 台湾), 03/08/2020 08:52:43 跑实验闲暇时做的 讲完R 没有按键精灵 比较想去.net折衣服 我自己手动点，不算外挂喔 粪扣公开伤眼 好 请开spec 这是在家搞的 泳犬小游戏? 影像公司泊车小弟 怎麽这麽多人知道git 不用学，这没用到理论 凸了墓 都蕊咪发搜 站内信 大佬跑错板了 感谢建议，但已达到可用标准，懒得再改 ※ 编辑: gR7P4zXH (111.248.3.243 台湾), 03/09/2020 03:20:04 ※ 编辑: gR7P4zXH (111.248.3.243 台湾), 03/09/2020 03:30:37 ※ 编辑: gR7P4zXH (111.248.3.243 台湾), 03/09/2020 03:57:56 ※ 编辑: gR7P4zXH (1.171.87.231 台湾), 03/09/2020 04:49:11