作者tkcn (say)
看板AndroidDev
标题Re: [问题] CTS测试杂问
时间Wed Jan 30 19:24:29 2013
※ 引述《onlywig (环岛旅行ing)》之铭言：
: 请教各位前辈
: 因小弟我最近被分配研究CTS测试
: 我的平台是用4.0.4版 CTS是用4.0.3 R3版
: 这两周测下来 有些问题想厘清:
: 1. run CTS 全部一次跑完 fail数远大於个别跑完
: 那如果我要过GOOGLE认证 他采用的标准是如何?
: 有全过就好 不care分别跑完还是一次跑完?
最近听到的消息都是一次跑完，早期我就不确定了。
: 2. 有些测项我GOOGLE的结果似乎是CTS source code
: 本身的问题,那我该怎办? 抓source code修正bug後自己
: build完再测? 如果真的可这样 那不就有很多地方可以
: "偷吃步"?
全过的定义是，所有的测项必须 passed 或是 waiver，
如果你能说明这个测项的问题，并且确实如此，Google 就会同意 waiver。
对了，XML report 里头有 hash，
我没仔细研究过，不过要是改了测项，大概会有不同的 hash 吧。
除了送 report 之外，还要送测实机，
所以想在这方面动手脚应该是迟早会被抓包。
: 3. 有的测项不是每次测都会过..这是正常现象吗?
: 那不就要狂测 测到有一次all pass 再用那一次去认证即可?
没错
: 初探此领域 感觉问题都还蛮浅的 很不好意思
: 还请前辈们指教 谢谢了
处理 CTS 一阵子了，不过我只有接触到技术的部份，
和 Google 交涉的那块我就完全不清楚了。
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 140.114.78.231
1F：推 onlywig:一次跑完..但就我所知有的测项是测3G跟WIFI 他们两者的网 01/30 20:36
2F：→ onlywig:路同时间只能有一个存在 这不会造成另一个装置的测项fail? 01/30 20:36
不知道你说的是哪一项，
我印象比较深的是 testStartUsingNetworkFeature_enableHipri()，
看 source code 会发现里面甚至有开关 wifi 的动作，
所以我想你不太需要担心这部份。
我的习惯是，开始测之前两项都打开。
3F：→ onlywig:还有时间有的要测old time:1999之前 有的要测time now 01/30 20:37
4F：→ onlywig:势必会造成其中一个fail 遇到这种情况前辈您都怎麽做呢? 01/30 20:37
还是不知道你指哪项，给我名称我可以帮你看看。
5F：推 onlywig:另外我发现有的测项有bug 相机没装时 hardware测项全过 01/30 20:41
6F：→ onlywig:'装上去之後才真的有去测相机功能 就会有很多错误... 01/30 20:41
我也没测过没相机的，
不过我猜测 CTS 会根据他侦测到的机器规格决定所需执行的测项，
像是不支援 3G 的平板，就不会去测传简讯和 3G 网路，我不认为这是错误的行为。
report 的最上方会有 device 的 feature 列表，
即使不装相机时可以 pass，除非送测与出货时也都不装相机，
否则我想这样的 report，google 也不会接受的。
※ 编辑: tkcn 来自: 140.114.78.231 (01/30 23:20)
7F：推 onlywig:谢谢您 android.core.tests.libcore.package.libcore下的 01/31 09:27
8F：→ onlywig:libcore.java.util.OldTimeZoneTest 我都需要重设原厂设定 01/31 09:28
9F：→ onlywig:才会PASS 但时间变成1999年 後面一些测项会显示时间错误 01/31 09:29
还没看过测项细节，不过倒是搜到这两篇:
http://code.google.com/p/android/issues/detail?id=41751
http://blog.csdn.net/dnfchan/article/details/8558325
先看看是否与你遭遇的情况相同吧。
10F：→ onlywig:若还有其他问题可寄站内信请教吗?虽然我比较想在板上讨论 01/31 09:30
11F：→ onlywig:也可以让後面加入此领域的人有个参考 01/31 09:30
皆可。
不过除非是我刚好有涉猎的测项，否则我也只会初步看过，
不见得真能解决你的问题，毕竟怎麽说我们也算是竞争对手嘛 Orz
12F：→ nopeace:以前测试都用script自动跑，有fail就自动break重跑 01/31 09:54
13F：→ nopeace:CTS测的项目很细，甚至有一些function在什麽情况下该回什 01/31 09:55
14F：→ nopeace:麽值都很要求，所以机器有分wifi跟3G的话是有不同规则的 01/31 09:56
15F：推 wendly777:如果公司没有高手....应该是赶快开104的时候了 02/02 17:04
※ 编辑: tkcn 来自: 140.114.78.231 (02/04 00:01)
16F：推 onlywig:我才刚来啊wendly大 哈 02/04 12:34
17F：→ willy0206:相机很难搞...连Google自家的机器都fail一堆 02/10 12:16