作者tkcn (say)
看板AndroidDev
標題Re: [問題] CTS測試雜問
時間Wed Jan 30 19:24:29 2013
※ 引述《onlywig (環島旅行ing)》之銘言：
: 請教各位前輩
: 因小弟我最近被分配研究CTS測試
: 我的平台是用4.0.4版 CTS是用4.0.3 R3版
: 這兩週測下來 有些問題想釐清:
: 1. run CTS 全部一次跑完 fail數遠大於個別跑完
: 那如果我要過GOOGLE認證 他採用的標準是如何?
: 有全過就好 不care分別跑完還是一次跑完?
最近聽到的消息都是一次跑完，早期我就不確定了。
: 2. 有些測項我GOOGLE的結果似乎是CTS source code
: 本身的問題,那我該怎辦? 抓source code修正bug後自己
: build完再測? 如果真的可這樣 那不就有很多地方可以
: "偷吃步"?
全過的定義是，所有的測項必須 passed 或是 waiver，
如果你能說明這個測項的問題，並且確實如此，Google 就會同意 waiver。
對了，XML report 裡頭有 hash，
我沒仔細研究過，不過要是改了測項，大概會有不同的 hash 吧。
除了送 report 之外，還要送測實機，
所以想在這方面動手腳應該是遲早會被抓包。
: 3. 有的測項不是每次測都會過..這是正常現象嗎?
: 那不就要狂測 測到有一次all pass 再用那一次去認證即可?
沒錯
: 初探此領域 感覺問題都還蠻淺的 很不好意思
: 還請前輩們指教 謝謝了
處理 CTS 一陣子了，不過我只有接觸到技術的部份，
和 Google 交涉的那塊我就完全不清楚了。
--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 140.114.78.231
1F：推 onlywig:一次跑完..但就我所知有的測項是測3G跟WIFI 他們兩者的網 01/30 20:36
2F：→ onlywig:路同時間只能有一個存在 這不會造成另一個裝置的測項fail? 01/30 20:36
不知道你說的是哪一項，
我印象比較深的是 testStartUsingNetworkFeature_enableHipri()，
看 source code 會發現裡面甚至有開關 wifi 的動作，
所以我想你不太需要擔心這部份。
我的習慣是，開始測之前兩項都打開。
3F：→ onlywig:還有時間有的要測old time:1999之前 有的要測time now 01/30 20:37
4F：→ onlywig:勢必會造成其中一個fail 遇到這種情況前輩您都怎麼做呢? 01/30 20:37
還是不知道你指哪項，給我名稱我可以幫你看看。
5F：推 onlywig:另外我發現有的測項有bug 相機沒裝時 hardware測項全過 01/30 20:41
6F：→ onlywig:'裝上去之後才真的有去測相機功能 就會有很多錯誤... 01/30 20:41
我也沒測過沒相機的，
不過我猜測 CTS 會根據他偵測到的機器規格決定所需執行的測項，
像是不支援 3G 的平板，就不會去測傳簡訊和 3G 網路，我不認為這是錯誤的行為。
report 的最上方會有 device 的 feature 列表，
即使不裝相機時可以 pass，除非送測與出貨時也都不裝相機，
否則我想這樣的 report，google 也不會接受的。
※ 編輯: tkcn 來自: 140.114.78.231 (01/30 23:20)
7F：推 onlywig:謝謝您 android.core.tests.libcore.package.libcore下的 01/31 09:27
8F：→ onlywig:libcore.java.util.OldTimeZoneTest 我都需要重設原廠設定 01/31 09:28
9F：→ onlywig:才會PASS 但時間變成1999年 後面一些測項會顯示時間錯誤 01/31 09:29
還沒看過測項細節，不過倒是搜到這兩篇:
http://code.google.com/p/android/issues/detail?id=41751
http://blog.csdn.net/dnfchan/article/details/8558325
先看看是否與你遭遇的情況相同吧。
10F：→ onlywig:若還有其他問題可寄站內信請教嗎?雖然我比較想在板上討論 01/31 09:30
11F：→ onlywig:也可以讓後面加入此領域的人有個參考 01/31 09:30
皆可。
不過除非是我剛好有涉獵的測項，否則我也只會初步看過，
不見得真能解決你的問題，畢竟怎麼說我們也算是競爭對手嘛 Orz
12F：→ nopeace:以前測試都用script自動跑，有fail就自動break重跑 01/31 09:54
13F：→ nopeace:CTS測的項目很細，甚至有一些function在什麼情況下該回什 01/31 09:55
14F：→ nopeace:麼值都很要求，所以機器有分wifi跟3G的話是有不同規則的 01/31 09:56
15F：推 wendly777:如果公司沒有高手....應該是趕快開104的時候了 02/02 17:04
※ 編輯: tkcn 來自: 140.114.78.231 (02/04 00:01)
16F：推 onlywig:我才剛來啊wendly大 哈 02/04 12:34
17F：→ willy0206:相機很難搞...連Google自家的機器都fail一堆 02/10 12:16