Bug #114208

测试 Test-ST #113421: V4.0功能与专项测试

测试 Test-ST #114212: V4.0专项--BSP专项--性能测试

【BSP】【EVT1】【专项】【Benchmark】Geekbench_V4.4.0 测试single-core score分数为4072，低于同平台产品4265

Added by 移动测试一组_CDTS 刘强 over 2 years ago. Updated over 2 years ago.

Status:CLOSEDStart date:2022-11-29
Priority:NormalDue date:
Assignee:移动测试一组_CDTS 刘强% Done:

100%

Category:依赖高通case 回复
Target version:VX1_MCE_FSE_V5.0_20221230
Need_Info:-- Found Version:01.00.X101_0046.X101
Resolution:WONTFIX Degrated:--
Severity:Critical Verified Version:
Reproducibility:Every time Fixed Version:
Test Type:ST Root cause:跑分参考标准不对导致此issue的提出，需要统一CPU/DDR/UFS/android version/test apk version,由于历史原因（QCS8250没有Android S的基线，所以使用了SXR2130P基线），参考对象应该为SXR2130P的xr设备，目前从高通xr QRD获取的跑分数据与TC设备相近，此跑分数据偏差现象并非问题。

Description

【前提条件】
使用user版本测试

【测试步骤】
1.安装Geekbench_V4.4.0跑分工具
2.打开跑分工具并运行
3.跑分结束后，查看结果

【预期结果】
各项跑分数据不低于同平台跑分数据

【实际结果】
single-core score分数为4072，低于同平台产品4265

详细跑分结果：https://thundersoft.feishu.cn/sheets/shtcnxGYnn4xc7FO3Pdb4He8H0e?sheet=TQCgW3
sheet：1-2 Geekbench

gk1.png (67.6 KB) CD SYSTEM-龚元祝, 2022-12-14 10:47

gk2.png (19.6 KB) CD SYSTEM-龚元祝, 2022-12-14 10:47

gk3.png (44.3 KB) CD SYSTEM-龚元祝, 2022-12-14 10:47

gk4.png (24.3 KB) CD SYSTEM-龚元祝, 2022-12-14 10:47

80-PK882-160.pdf - sm8250 Q (416 KB) Preview CD SYSTEM-龚元祝, 2022-12-14 11:06

KBA-211004050036.pdf - sm8250 R (239 KB) Preview CD SYSTEM-龚元祝, 2022-12-14 11:06

GK5.jpg (539 KB) CD SYSTEM-龚元祝, 2022-12-14 11:18

GK6.jpg.png (1.6 MB) CD SYSTEM-龚元祝, 2022-12-14 11:18

TC figure - Geekbench5.4.6.html Magnifier (485 KB) CD SYSTEM-龚元祝, 2022-12-14 11:18

FIGURE_INFO.zip - trace and info (4.5 MB) CD SYSTEM-龚元祝, 2022-12-16 12:39

Gk1 Gk2 Gk3 Gk4 Gk5 Gk6.jpg

History

#1 Updated by 移动测试一组_CDTS 刘强 over 2 years ago

  • Parent task changed from #111337 to #111340

#2 Updated by 移动测试一组_CDTS 刘强 over 2 years ago

  • Parent task changed from #111340 to #114212

#3 Updated by CDTS_TEST 王成 over 2 years ago

  • Severity changed from Normal to Critical

#4 Updated by CD SYSTEM-胡兵 over 2 years ago

  • Assignee changed from CD BSP-唐金泽 to CD SYSTEM-龚元祝

Hi 元祝

需要确认当前版本是否处于性能模式，确认对比机平台、ddr、ufs、android版本是否对齐。另外需要获取高通QRD/MTP相关信息（case）

Thanks.

#5 Updated by CDTS-TEST 周婷 over 2 years ago

  • Target version set to MCE_V4.0update_20221215(原VC1_FSE_Vdec1219)

#6 Updated by CD SYSTEM-龚元祝 over 2 years ago

对比了测试数据，有几个分项跑分偏低，通过设置CPU DDR UFS为最高频率进行多次复测，跑分无提升。无法确定跑分结果是否正常，已给高通提了case 06400530。待高通答复。12月15日前解决有风险。

#7 Updated by CDTS-TEST 周婷 over 2 years ago

  • Category changed from BSP to 依赖高通case 回复

#8 Updated by CDTS-TEST 周婷 over 2 years ago

  • Target version changed from MCE_V4.0update_20221215(原VC1_FSE_Vdec1219) to VX1_MCE_FSE_V5.0_20221230

#9 Updated by CD SYSTEM-龚元祝 over 2 years ago

  • File gk1.png added
  • File gk2.png added
  • File gk3.png added
  • File gk4.png added
  • Category changed from 依赖高通case 回复 to BSP
  • Target version changed from VX1_MCE_FSE_V5.0_20221230 to MCE_V4.0update_20221215(原VC1_FSE_Vdec1219)

#10 Updated by CD SYSTEM-龚元祝 over 2 years ago

KBA-211004050036.pdf
80-PK882-160.pdf
参考了高通两份文档。和figure是同一chipset。高通测试结果如下：
QRD SM8250 Q:


从测试结果看GEEKBENCH 4的单核和多核跑分结果和对比机android 10的测试结果是基本一致的。

QRD SM8250 S:


由于QRD SM8250 R没有GEEKBENCH 4的测试结果，只能对比GEEKBENCH 5的。
从GEEKBENCH 5的单核和多核测试结果看QRD SM8250 S都是要小于QRD SM8250 Q的。

因此我们的结论是figure GEEKBENCH 单核和多核跑分都小于对比机的原因是android S和Q的差异导致的。

下一步我们需要用GEEKBENCH 5做对比机和测试机的跑分测试。

#12 Updated by CD SYSTEM-龚元祝 over 2 years ago

GEEKBENCH 5.4.6测试

对比机 ANDROID Q：

FIGURE ANDROID S：

通过GEEKBENCH 5.4.6跑分结果来看，single-core的跑分差异不大，没啥问题。差异较大的是multi-core的跑分，比高通QRD跑分差了10%以上，已反馈给高通。等高通答复。

#13 Updated by CDTS-TEST 周婷 over 2 years ago

  • Category changed from BSP to SYSTEM

#14 Updated by CDTS-TEST 周婷 over 2 years ago

  • Category changed from SYSTEM to 依赖高通case 回复
  • Target version changed from MCE_V4.0update_20221215(原VC1_FSE_Vdec1219) to VX1_MCE_FSE_V5.0_20221230

#15 Updated by CD SYSTEM-龚元祝 over 2 years ago

Dear Customer:
1, I tested 5.3.1 on QRD device, ST around 890; MT around 3200.
2, May you share your test apk.
3, share your device:
adb shell getprop > getprop.txt
adb shell dumpsys > dumpsys.txt
adb shell cat /vendor/firmware_mnt/verinfo/ver_info.txt
4,do test and catch systrace on your device and ref device:
device boot up
wait 5mins
adb root
start test
adb shell atrace -c -b 10240 --async_start -z gfx power ss network sched irq freq idle disk mmc workq memreclaim
Wait 20s
adb shell atrace -c -b 10240 --async_stop -z gfx power ss network sched irq freq idle disk mmc workq memreclaim > GBTrace_0
正在按高通的要求抓log分析。

#17 Updated by CD SYSTEM-胡兵 over 2 years ago

  • Status changed from New to RESOLVED
  • Assignee changed from CD SYSTEM-龚元祝 to 移动测试一组_CDTS 刘强
  • Resolution changed from -- to WONTFIX
  • Root cause set to 跑分参考标准不对导致此issue的提出，需要统一CPU/DDR/UFS/android version/test apk version,由于历史原因（QCS8250没有Android S的基线，所以使用了SXR2130P基线），参考对象应该为SXR2130P的xr设备，目前从高通xr QRD获取的跑分数据与TC设备相近，此跑分数据偏差现象并非问题。

Hi ALL

由于当前基线使用的是SXR2130P.LA.1.1(历史原因),所以前面高通的参考数据不能全部使用（SM8250手机基线），目前高通使用对应基线的XR设备（android 12）,使用相同apk(GeekBench5.3.2)进行测试，数据如下：

QRD XR device
ST:877
MT:2994 TC figure device
ST: 892
MT: 2938

从结果看，分数相近，目前跑分没有问题（case:06400530）

#18 Updated by CD SYSTEM-胡兵 over 2 years ago

  • % Done changed from 0 to 100

#19 Updated by 移动测试一组_CDTS 刘强 over 2 years ago

  • Status changed from RESOLVED to VERIFIED

根据R&D的备注，该问题不予修改，因此关闭该bug

#20 Updated by 移动测试一组_CDTS 刘强 over 2 years ago

  • Status changed from VERIFIED to CLOSED

Also available in: Atom PDF