Bug #114952

测试 Test-ST #113421: V4.0功能与专项测试

测试 Test-ST #114212: V4.0专项--BSP专项--性能测试

【BSP】【EVT2】【专项】【Benchmark】安兔兔跑分测试项：UX使用体验-列表、HTML5、二维码 23443分，低于对比机：42797

Added by 移动测试一组_CDTS 刘强 over 2 years ago. Updated over 2 years ago.

Status:CLOSEDStart date:2022-12-29
Priority:HighDue date:2023-02-16
Assignee:移动测试一组_CDTS 刘强% Done:

100%

Category:SYSTEM
Target version:-
Need_Info:-- Found Version:FlatBuild_HH_VX1_MCE_FSE.M.D.user.01.00.X101.202212240330
Resolution:FIXED Degrated:No
Severity:Major Verified Version:
Reproducibility:Every time Fixed Version:2023-02-14
Test Type:ST Root cause:直播机和我们设备都是60fps，如图红色部分，相差不大，蓝色部分是与联想小新的对比，因为联想小新是120fps所以有差距

Description

【前提条件】
使用user版本测试

【测试步骤】
1、设备开机后安装安兔兔跑分软件
2、运行跑分软件
3、查看跑分结果

【预期结果】
分差不超过10%
对比机UX使用体验-列表、HTML5、二维码：42797

【实际结果】
UX使用体验-列表、HTML5、二维码：23443

测试apk：ftp://cdiot@192.168.87.46/Figure/video/apk

20230202-140542.jpg - figure跑分结果 (153 KB) 物联网测试组_CDTS 段小刚, 2023-02-02 14:10

20230202-140615.jpg - 联想小新跑分结果 (96.6 KB) 物联网测试组_CDTS 段小刚, 2023-02-02 14:10

figure_traces.zip - figure系统跟踪日志 (33.9 MB) 物联网测试组_CDTS 段小刚, 2023-02-02 14:10

lenovo_traces.zip - 联想小新系统跟踪日志 (27.7 MB) 物联网测试组_CDTS 段小刚, 2023-02-02 14:10

20230202-141230.jpg - figure的UX使用分数 (117 KB) 物联网测试组_CDTS 段小刚, 2023-02-02 14:16

20230202-141126.jpg - 小新的UX使用分数 (70 KB) 物联网测试组_CDTS 段小刚, 2023-02-02 14:16

20230206-161319.jpg - 图5 (377 KB) 物联网测试组_CDTS 段小刚, 2023-02-06 16:15

对比数据.jpg (290 KB) CD SYSTEM-夏旭, 2023-02-14 14:01

20230202-140542 20230202-140615 20230202-141230 20230202-141126 20230206-161319 %e5%af%b9%e6%af%94%e6%95%b0%e6%8d%ae

History

#1 Updated by CD SYSTEM-胡兵 over 2 years ago

优先级降低，先解决其余性能问题

#2 Updated by CD SYSTEM-胡兵 over 2 years ago

  • Due date set to 2023-01-20

#3 Updated by CD SYSTEM-胡兵 over 2 years ago

  • Status changed from New to ASSIGNED

Hi All

此类跑分问题，TC以高通平台参考数据为准。
参考KBA-211004050036.pdf，高通参考机(SM8250)antutu总分658330，与当前figure测试总分相近。
参考KBA-211025225019.pdf，高通参考机(870平台)antutu总分695291，联想对比平板总分725196，超平台3w分左右
由上述数据可知：
   1. 对比机平台不同，分数不同，比较意义不大，且对比平板得分比高通参考数据还高
   2. figure设备aututu分数与高通参考数据相近
针对此问题，单项得分无法在文档中查询到，进一步分析，
   1. 获取TC内部8250设备跑分，此项得分相近，但由于android版本不同，仅仅作为参考
   2. 已联系高通，进一步获取数据(CPU/GPU/DDR/Android version保证相同)

PS:测试数据请参考https://thundersoft.feishu.cn/sheets/shtcnxGYnn4xc7FO3Pdb4He8H0e --1-1 Antutu

Thanks

#4 Updated by CD SYSTEM-夏旭 over 2 years ago

figure设备的GPU\GPU主频性能都低于联想小新
联想小新：
1xPrime (A76) @3.1GHz
3xGold (A76) @2.4GHz
4xSilver (A55) @1.8GHz
GPU--Adreno 650,670MHz
MEM--LPDDR5,8GB
figure：
CPU--1xPrime (A76) @2.8GHz,3xGold (A76) @2.4GHz,4xSilver (A55) @1.8GHz
GPU--Adreno 650,587MHz
MEM--LPDDR5,8GB

CPU\GPU的硬件差异将会影响UX的性能
---
UX user experience tests : webview rendering, QR code, UI slip.
So GPU and CPU are all will affect the score. You can catch trace to compare CPU and GPU's freq at first.
---
为验证上述差异，请在分别对联想小新和figure跑antutu时，开启系统跟踪
步骤：
a.打开设置
b.进入开发者模式
c.找到系统跟踪
d.开启录制跟踪记录
e.运行antutu结束后，关闭记录
f.通过FTM模式导出记录文件

#5 Updated by CD SYSTEM-夏旭 over 2 years ago

  • Assignee changed from CD SYSTEM-胡兵 to 移动测试一组_CDTS 刘强

#6 Updated by 移动测试一组_CDTS 刘强 over 2 years ago

  • Assignee changed from 移动测试一组_CDTS 刘强 to 物联网测试组_CDTS 段小刚

请帮忙验证一下

#8 Updated by 物联网测试组_CDTS 段小刚 over 2 years ago

已按照要求对比跑分获取日志，请分析附件

#9 Updated by CD SYSTEM-夏旭 over 2 years ago

  • Due date changed from 2023-01-20 to 2023-02-16

#10 Updated by CD SYSTEM-夏旭 over 2 years ago

  • Assignee changed from CD SYSTEM-夏旭 to 物联网测试组_CDTS 段小刚

UX使用体验-列表、HTML5、二维码的数据同时受CPU,GPU，FPS的影响
联想小新测试时，fps：120
figure测试时，fps: 60

联想小新：
1xPrime (A76) @3.1GHz
3xGold (A76) @2.4GHz
4xSilver (A55) @1.8GHz
GPU--Adreno 650,670MHz
MEM--LPDDR5,8GB
figure：
CPU--1xPrime (A76) @2.8GHz,3xGold (A76) @2.4GHz,4xSilver (A55) @1.8GHz
GPU--Adreno 650,587MHz
MEM--LPDDR5,8GB

以上差异叠加造成了UX测试项数据远低于联想小新
如果需要缩小差距，可以尝试将fps的帧率拉到90或者120再进行对比测试

#11 Updated by 物联网测试组_CDTS 段小刚 over 2 years ago

Figure设备无法达到120帧，最多支持60帧，无法横向对比

#12 Updated by 物联网测试组_CDTS 段小刚 over 2 years ago

  • Assignee changed from 物联网测试组_CDTS 段小刚 to CD SYSTEM-夏旭

#13 Updated by CD SYSTEM-夏旭 over 2 years ago

  • Assignee changed from CD SYSTEM-夏旭 to 物联网测试组_CDTS 段小刚

查看直播机安兔兔跑分时的帧率是否为60fps，如果是60fps，可以作为参考

#14 Updated by 物联网测试组_CDTS 段小刚 over 2 years ago

  • File 20230206-161319.jpg added
  • Assignee changed from 物联网测试组_CDTS 段小刚 to CD SYSTEM-夏旭

直播机是60帧，它的相关跑分结果见图5

#15 Updated by CD SYSTEM-夏旭 over 2 years ago

  • File 对比数据.jpg added
  • Status changed from ASSIGNED to RESOLVED
  • Assignee changed from CD SYSTEM-夏旭 to 物联网测试组_CDTS 段小刚
  • % Done changed from 0 to 100
  • Resolution changed from -- to FIXED
  • Degrated changed from -- to No
  • Fixed Version set to 2023-02-14
  • Root cause set to 直播机和我们设备都是60fps，如图红色部分，相差不大，蓝色部分是与联想小新的对比，因为联想小新是120fps所以有差距

直播机和我们设备都是60fps，如图红色部分，相差不大，蓝色部分是与联想小新的对比，因为联想小新是120fps所以有差距

#16 Updated by CDTS_TEST 王成 over 2 years ago

  • Assignee changed from 物联网测试组_CDTS 段小刚 to 移动测试一组_CDTS 刘强

#17 Updated by 移动测试一组_CDTS 刘强 over 2 years ago

  • Status changed from RESOLVED to VERIFIED

根据RD分析，对比机硬件本身差异，无需修改，因此关闭

#18 Updated by 移动测试一组_CDTS 刘强 over 2 years ago

  • Status changed from VERIFIED to CLOSED

Also available in: Atom PDF