Bug #118528

【BSP】-【DVT】-【OTA升级】-106版本通过中控升级压测95次，失败一次

Added by CDTS_TEST 王成 about 2 years ago. Updated about 2 years ago.

Status:ASSIGNEDStart date:2023-06-05
Priority:NormalDue date:
Assignee:CD_BSP 彭文亮% Done:

0%

Category:BSP
Target version:-
Need_Info:-- Found Version:106版本
Resolution:-- Degrated:--
Severity:Critical Verified Version:
Reproducibility:Occasionally Fixed Version:
Test Type:ST Root cause:

Description

【环境信息】台架环境
中控：0086版本
副屏：106版本
【前提条件】：中控和副屏连接正常，网络正常
操作步骤
1.将public.pem和manifest.json，和OTA（改名update.zip）包放一个文件夹下
之后将整个文件夹改名FSE_update之后压缩形成FSE_update.zip
2. 将FSE_update.zip push到中控/data/路径下
3. 将ota_mgr_fse_client uds_client 文件push到中控/data/路径，并给予权限
4. 执行以下命令进行升级
./data/ota_mgr_fse_client uds_client 0xe80 0x1052 0xe400 192.168.8.16 /data/FSE_update.zip /data/ota/images.zip
升级成功后，重复step4

预期结果：都可以正常升级
实际结果：压测95次，第55次出现升级失败

55.zip (89.1 KB) CDTS_TEST 王成, 2023-06-05 16:34

new 5 (1.04 MB) CDTS_TEST 王成, 2023-06-05 16:34

0610_0612am.zip (5.43 MB) CD_BSP 彭文亮, 2023-06-12 10:48

fsempcap截取.png (47 KB) CD_BSP 彭文亮, 2023-06-25 09:59

zkpcap截取.png (342 KB) CD_BSP 彭文亮, 2023-06-25 09:59

Fsempcap%e6%88%aa%e5%8f%96 Zkpcap%e6%88%aa%e5%8f%96

History

#2 Updated by CD BSP 叶鹏 about 2 years ago

在日志的FSEM_000136_0113_0604161420和137中的136结尾日志中看，发现是客户的程序只调用了获取版本接口和设备重启接口
该日志的情况与网络传输包出错的情况一致；建议在解决网络传出包问题以后的版本上测试

#3 Updated by CD BSP 叶鹏 about 2 years ago

  • Status changed from New to ASSIGNED
  • Assignee changed from CD BSP 叶鹏 to CD TPM-王祥林

沟通发现106版本已经解决网络问题，可是仍然发现有传输超时的打印信息(在new 5日志中)

2023-06-04 16:18:51 doip INFO uds_client.c 4486: ###connect server up s: e80 t:1052 status:1
2023-06-04 16:18:51 doip INFO doip_net.c 240: fd=7, tcp_endpoint->connected=4,utimer_delete=0
2023-06-04 16:18:52 doip INFO uds_client.c 1082: !!!!Receive Timeout retry number: 1 , 0
2023-06-04 16:18:55 doip INFO uds_client.c 1082: !!!!Receive Timeout retry number: 2 , 0
2023-06-04 16:18:58 doip INFO uds_client.c 1082: !!!!Receive Timeout retry number: 3 , 0
2023-06-04 16:19:01 doip INFO uds_client.c 1082: !!!!Receive Timeout retry number: 4 , 0
2023-06-04 16:19:04 doip INFO uds_client.c 1082: !!!!Receive Timeout retry number: 5 , 0

需要调查为啥还会出现timeout的网络问题

#4 Updated by CD TPM-王祥林 about 2 years ago

  • Assignee changed from CD TPM-王祥林 to CD_BSP 彭文亮

#5 Updated by CD_BSP 彭文亮 about 2 years ago

需要进行OTA压测复现。修改压测的脚本，同时对fsme和中控进行抓包。我现在的怀疑点是，OTA服务程序是不是没有正常的运行。

#6 Updated by CD_BSP 彭文亮 about 2 years ago

压测情况：
目前正在持续压测中，已经进行了207次压测。
Fsem使用release 108 user版本。
使用的压测脚本是刘强提供的“Stress_tes.py”,经过其同意只保留了该脚本中的OTA升级这一个模块。

目前日志情况统计：
1）通过shell中打印的log“print.txt”，搜索文本“当前”，第134次--第207次的升级均为成功状态（第0---133次的log被覆盖了，没有进行统计）。
2）通过搜索D:\pwl\figure\0610下的“uds_0x1052_log”文件，搜索文本“Response: 0x1052-71 03 ff 05 00 64”均成功，说明第0---207次的升级是成功状态！
备注1：压测中的第4次，log缺失，因为被同事误拔除了网线和USB网线，不影响整体的测试结果。
备注2：姚安权的信息
2023-03-10 15:13:58(920:074) Response: 0x1052-71 03 ff 05 02 62
2023-03-10 15:13:59(691:138) Request: 0x1052-3e 80
2023-03-10 15:14:00(920:482) Request: 0x1052-31 03 ff 05
2023-03-10 15:14:00(932:367)
2023-03-10 15:14:00(932:480) Request: 0x1052-11 01
2023-03-10 15:14:00(959:379) Response: 0x1052-51 01
判断有没有升级成功看最后4条就可以了。返回安装进度0064，就是安装成功。：Response: 0x1052-71 03 ff 05 00 64 ，1101是复位指令，5101表示正响应，ECU重启OK。

#7 Updated by CD_BSP 彭文亮 about 2 years ago

  • Assignee changed from CD_BSP 彭文亮 to CDTS_TEST 王成

#8 Updated by CD_BSP 彭文亮 about 2 years ago

结论：*从目前的信息看，是我方flash读取错误，从而报错。还在与客户确认报错逻辑。
*备注：
根据刘强的日志，收集信息如下：
一 中控客户端程序，运行日志
第40次测试
2023-06-22 22:23:25 doip INFO uds_client.c 3405: Current block cnt :0x200 block length : 0x1c2000
...
2023-06-22 22:24:06 doip INFO uds_client.c 1074: ret_wait:0
2023-06-22 22:24:31 doip INFO uds_client.c 1074: ret_wait:110
2023-06-22 22:24:31 doip INFO uds_client.c 1082: !!!!Receive Timeout retry number: 1 , 1
2023-06-22 22:24:31 doip ERROR uds_client.c 1155: sid=0x36 receive the NRC code:-114
2023-06-22 22:24:31 doip ERROR uds_client.c 2050: sid=0x36 transfer data failed:-114 to taAddr=0x1052
2023-06-22 22:24:31 doip INFO uds_client.c 3455: 0x38 process transfering data time 233932 ms
2023-06-22 22:24:31 doip ERROR uds_client_main.c 173: download data fail:-114
2023-06-22 22:24:31 doip INFO uds_client_main.c 247: upgrade fail ,go to reset
2023-06-22 22:24:31 doip ERROR uds_client_main.c 694: uds client program err.
二 #170block,失败的传输
具体见图片，分析如下：
1）frame979053证明.16副屏 回给 .4 中控 已经全部收到了block179的data。
2）979054副屏说，收到了你的request
3）979055副屏说reply error
4）主控不干了，你咋还出错了呢，那就复位吧hard reset！

#9 Updated by CDTS_TEST 王成 about 2 years ago

  • Assignee changed from CDTS_TEST 王成 to 移动测试一组_CDTS 刘强

持续压测跟踪

#10 Updated by CD_BSP 彭文亮 about 2 years ago

1）已经将我们这边的分析，反馈给了客户方。OTA的服务端程序和客户端程序均为客户编写。

2）客户方正在分析，暂未回复。

3）但客户让叶鹏进行OTA服务端程序的升级（可以抓取更多的log）,可能是为了更深入的分析我们发现的这一压测故障。因此测试同事应该待叶鹏的patch合入后，采用新的DB或者release进行测试；现在仍采用出故障的版本或其他版本测试，以判断OTA压测出的是否是同一个表现现象。压测脚本仍然需要抓取双边的log。刘强

#11 Updated by CD_BSP 彭文亮 about 2 years ago

客户定位出问题为“下载过程中写入数据的时候失败”，但不知道具体原因。需要使用叶鹏正在合入的OTA服务端程序增加log的patch，来进一步定位原因。
昨天@刘强已经使用VB程序，进行了OTA压测，等待其复现后，将日志传输给客户。

#12 Updated by CD_BSP 彭文亮 about 2 years ago

客户需要更改OTA服务程序，以便增加更多的日志输出，才能该故障的问题进行定位。请@叶鹏持续跟踪。

聊天记录：
还需要我们继续跟踪或者复现给他们日志不呢？
客户说暂时不需要，他那边要修改添加一部分日志，等后续他修改好并给我版本测试ok之后，我们这边可以起压测来帮忙抓一下日志。
要他们给出集成时间
客户说本周内应该能给出来。

#13 Updated by 移动测试一组_CDTS 刘强 about 2 years ago

  • Assignee changed from 移动测试一组_CDTS 刘强 to CD_BSP 彭文亮

0116版本压测20次复现问题

#14 Updated by CD_BSP 彭文亮 about 2 years ago

经查看，昨天的OTA日志报错，与前述报错一致，可以归为一类来解决。

Also available in: Atom PDF