Lion ZC 网络连接慢问题分析
文章目录
【注意】最后更新于 December 5, 2018,文中内容可能已过时,请谨慎使用。
摘要:本文记录了Lion机型ZC阶段网络连接慢(上电后ping通时间从15秒延长至60秒)的完整分析过程,涵盖测试网络架构排查、交叉验证、数据分析等环节,最终锁定问题与AH架构切入强相关,并给出了短期和长期对策。
问题描述
- 机型:Lion
- 发生时间:2018/11/25
- 发生阶段:ZC
- 不良率:100%
- 现象描述:
- 正常:Lion上电15秒左右,测试电脑即可ping通机台
- 异常:Lion上电60秒后,测试电脑才可以ping通机台
测试网络架构
测试电脑配备双网卡:
| 网卡 | 用途 | IP地址 | 子网掩码 |
|---|---|---|---|
| 网卡1 | 上抛SFCS | 140.58.224.X | 255.255.240.0 |
| 网卡2 | 连接Lion机台 | 172.20.1.12 | 255.255.255.0 |
| Lion网卡 | 机台端 | 172.20.1.1 | 255.255.255.0 |
网关:140.58.224.1 | DNS:172.168.168.209
异常现象
tracert Lion机台IP时,路由先走了默认路由,再走直连路由,导致电脑连接机台慢。
相关知识:
- 路由优先级:直连 > 本地 > 默认
- 正常情况下,直连路由优先级最高,应直接走网卡2连接机台
- 异常时默认路由被优先匹配,数据包先绕到外部网关再回来
问题分析
第一阶段:排除治具与机台本身问题(11/25)
| 排查项 | 动作 | 结果 |
|---|---|---|
| 软件变更 | 与PE确认最近1周产品软件是否变更 | 未变更 |
| 治具验证 | 拿异常机台在ZE/ZD/T1站复测 | 现象一致,排除治具 |
| 机台交叉验证 | 拿夜班正常机台到ZC站复测 | 现象一致,怀疑测试网络/电脑 |
初步结论:问题不在机台本身,也不在治具,方向指向测试网络或测试电脑。
第二阶段:排除网络与电脑因素(11/26)
| 排查项 | 动作 | 结果 |
|---|---|---|
| 网络变更 | MIS确认测试网络是否升级或变动 | 未变动 |
| 数据分析 | 查看11/24夜班ZC站测试log | 53.7% 机台有此异常 |
| 电脑验证 | 安装2台纯净版Win7电脑 | 异常现象依旧,排除电脑 |
| 网络资料 | Google查询Windows网关浮动/不稳定问题 | Win7存在路由混乱issue |
两天验证结论:与测试网络和测试电脑无关,方向回到机台软件/架构。
第三阶段:锁定AH架构(11/27 ~ 12/11)
11/27 软件版本对比
拿1pcs 7月份生产的机台(非Trinity流程)download CM47 & CM207测试image,无法复制此Issue。
→ 说明问题与较新的软件/流程版本相关。
12/7 DSOS站网络异常数据分析
统计DSOS站Ethernet Fail数据(6月~11月):
| 时间段 | 特征 | 结论 |
|---|---|---|
| 8月中下旬 ~ 10月上旬 | 不良率偏高(8/24达39.8%) | 与当前Issue无关 |
| 9/17 | 导入Trinity流程 | 不良率波动 |
| 9/25 | EOL添加Wait Device | - |
| 9/29 | 修改Power off指令 | - |
| 10月中旬以后 | 不良率降至2%~5%区间 | 趋于稳定 |
DSOS站虽未加入Wait Device测项,但烧入image前会循环检查网络连接25次。 结论:Giga网线接触不良和Windows网关不稳定会导致DSOS站网络连接失败,但与本次ZC站网络慢问题无关。
12/11 MPC Flash站数据分析(关键突破)
统计MPC Flash站PASS时间异常log(正常约100sec,异常时155~160sec):
| 日期 | Fail数 | Pass数 | Fail Rate | 备注 |
|---|---|---|---|---|
| 10/16 | 2 | 239 | 0.8% | - |
| 10/26 | 1 | 177 | 0.6% | - |
| 10/30 | 9 | 41 | 22.0% | 夜班切入AH架构 |
| 10/31 | 107 | 322 | 33.2% | - |
| 11/01 | 38 | 98 | 38.8% | - |
| 11/16 | 154 | 222 | 69.4% | 峰值 |
| 11/24 | 123 | 289 | 42.6% | - |
关键发现:异常现象10/30号夜班产线切入AH架构后陡然升高,从不足1%跳升至20%以上,后续持续维持在30%~69%高位。
MPC Flash Break(测试中断)数据也显示类似趋势,11月中下旬break率从1%~2%上升至5%~8%。
结论:问题现象跟随AH架构切入,怀疑AH架构与Windows电脑存在搭配性问题。
问题树(分析路径总结)
|
|
根本原因
Root Cause:暂未完全定位底层机制。
初步判断为 AH架构与Windows系统的路由机制存在搭配性问题,导致上电初期路由表匹配顺序异常,直连路由未被优先选择,数据包先走默认路由绕路,从而延迟约45秒才能ping通机台。
Action
Short Term(短期对策)
方案:在测试上抛完成之后 disable测试网卡,电脑可以在15秒左右连接Lion机台;MPC Flash PASS之后 enable测试网卡 上抛SFCS。
Side Effect:
- 若测试中断或异常,作业员需要手动开启测试网卡
- 若在测项中添加Wait Device,测试时间需增加约60秒,影响产线output
Long Term(长期对策)
- 增加1套测试治具,并添加 Wait Device测项 来解决此Issue
- 持续跟进AH架构与Windows兼容性问题,推动RD从底层修复路由机制
经验总结
- 数据是最好的证据:跨越多个站点(DSOS、MPC Flash、ZC)的数据分析,最终通过MPC Flash站10/30 AH架构切入前后的不良率突变,锁定了问题方向。
- 路由优先级要牢记:直连 > 本地 > 默认,遇到网络慢先tracert看路由走向,快速定位是否路由问题。
- 架构变更需警惕:AH架构作为重大架构变更,切入前后务必重点关注网络、启动时序等基础功能表现。
✅ 分析完成,短期对策已验证有效,长期方案规划中!
文章作者
上次更新 2018-12-05