800名开发者部署被卡,三个Bug藏在哪一层?

Google 最近披露了一起排查过程相当曲折的故障:GKE、Private Service Connect 和 Linux 内核三处问题叠加,导致 Kubernetes API 连接间歇性失败,约 800 名开发者 无法把代码部署到生产环境。 事情从今年 1 月开始。一位客户跑着多个 GKE 集群,用 Private Service Connect(PSC)做私有控制面访问,结果 Pod 在访问 Kubernetes API Server 时反复超时。抓包之后,画面有点诡异:控制面在回应新的 TCP 连接请求时,回的是属于此前已关闭连接的 陈旧 ACK 包 。 Google Cloud 高级技术解决方案工程师 Akash Thakur 描述了这次跨团队排查:GKE、Private Service Connect、网络、hostnet、内核以及 Linux 上游社区的工程师一起介入,最终定位的不是一个根因,而是三个。修复也没有落在配置改动或功能开关上,而是一份 Linux 内核补丁。 三个根因,各管一段 调查锁定的三个原因彼此牵连: PSC 层出现数据包重排序; Envoy 的半关闭(half-close)行为让 TCP 连接无法被正常关闭; Linux 内核的一个 Bug 丢弃了某些被重排序的 FIN 包。 Thakur 说,大多数网络问题只在一个层面就能解决——找到配错的防火墙规则、耗尽的连接池、算错的 MTU,改完收工。这次不一样:症状是同一个“连接从未完成导致的 i/o timeout”,但无论你从 PSC 层、内核 TCP 状态机还是 Envoy 的连接管理去看,都能得到一个看似合理的解释,而每个解释都不完整。 最终,内核问题让套接字无限期卡在 FIN_WAIT_2 状态。 修复分三步走 整个修复历时数周,分三步协调推进:先回滚一项 PSC 变更恢复连通性,再修正代理协议处理并补上回归测试。最后,由曾任 Google 软件工程师的 Eric Dumazet 撰写内核补丁,修掉底层的 TCP 问题。 Google Cloud 董事总经理 Rohan Karne 对此的评价是:这就是关键任务平台工程不光彩的现实——有条不紊地排除显而易见的嫌疑对象,一路挖到抓包,直到找到内核层面的根因。 内核修复被合入 Linux 6.9.7 ,并回移到 6.6 和 6.1 两个 LTS 分支,随 GKE 版本 1.33.5 及之后版本到达客户手中。 旁观者的两句冷水 Thakur 强调的重点是:网络、代理和操作系统各自看起来合理的行为,叠加起来就能变成复杂的基础设施故障。多层抓包是定位问题的关键,而把网络症状与基础设施变更做关联,才把三个 Bug 串了起来。 香港中文大学博士后研究员 Guangba Yu 认为,对 AIOps 和混沌工程而言,可迁移的方法是同时组织路径观测、协议状态和发布事件,并区分“症状恢复”与“状态机修正”。他也指出,这个匿名案例没有给出总体故障率,也无法解释所有 API 超时。 Sidero 现场 CTO Justin Garrison 的关注点更直接:他起初很兴奋地读这篇通向内核补丁的文章,结果发现 GKE 跑的是三年前的内核(6.1),Bug 在上游早就修好了,他们只是做了回移。 特别

about image
1胜16负!13连败!NBA最烂球队诞生,76人的纪录很难保住了

1胜16负!13连败!NBA最烂球队诞生,76人的纪录很难保住了

为青少年篮球爱好者提供成长计划,帮助他们系统学习和提升篮球技能。...

山东一女子没锁车,现金被盗多出一张字条“孩子住院急需医疗费,发工资就还你”,5天后小偷落网,他的一句话却让字条彻底变了味

山东一女子没锁车,现金被盗多出一张字条“孩子住院急需医疗费,发工资就还你”,5天后小偷落网,他的一句话却让字条彻底变了味

为青少年篮球爱好者提供成长计划,帮助他们系统学习和提升篮球技能。...

订阅