真实案例：Cloudflare 近期两次宕机 第一次服务中断：2025年11月18日 2025 年 11 月 18 日 11:20 UTC，Cloudflare 网络开始出现严重故障。这是Cloudflare 自 2019 年以来最严重的一次服务中断，在过去 6 年多时间里从未发生过导致大部分核心流量中断的故障。 下图显示了 Cloudflare …

前言 K8S原生Deployment支持滚动更新和重建两种发布模式。 滚动更新模式 Pod升级自动进行，失败自动暂停。通过以下策略控制升级速率: Max Unavailable : 最大不可用实例数/比例 Max Surge : 调度过程中，可超过期望实例数的数/比例 然而，由于发布期间无法暂停，导致没有时间验证新版本正确性，仅依赖Pod Read…

现象 k8s node 出现周期性cpu毛刺，每10分钟整出现，cpu.sys 占用峰值高于正常水位 10% 左右。 排查 期间用top命令查看，但没有观察到占用cpu高的进程。怀疑是占用cpu时间太短，这种情况可以通过perf采集cpu的性能数据进一步分析。 perf 介绍 perf 是 Linux 2.6.31 以后内置的性能分析工具。它以性能…

背景 华硕主板装机后，cpu风扇和机箱风扇的灯光控制线，都插到主板的LED接口上。但是开机后，系统自带的Armoury Crate软件，并没有展示自己的灯光设备，无法控制灯光。 （图中最大的黄色矩形框区域不展示自己的灯光设备） 解决方案 使用asus-setup-tool 卸载 Aura Sync asus-setup-tool The Asus …

服务介绍 serverA是一个数据仓库服务，提供数据的版本管理，储存和下载等功能。 线上服务变更大致可分为代码变更、配置变更、数据变更，serverA广泛用于线上数据变更。 由于数据处理对磁盘 IO 性能要求较高（如顺序写入和随机读取），相比网络存储（如Ceph，对象存储等），本地磁盘能提供更低的延迟和更高的吞吐量，因此被选为存储介质。这也使其归属…

背景 最近遇到zk无法使用，zk断开后无法重连等问题，排查了下用到的zk sdk，顺便写文章记录下这个sdk是如何高效复用连接的。 流程分析 获取连接 服务启动时，会创建zk connection，本质上就是一个TCP连接。 如果失败，就从zk配置里取下一个zk server地址，进行连接。 func (c *Conn) connect() { l…

问题背景 在学习开源项目时，很多时候光看代码是搞不清楚实际运行时会走哪个逻辑分支，或者无法推测方法参数值。最简单的办法是 debug，熟悉某个功能的执行流程。 我们通常用 delve 去 debug golang 程序，但是很多云原生项目运行在 k8s 环境里，在本地我们可以用 minikube 来模拟 k8s。两者结合产生新问题：如何 debug…

问题现象 当前有个目录 a，需要对其创建一个软链接 b。 tree . `-- a |-- a1.txt `-- a2.txt 1 directory, 2 files 第一次执行ln -s a b 成功执行，符合预期 tree . |-- a | |-- a1.txt | `-- a2.txt `-- b -> a 2 directories, …

Go基础 切片 通过 make 方法去声明一个 int 32 类型的一个slice，指定它的长度为10，容量为20。那么对于这样生成的一个变量，它在内存当中占据多大的空间？ 切片对象占用内存大小：int 类型的 cap、len 字段，一个底层数组的指针。8+8+8=24 字节 底层数组占用内存大小：int32 类型，长度为 20 的数组。4*20=…

K8s 如何通过 kubeproxy 保证两个 Pod 之间的相互通信？ kubeproxy 会监听 pod 的变化，在 node 上配置 iptables规则，将访问的 service ip，做 DNAT，转到 service 负载均衡的endpoint ip。但是 iptables 查找负载均衡的 endpoint 是 O(n)复杂度，当集群 …