基于 sgl-project/rbg 的 PD 分离推理部署实践
用 RoleBasedGroup 把 SGLang Prefill/Decode 分离部署成一个可整体运维的单元：路由、启动依赖、多机 TP、KV 传输与灰度升级的落地方案。
CFN Cloud
Kubernetes、GPU 与 AI 基础设施实战指南
实用工具
边学习边使用工具
按主题浏览
热门主题
编辑精选
精选阅读
Kubernetes 探针：存活、就绪、启动和故障信号
从真实故障出发理解 Liveness、Readiness 和 Startup Probe 的职责边界，避免误探测导致重启和流量异常。
Linux 内存分配：malloc、brk、mmap 与 RSS 实验
通过可复现程序和 /proc、strace 观察 glibc malloc 如何使用 brk、mmap、madvise，以及 free 后 RSS 为何不一定下降。
Kubernetes Ephemeral Containers：线上调试入口和权限边界
在不把 curl/dig/tcpdump 打进生产镜像的前提下，安全地进入 Pod 排查 DNS/网络/依赖问题。
Kubernetes NetworkPolicy：默认拒绝、DNS 放行和安全上线
一步步上线 Kubernetes NetworkPolicy：先做默认拒绝，再放行 DNS 和关键依赖，避免策略一上就把业务打挂。
创业公司 GPU 成本：Serverless、独占与混合容量
不用供应商小时单价拍脑袋，按有效 GPU 小时、冷启动、闲置、运维和 SLO 计算 Serverless 与独占 GPU 的盈亏平衡点，并设计混合容量迁移路径。
按主题阅读
专题导读
最新文章
近期文章
基于 sgl-project/rbg 的 PD 分离推理部署实践
用 RoleBasedGroup 把 SGLang Prefill/Decode 分离部署成一个可整体运维的单元：路由、启动依赖、多机 TP、KV 传输与灰度升级的落地方案。
Kubernetes 探针：存活、就绪、启动和故障信号
从真实故障出发理解 Liveness、Readiness 和 Startup Probe 的职责边界，避免误探测导致重启和流量异常。
Linux 内存分配：malloc、brk、mmap 与 RSS 实验
通过可复现程序和 /proc、strace 观察 glibc malloc 如何使用 brk、mmap、madvise，以及 free 后 RSS 为何不一定下降。
Kubernetes Ephemeral Containers：线上调试入口和权限边界
在不把 curl/dig/tcpdump 打进生产镜像的前提下，安全地进入 Pod 排查 DNS/网络/依赖问题。
Kubernetes NetworkPolicy：默认拒绝、DNS 放行和安全上线
一步步上线 Kubernetes NetworkPolicy：先做默认拒绝，再放行 DNS 和关键依赖，避免策略一上就把业务打挂。
创业公司 GPU 成本：Serverless、独占与混合容量
不用供应商小时单价拍脑袋，按有效 GPU 小时、冷启动、闲置、运维和 SLO 计算 Serverless 与独占 GPU 的盈亏平衡点，并设计混合容量迁移路径。
Kubernetes 发布保护：PDB、Surge 和 Unavailable 怎么配
把 Deployment 滚动升级参数与 PodDisruptionBudget 配合起来，降低发布与节点维护带来的可用性风险。
基于 LeaderWorkerSet 发布 vLLM 与 SGLang PD 分离推理：启动、KV 传输与验证
使用 LWS DisaggregatedSet 管理 Prefill/Decode 角色，给出 SGLang 和 vLLM 的 NIXL 启动参数、Kubernetes 发布骨架、路由验证与生产边界。
Kubernetes GPU 超配：Time-Slicing、MIG 与队列回填
从 Kubernetes GPU 资源语义出发，对比队列回填、NVIDIA Time-Slicing、MIG 和运行时共享，并给出可执行配置、验证指标与回滚边界。
Kubernetes Requests 与 Limits：调度、限流和 OOM 边界
把 CPU/内存 requests 与 limits 讲清楚：调度、限流、OOMKilled、QoS、HPA/VPA 与容量规划。
Linux x86-64 函数调用：栈帧、ABI 与 GDB 验证
用可复现的 C 程序和 GDB 实验拆解 SysV AMD64 参数传递、call/ret、栈帧、回溯、PIE 地址定位与优化影响。
Kubernetes RBAC 最小权限：角色、绑定和风险收敛
从生产安全角度讲清 Kubernetes RBAC 最小权限设计，减少过宽授权、滥用 cluster-admin 和误绑风险。
Linux 动态链接：GOT、PLT、延迟绑定和 dlopen
拆开看 Linux 如何在运行时动态链接共享库——PIC、GOT、PLT、延迟绑定、gdb 追踪，以及 -fPIC 的真实代价。
Linux 栈溢出保护：Canary、NX、ASLR、PIE 和 RELRO
用一份可复现实验拆解 Linux 二进制加固：Stack Canary、FORTIFY、NX、Stack Clash、ASLR、PIE、RELRO 与 CET 分别防什么，以及如何验证构建产物。
Linux 堆内存管理：Arena、Chunk、Bin 和 Tcache
从 glibc malloc 的 Arena、Chunk、Bin 与 Tcache 出发，用可复现实验区分真实泄漏、分配器缓存、碎片和 RSS 不回落。
OpenClaw 生态对比：五个自托管 Agent 框架怎么选
基于 2026 年 9 月 3 日的项目快照，对比五个自托管 Agent 框架的部署、扩展、安全边界和运维成本。
KAI-Scheduler 与 HAMi：GPU 共享的调度记账与运行时约束
对比 KAI-Scheduler 的 Reservation Pod 调度记账与 HAMi 的 CUDA API 层显存、算力约束，并说明它们和 MIG 硬件隔离的边界。
Kubernetes、Docker 和 OpenStack：边界、职责和选型
用几个真实场景把三者边界讲清楚：Docker 负责装箱和运行，Kubernetes 负责编排和稳定运行，OpenStack 负责把硬件变成可自助申请的云资源池。
hetGPU：跨厂商 GPU 二进制兼容的工程边界
解读 hetGPU 研究原型提出的跨厂商 GPU 二进制方案，区分论文设计、概念伪代码与当前工程能力。
Linux cgroup：V1、V2、CPU 节流和 OOM 排障
从 cgroup V1/V2 差异出发，用 cpu.stat、memory.events、PSI 和 Kubernetes 资源配置定位 CPU 节流、内存回收与 OOM。
gpu-manager 架构：Device Plugin、vCUDA 与迁移边界
复盘 tkestack/gpu-manager 的 Device Plugin、vCUDA 资源模型、库注入和拓扑分配，并说明旧 CUDA 兼容边界与现代迁移方案。
ELF 文件：Section、Segment、重定位和动态链接
用结构、示例与工具把 ELF 的类型、布局、重定位和动态链接串起来。
Kubernetes 排障：Pending、CrashLoopBackOff 与流量故障
用可复用的流程诊断 Pending、CrashLoopBackOff、流量不通、DNS/网络和节点问题，把 Kubernetes 排障从拍脑袋变成可验证。
Kubernetes 自动扩缩容：HPA、VPA 和 Cluster Autoscaler 的边界
把 requests 写对、HPA 行为调稳、VPA 做推荐、CA 能补容量，让扩缩容可预测而不是“抽风”。
Kubernetes 探针：Liveness、Readiness 和启动保护
从原理到实践理解 Kubernetes 三类探针，避免误配置导致重启风暴、流量误摘除和启动失败。
用 Helm 部署 MySQL 集群：Chart 默认值和运维边界
通过 Helm 快速部署 MySQL 集群，同时理解 Chart 默认值、持久化、网络与生产环境中的关键权衡。
kubectl port-forward：调试边界与故障误判
讲清 kubectl port-forward 的工作原理、适用调试场景，以及它和 Service、Ingress 的区别。
Kubernetes MySQL 源库与副本：复制状态、路由和故障切换
理解 MySQL 源库与副本在 Kubernetes 中的部署结构，使用 MySQL 8.4 命令检查复制状态、路由和故障切换。
Kubernetes Headless Service：副本身份、DNS 和有状态应用
理解 Headless Service 为什么适合 StatefulSet、数据库和服务发现，以及它与普通 Service 的关键差异。
Kubernetes StatefulSet：稳定身份、有序发布和持久存储
讲清 StatefulSet 为什么适合数据库和中间件，以及稳定网络标识、有序伸缩和持久存储的实际意义。