Kubernetes on 凌虚 Blog

Kubernetes APF（API 优先级和公平调度）简介

Mon, 23 Dec 2024 16:55:13 +0800

在 Kubernetes 集群中，kube-apiserver 是一个至关重要的组件，它不仅要对外响应客户端的 HTTPS 请求，还要对内与 controller-manager、scheduler、kubelet …… 等等其它组件交互。

我对 OpenAI Kubernetes 集群故障的追问与疑惑

Thu, 19 Dec 2024 15:06:08 +0800

2024 年 12 月 11 号，OpenAI 的 Kubernetes 集群发生故障，API、ChatGPT、Sora 等服务都受到了影响，且时间长达 4 小时 22 分钟。

关于这次故障，官方有公开复盘，也有很多媒体博主追踪报导。然而，我对此并不满意，本文我将会提出自己的疑惑与追问。

Kubernetes：CPU 配置、Linux CFS、编程语言的性能问题

Wed, 11 Dec 2024 15:44:11 +0800

Kubernetes CPU 配置 -> Linux CFS

在使用 Kubernetes 时，可以通过 resources.requests 和 resources.limits 配置资源的请求和限额，例如：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


apiVersion: v1
kind: Pod
metadata:
 name: nginx
spec:
 containers:
 - name: app
 image: nginx
 resources:
 requests:
 cpu: "250m"
 limits:
 cpu: "500m"

对容器的资源配置会通过 CRI 组件（如 containerd、cri-o 交由更底层的 runc 或 kata-container）去设置 Linux 的 cgroup。

Kubernetes 集群网络：Flannel 与 Calico 的区别

Sat, 30 Nov 2024 10:23:42 +0800

有读者提问：Flannel 与 Calico 的区别。文本将解析一下这两个组件。

Flannel

Flannel 的架构非常简单，只有两个组件：flanneld 和 flannel-cni-plugin。

在功能特性上，Flannel 有三个部分：

Kubernetes 10 问，测测你对 k8s 的理解程度

Sat, 16 Nov 2024 15:14:17 +0800

Kubernetes 10 问

假设集群有 2 个 node 节点，其中一个有 pod，另一个则没有，那么新的 pod 会被调度到哪个节点上？
应用程序通过容器的形式运行，如果 OOM（Out-of-Memory）了，是容器重启还是所在的 Pod 被重建？

Kubernetes Extended Resource 扩展资源使用简介

Wed, 06 Nov 2024 19:30:34 +0800

Kubernetes 除了提供基于 CPU 和内存的传统计算资源调度外，还支持自定义的 Extended Resource 扩展资源，以便调度和管理其它各种类型的资源。

Extended Resource

Extended Resource 扩展资源的创建和使用过程如下图所示：

Kubernetes Node 节点的生命周期简述

Fri, 01 Nov 2024 20:42:58 +0800

Node 节点是 Kubernetes 的核心组件之一，其生命周期可以简要概括为：注册、运行、下线。本文将简要介绍 Node 生命周期中发生的关键事件。

节点注册

每个 node 节点都需要运行 kubelet，kubelet 启动后会向 kube-apiserver 发起节点的注册请求，即创建一个新的 node 资源对象。

Kubernetes Node 节点上的镜像管理

Mon, 28 Oct 2024 23:10:53 +0800

本文将详细介绍 Kubernetes 如何管理节点上的镜像。

拉取镜像

Kubelet 通过 gRPC 协议与 CRI 组件（如 containerd、cri-o）进行交互。在创建新 Pod 时，kubelet 调用 gRPC 的 ImageService.PullImage 方法，由 CRI 组件将镜像下载到节点上。镜像在磁盘上的组织和管理由 CRI 组件负责，不同的 CRI 组件存在差异。

Kubernetes GPU 调度和 Device Plugin、CDI、NFD、GPU Operator 概述

Sun, 20 Oct 2024 12:56:58 +0800

随着人工智能（AI）和机器学习（ML）的快速发展，GPU 已成为 Kubernetes 中不可或缺的资源。然而，Kubernetes 最初设计的调度机制主要针对 CPU 和内存等常规资源，未对异构硬件（如 GPU）提供原生支持。

Kubernetes：Seccomp、AppArmor、SELinux & Pod 安全性标准和准入

Fri, 11 Oct 2024 16:46:19 +0800

在云原生环境中，为确保容器化应用的安全运行，Kubernetes 利用了 Linux 内核的三大安全机制：Seccomp、AppArmor 和 SELinux，并引入了 Pod 安全性标准与准入控制来增强 Pod 的安全性。

Kubernetes: kube-proxy 和 CNI 是如何协作的？

Mon, 07 Oct 2024 19:06:17 +0800

在 Kubernetes 中，kube-proxy 和 CNI 插件协同工作，确保集群内 Pod 之间的互联互通。

Kube-proxy & CNI

如上图所示，假设我们有一个类型为 ClusterIP 的 Service，它对应两个位于不同节点的 Pod。

Kubernetes CSI 简介：工作流程和原理

Sun, 29 Sep 2024 17:11:31 +0800

本文将会以 CSI driver - NFS 为例，讲述 CSI 驱动的工作流程和原理。

CSI 概述

CSI 驱动通常分为两个部分：

Controller plugin: 负责存储资源的管理，如卷的创建、删除、扩容、快照等。
Node plugin: 处理节点级别的存储操作，负责在具体的节点上执行卷的挂载和卸载等任务。

OCI 简介：Kubernetes 环境下从代码到容器的全流程

Thu, 26 Sep 2024 14:30:07 +0800

OCI 简介

在容器化技术的演进中，OCI（Open Container Initiative）提供了一套标准化的规范，帮助统一容器的构建、分发和运行。OCI 规范包含三个部分：

kubectl 执行一条命令之后发生了什么？

Sun, 22 Sep 2024 14:34:08 +0800

kubectl 是与 Kubernetes 集群交互的命令行工具，用户通过它可以对集群资源进行操作和管理。你有没有想过，当我们执行一条 kubectl 命令之后，背后都发生了什么？

详细过程

kubectl -> kube-api-server

根据通信类型，我把 kubectl 命令分为两类：单向通信和双向通信。

Kubernetes 集群内 DNS

Tue, 17 Sep 2024 19:50:36 +0800

DNS 简介

在互联网早期，随着连接设备数量的增加，IP 地址的管理与记忆变得越来越复杂。为了简化网络资源的访问，DNS（Domain Name System）应运而生。DNS 的核心作用是将用户可读的域名（如 www.example.com）解析为对应的 IP 地址（如 93.184.215.34），从而使用户无需记忆复杂的数字串，便能轻松访问全球各地的网络资源。

Kubernetes CNI 网络模型概览：VETH & Bridge / Overlay / BGP

Fri, 13 Sep 2024 12:11:23 +0800

序言

网络是容器通信的基础，Kubernetes 本身并未提供开箱即用的网络互通功能，只提出了两点基本要求：

pods can communicate with all other pods on any other node without NAT

agents on a node (e.g. system daemons, kubelet) can communicate with all pods on that node

至于如何实现这些通信能力，通常依赖于 CNI 插件来完成。

Kubernetes 之 kubelet 与 CRI、CNI 的交互过程

Sat, 07 Sep 2024 14:46:34 +0800

序言

当一个新的 Pod 被提交创建之后，Kubelet、CRI、CNI 这三个组件之间进行了哪些交互？

Kubelet -> CRI -> CNI

如上图所示：

Kubelet 从 kube-api-server 处监听到有新的 pod 被调度到了自己的节点且需要创建。
Kubelet 创建 sandbox 并配置好 Pod 的环境，其中包括：
- Kubelet 通过 gRPC 调用 CRI 组件创建 sandbox。
- CRI 通过命令行调用 CNI 设置 pod 的网络。
Kubelet 创建 container 阶段：
- 调用 CRI 拉取镜像。
- 调用 CRI 创建 container。
- 调用 CRI 启动 container。

注意：

Kubernetes 网关流量管理：Ingress 与 Gateway API

Sat, 31 Aug 2024 17:09:40 +0800

引言

随着 Kubernetes 在云原生领域的广泛使用，流量管理成为了至关重要的一环。为了有效地管理从外部流入集群的流量，Kubernetes 提供了多种解决方案，其中最常见的是 Ingress 和新兴的 Gateway API。

Kubernetes scheduler 概述及自定义调度器

Sat, 15 Jun 2024 20:04:06 +0800

kube-scheduler

kube-scheduler 是 k8s 集群中控制平面的一个重要组件，其负责的工作简单且专一：给未分配的 pod 分配一个 node 节点。

调度器的大致工作过程可以分为以下几步：

监听到未绑定 node 的 pod。
过滤节点：挑选出来适合分配这个 pod 的 node 节点（可能有多个）。
节点打分：给过滤出来的节点进行打分。
最后选择得分最高的那个 node 与 pod 绑定（如果最高得分有多个 node 则随机选择一个）。

更加详细的步骤则参考下图所示：

Kubernetes Service 与 long-lived connections

Wed, 12 Jun 2024 16:14:46 +0800

本文将会介绍：

从 pod 到 service 再到 pod，kubernetes 中的流量是怎么走的？
对于 long-lived connection 长连接又是怎样的情况？

从 pod 到 service 再到 pod

如上图所示：

我的 2024 年 CKA 认证两天速通攻略

Sat, 27 Jan 2024 23:23:16 +0800

背景说明

如上图所示，本人于 2024 年 1 月 22 号晚上 11 点进行了 CKA 的认证考试，并以 95 分（满分100）顺利通过拿证。本文将会介绍我的 CKA 考试心得和速通攻略。

Kubernetes 外部 HTTP 请求到达 Pod 容器的全过程

Sat, 30 Dec 2023 16:38:11 +0800

Kubernetes 集群外部的 HTTP/HTTPS 请求是如何达到 Pod 中的 container 的？

HTTP 请求流转过程概述

如上图所示，全过程大致为：

用户从 web/mobile/pc 等客户端发出 HTTP/HTTPS 请求。
由于应用服务通常是通过域名的形式对外暴露，所以请求将会先进行 DNS 域名解析，得到对应的公网 IP 地址。
公网 IP 地址通常会绑定一个 Load Balancer 负载均衡器，此时请求会进入此负载均衡器。
- Load Balancer 负载均衡器可以是硬件，也可以是软件，它通常会保持稳定（固定的公网 IP 地址），因为如果切换 IP 地址会因为 DNS 缓存的原因导致服务某段时间内不可达。
- Load Balancer 负载均衡器是一个重要的中间层，对外承接公网流量，对内进行流量的管理和转发。
Load Balancer 再将请求转发到 kubernetes 集群的某个流量入口点，通常是 ingress。
- ingress 负责集群内部的路由转发，可以看成是集群内部的网关。
- ingress 只是配置，具体进行流量转发的是 ingress-controller，后者有多种选择，比如 Nginx、HAProxy、Traefik、Kong 等等。
ingress 根据用户自定义的路由规则进一步转发到 service。
- 比如根据请求的 path 路径或 host 做转发。
service 根据 selector（匹配 label 标签）将请求转发到 pod。
- service 有多种类型，集群内部最常用的类型就是 ClusterIP。
- service 本质上也只是一种配置，这种配置最终会作用到 node 节点上的 kube-proxy 组件，后者会通过设置 iptables/ipvs 来完成实际的请求转发。
- service 可能会对应多个 pod，但最终请求只会被随机转发到一个 pod 上。
pod 最后将请求发送给其中的 container 容器。
- 同一个 pod 内部可能有多个 container，但是多个容器不能共用同一个端口，因此这里会根据具体的端口号将请求发给对应的 container。

以上就是一种典型的集群外部 HTTP 请求如何达到 Pod 中的 container 的全过程。

Kubernetes Lease 及分布式选主

Tue, 26 Dec 2023 11:42:30 +0800

分布式选主

在分布式系统中，应用服务常常会通过多个节点（或实例）的方式来保证高可用。然而在某些场景下，有些数据或者任务无法被并行操作，此时就需要由一个特定的节点来执行这些特殊的任务（或者进行协调及决策），这个特定的节点也就是领导者（Leader），而在多个节点中选择领导者的机制也就是分布式选主（Leader Election）。

Kubernetes 从提交 deployment 到 pod 运行的全过程

Sat, 23 Dec 2023 18:26:15 +0800

当用户向 Kubernetes 提交了一个创建 deployment 的请求后，Kubernetes 从接收请求直至创建对应的 pod 运行这整个过程中都发生了什么呢？

kubernetes 架构简述

在搞清楚从 deployment 提交到 pod 运行整个过程之前，我们有先来看看 Kubernetes 的集群架构：

Kubernetes CRD & Operator 简介

Tue, 19 Dec 2023 10:37:48 +0800

Kubernetes CRD

在 kubernetes 中有一系列内置的资源，诸如：pod、deployment、configmap、service …… 等等，它们由 k8s 的内部组件管理。而除了这些内置资源之外，k8s 还提供了另外一种方式让用户可以随意地自定义资源，这就是 CRD (全称 CustomResourceDefinitions) 。

容器运行时的内部结构和最新趋势（2023）

Tue, 11 Jul 2023 10:07:05 +0800

容器运行时的内部结构和最新趋势（2023）

原文为 Akihiro Suda 在日本京都大学做的在线讲座，完整的 PPT 可点击此处下载

本文内容分为以下三个部分：

容器简介
容器运行时的内部结构
容器运行时的最新趋势

1. 容器简介

什么是容器？

容器是一组用于隔离文件系统、CPU 资源、内存资源、系统权限等的各种轻量级方法。容器在很多意义上类似于虚拟机，但它们比虚拟机更高效，而安全性则往往低于虚拟机。

Java 应用程序在 Kubernetes 上棘手的内存管理

Sun, 23 Apr 2023 15:17:18 +0800

引言

如何结合使用 JVM Heap 堆和 Kubernetes 内存的 requests 和 limits 并远离麻烦。

在容器环境中运行 Java 应用程序需要了解两者 —— JVM 内存机制和 Kubernetes 内存管理。这两个环境一起工作会产生一个稳定的应用程序，但是，错误配置最多可能导致基础设施超支，最坏情况下可能会导致应用程序不稳定或崩溃。我们将首先仔细研究 JVM 内存的工作原理，然后我们将转向 Kubernetes，最后，我们将把这两个概念放在一起。

Kubernetes Admission Controller 简介 - 注入 sidacar 示例

Sun, 16 Apr 2023 14:22:36 +0800

Admission Controller

Kubernetes Admission Controller（准入控制器）是什么？

如下图所示：

当我们向 k8s api-server 提交了请求之后，需要经过认证鉴权、mutation admission、validation 校验等一系列过程，最后才会将资源对象持久化到 etcd 中（其它组件诸如 controller 或 scheduler 等操作的也是持久化之后的对象）。而所谓的 Kubernetes Admission Controller 其实就是在这个过程中所提供的 webhook 机制，让用户能够在资源对象被持久化之前任意地修改资源对象并进行自定义的校验。

我们为何选择 Cilium 作为 Kubernetes 的网络接口

Mon, 03 Apr 2023 15:12:11 +0800

文本翻译自: https://blog.palark.com/why-cilium-for-kubernetes-networking/

原文作者是 Palark 平台工程师 Anton Kuliashov，其说明了选择 Cilium 作为 Kubernetes 网络接口的原因以及喜爱 Cilium 的地方。

多亏了 CNI（容器网络接口），Kubernetes 提供了大量选项来满足您的网络需求。在多年依赖简单的解决方案之后，我们面临着对高级功能日益增长的客户需求。Cilium 将我们 K8s 平台中的网络提升到了一个新的水平。

在 Kubernetes 中应该如何设置 CPU 的 requests 和 limits

Fri, 31 Mar 2023 16:11:20 +0800

文本翻译自: https://itnext.io/cpu-limits-and-requests-in-kubernetes-fa9d55948b7c

在 Kubernetes 中，我应该如何设置 CPU 的 requests 和 limits？

热门答案包括：

始终使用 limits !
永远不要使用 limits，只使用 requests !
都不用；可以吗？

让我们深入研究它。

Kubernetes Gateway API 介绍

Tue, 28 Mar 2023 18:47:47 +0800

文本翻译自: https://medium.com/geekculture/kubernetes-gateway-api-the-intro-you-need-to-read-80965f7acd82

您以前听说过 SIG-NETWORK 的 Kubernetes Gateway API 吗？好吧，可能你们中的大多数人都是第一次遇到这个话题。尽管如此，无论您是第一次听说还是已经以某种方式使用过它，本博客的目的都是为您提供一个基本的和高度的概述来理解这个主题。

提速 30 倍！OCI 容器启动优化的历程

Tue, 28 Mar 2023 16:16:36 +0800

文本翻译自: https://www.scrivano.org/posts/2022-10-21-the-journey-to-speed-up-oci-containers/

原文作者是 Red Hat 工程师 Giuseppe Scrivano ，其回顾了将 OCI 容器启动的时间提速 30 倍的历程。

当我开始研究 crun (https://github.com/containers/crun) 时，我正在寻找一种通过改进 OCI 运行时来更快地启动和停止容器的方法，OCI 运行时是 OCI 堆栈中负责最终与内核交互并设置容器所在环境的组件。

Kubernetes 优雅终止 pod

Sat, 25 Mar 2023 21:06:05 +0800

文本翻译自: https://itnext.io/how-do-you-gracefully-shut-down-pods-in-kubernetes-fb19f617cd67

当你执行 kubectl delete pod 时，pod 被删除， endpoint 控制器从 service 和 etcd 中删除该 pod 的 IP 地址和端口。

你可以使用 kubectl describe service 观察到这一点。

Kubernetes 节点的预留资源

Sat, 25 Mar 2023 16:42:31 +0800

文本翻译自: https://medium.com/@danielepolencic/reserved-cpu-and-memory-in-kubernetes-nodes-65aee1946afd

在 Kubernetes 中，运行多个集群节点是否存在隐形成本？

是的，因为并非 Kubernetes 节点中的所有 CPU 和内存都可用于运行 Pod。

在一个 Kubernetes 节点中，CPU 和内存分为：

EKS 集群中的 IP 地址分配问题

Thu, 23 Mar 2023 18:34:51 +0800

文本翻译自: https://itnext.io/ip-and-pod-allocations-in-eks-5be6612b8325

运行 EKS 集群时，你可能会遇到两个问题：

分配给 pod 的 IP 地址用完了。
每个节点的 pod 数量少（由于 ENI 限制）。

在本文中，你将学习如何克服这些问题。

使用 Kubernetes API

Wed, 22 Mar 2023 17:47:12 +0800

文本翻译自: https://itnext.io/working-with-the-kubernetes-api-587bc5941992

Kubernetes 公开了一个强大的 API，可让您控制集群的各个方面。

大多数时候，它隐藏在 kubectl 后面，但没有人会阻止您直接使用它。

在本文中，您将学习如何使用 curl 或者您喜欢的编程语言向 Kubernetes API 发出请求。

谈谈 Kubernetes 的匿名访问

Tue, 21 Mar 2023 17:12:37 +0800

文本翻译自: https://raesene.github.io/blog/2023/03/18/lets-talk-about-anonymous-access-to-Kubernetes/

本周有一些关于 Dero Cryptojacking operation 的文章，其中关于攻击者所实施的细节之一引起了我的注意。有人提到他们正在攻击允许匿名访问 Kubernetes API 的集群。究竟如何以及为什么可以匿名访问 Kubernetes 是一个有趣的话题，涉及几个不同的领域，所以我想我会写一些关于它的内容。

Kubernetes snapshots 快照是什么以及如何使用快照？

Mon, 20 Mar 2023 11:09:26 +0800

文本翻译自: https://blog.palark.com/kubernetes-snaphots-usage/

随着 Kubernetes 中快照控制器的引入，现在可以为支持此功能的 CSI 驱动程序和云提供商创建快照。

API 是通用的且独立于供应商，这对于 Kubernetes 来说是典型的，因此我们可以探索它而无需深入了解特定实现的细节。让我们仔细看看快照，看看它们如何使 Kubernetes 用户受益。

Kubernetes 的 secret 并不是真正的 secret

Sun, 19 Mar 2023 10:50:21 +0800

文本翻译自: https://auth0.com/blog/kubernetes-secrets-management/#Sealed-Secrets

引言

Kubernetes 已经成为现代软件基础设施中不可或缺的一部分。因此，管理 Kubernetes 上的敏感数据也是现代软件工程的一个重要方面，这样您就可以将安全性重新置于 DevSecOps 中。Kubernetes 提供了一种使用 Secret 对象存储敏感数据的方法。虽然总比没有好，但它并不是真正的加密，因为它只是 base64 编码的字符串，任何有权访问集群或代码的人都可以对其进行解码。

加速 Kubernetes 镜像拉取

Sun, 13 Mar 2022 00:00:00 +0800

加速 Kubernetes 镜像拉取

Kubernetes pod 启动时会拉取用户指定的镜像，一旦这个过程耗时太久就会导致 pod 长时间处于 pending 的状态，从而无法快速提供服务。

镜像拉取的过程参考下图所示：

Dockerfile 最佳实践

Wed, 10 Jul 2019 16:32:36 +0800

Dockerfile 是用来构建 docker 镜像的配置文件，语法简单上手容易，你可以很轻松的就编写一个能正常使用的 Dockerfile ，但是它很有可能还不够好，本文将会从细节上介绍一些 tips 助你实现最佳实践。

Docker 入门教程

Tue, 17 Apr 2018 10:50:21 +0800

一

程序明明在我本地跑得好好的，怎么部署上去就出问题了？如果要在同一台物理机上同时部署多个 node 版本并独立运行互不影响，这又该怎么做？如何更快速的将服务部署到多个物理机上？