技术选型无处不在，你可能需要选择一种类库、选择一个框架、选择一种语言、选择一种组件、选择一个架构模式、选择一种系统方案……。 那么如何构建一个决策或思维框架去做技术选型呢？

RAG（Retrieval Augmented Generation 检索增强生成）是目前业界中的一种主流方法，通过增加额外知识的方式来减少大语言模型（LLM）的幻觉问题（一本正经的胡说八道）。

Kubernetes 10 问

1. 假设集群有 2 个 node 节点，其中一个有 pod，另一个则没有，那么新的 pod 会被调度到哪个节点上？

2. 应用程序通过容器的形式运行，如果 OOM（Out-of-Memory）了，是容器重启还是所在的 Pod 被重建？

Kubernetes 除了提供基于 CPU 和内存的传统计算资源调度外，还支持自定义的 Extended Resource 扩展资源，以便调度和管理其它各种类型的资源。

Extended Resource

Extended Resource 扩展资源的创建和使用过程如下图所示：

Node 节点是 Kubernetes 的核心组件之一，其生命周期可以简要概括为：注册、运行、下线。本文将简要介绍 Node 生命周期中发生的关键事件。

节点注册

每个 node 节点都需要运行 kubelet，kubelet 启动后会向 kube-apiserver 发起节点的注册请求，即创建一个新的 node 资源对象。

本文将详细介绍 Kubernetes 如何管理节点上的镜像。

拉取镜像

Kubelet 通过 gRPC 协议与 CRI 组件（如 containerd、cri-o）进行交互。在创建新 Pod 时，kubelet 调用 gRPC 的 ImageService.PullImage 方法，由 CRI 组件将镜像下载到节点上。镜像在磁盘上的组织和管理由 CRI 组件负责，不同的 CRI 组件存在差异。

ChatGPT 是一个基于 LLM 的对话系统。本文将介绍如何构建一个类似 ChatGPT 的系统，包括从模型、推理引擎到整体架构的构建过程。

系统概览

让我们关注最核心的对话部分。

在现在的 AI 领域，Fine-Tuning（微调）是一种常见且有效的方法，通过对已经训练好的模型进行特定任务的微调，可以使模型在特定场景下表现得更加出色和符合需求。在这篇文章中，我将以 Kubernetes 文档的英译中为背景，分享我进行 Fine-Tuning 的探索过程。

随着人工智能（AI）和机器学习（ML）的快速发展，GPU 已成为 Kubernetes 中不可或缺的资源。然而，Kubernetes 最初设计的调度机制主要针对 CPU 和内存等常规资源，未对异构硬件（如 GPU）提供原生支持。

之前我用 Ollama 在本地跑大语言模型（可以参考《AI LLM 利器 Ollama 架构和对话处理流程解析》）。这次想再捣鼓点进阶操作，比如 fine-tuning。

我的想法是：既然有现成的大模型，为什么不自己整理些特定领域的数据集，给模型“加点料”呢？这样最后就能得到一个针对特定领域优化过的模型了。