使用 Helm 安装 Chaos Mesh
本篇文档描述如何在生产环境安装 Chaos Mesh。
环境准备
在安装之前,请先确保:
- 你的 Kubernetes 集群运行的是受支持的 Kubernetes 版本。
- 环境中已经安装 Helm。
如要查看 Helm 是否已经安装,请执行如下命令:
helm version
以下是预期输出:
version.BuildInfo{Version:"v3.5.4", GitCommit:"1b5edb69df3d3a08df77c9902dc17af864ff05d1", GitTreeState:"dirty", GoVersion:"go1.16.3"}
如果你的实际输出与预期输出一致,表示 Helm 已经成功安装。
本文中的命令将会使用 Helm v3 来操作 Chaos Mesh。如果你的环境中 Helm 的版本为 v2,请参考将 Helm v2 迁移到 v3或按照 v2 的格式进行修改。
使用 Helm 安装
第 1 步:添加 Chaos Mesh 仓库
在 Helm 仓库中添加 Chaos Mesh 仓库:
helm repo add chaos-mesh https://charts.chaos-mesh.org
第 2 步:查看可以安装的 Chaos Mesh 版本
执行如下命令显示可以安装的 charts:
helm search repo chaos-mesh
上述命令会输出最新发布的 chart,如需安装历史版本,请执行如下命令查看所有的版本:
helm search repo chaos-mesh -l
在上述命令完成后,接下来开始安装 Chaos Mesh。
第 3 步:创建安装 Chaos Mesh 的命名空间
推荐将 Chaos Mesh 安装在 chaos-mesh 命名空间下,也可以指定任意命名空间安装 Chaos Mesh:
kubectl create ns chaos-mesh
第 4 步:在不同环境下安装
由于不同容器运行时的守护进程所监听的 socket path 不同,你需要在安装时设置适当的值。你可以根据不同的环境来运行以下的安装命令。
- Docker
- Containerd
- K3s
- MicroK8s
- CRI-O
# Default to /var/run/docker.sock
helm install chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --version 2.8.8
helm install chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --set chaosDaemon.runtime=containerd --set chaosDaemon.socketPath=/run/containerd/containerd.sock --version 2.8.8
helm install chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --set chaosDaemon.runtime=containerd --set chaosDaemon.socketPath=/run/k3s/containerd/containerd.sock --version 2.8.8
helm install chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --set chaosDaemon.runtime=containerd --set chaosDaemon.socketPath=/var/snap/microk8s/common/run/containerd.sock --version 2.8.8
helm install chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --set chaosDaemon.runtime=crio --set chaosDaemon.socketPath=/var/run/crio/crio.sock --version 2.8.8
如需安装特定版本的 Chaos Mesh,请在 helm install 后添加 --version x.y.z 参数,如 helm install chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --version 2.1.0。
为了保证高可用性,Chaos Mesh 默认开启了 leader-election 特性。如果不需要这个特性,请通过 --set controllerManager.leaderElection.enabled=false 手动关闭该特性。
如果版本
<2.6.1,你仍然需要设置--set controllerManager.replicaCount=1来将控制器管理器减少到一个副本。
将实验限制在单个命名空间
clusterScoped 默认为 true,Chaos Mesh 会监听集群中各个命名空间的实验资源。将 clusterScoped 设为 false 后,Chaos Mesh 只在一个命名空间中监听实验资源和选择实验目标。通过 controllerManager.targetNamespace 指定该命名空间。此参数默认为 chaos-mesh,仅在 clusterScoped 为 false 时生效。
Helm 的 --namespace 参数指定 Chaos Mesh 的安装命名空间。实验命名空间可以与安装命名空间不同。即使启用了命名空间模式,安装 chart 仍需要有权限创建 CRD 和 ClusterRole 等集群级资源。
例如,要将 Chaos Mesh 安装在 chaos-mesh 并在 app-ns 中运行实验,先创建 app-ns 命名空间。将以下配置保存为 namespace-scope.yaml。
clusterScoped: false
controllerManager:
targetNamespace: app-ns
dnsServer:
targetNamespace: app-ns
如果 chart 部署了 Chaos DNS Server,请将 dnsServer.targetNamespace 设为同一个命名空间,以便 chart 为它授予该命名空间中的权限。
在对应容器运行时的安装命令中添加 -f namespace-scope.yaml。在 app-ns 中创建实验资源,并选择该命名空间中的目标。
验证安装
要检查 Chaos Mesh 的运行情况,请执行以下命令:
kubectl get pods -n chaos-mesh -l app.kubernetes.io/instance=chaos-mesh
以下是预期输出:
NAME READY STATUS RESTARTS AGE
chaos-controller-manager-7b8c86cc9-44dzf 1/1 Running 0 17m
chaos-controller-manager-7b8c86cc9-mxw99 1/1 Running 0 17m
chaos-controller-manager-7b8c86cc9-xmc5v 1/1 Running 0 17m
chaos-daemon-sg2k2 1/1 Running 0 17m
chaos-dashboard-b9dbc6b68-hln25 1/1 Running 0 17m
chaos-dns-server-546675d89d-qkjqq 1/1 Running 0 17m
如果你的实际输出与预期输出相符,则表示 Chaos Mesh 已经成功安装。
如果实际输出的 STATUS 状态不是 Running,则可以运行以下命令查看 Pod 的详细信息,然后依据错误提示排查并解决问题。
# 以 chaos-controller 为例
kubectl describe po -n chaos-mesh chaos-controller-manager-7b8c86cc9-44dzf
如果 leader election 是关闭的,chaos-controller-manager 应只有 1 个实例。
NAME READY STATUS RESTARTS AGE
chaos-controller-manager-676d8567c7-ndr5j 1/1 Running 0 24m
chaos-daemon-6l55b 1/1 Running 0 24m
chaos-dashboard-b9dbc6b68-hln25 1/1 Running 0 44m
chaos-dns-server-546675d89d-qkjqq 1/1 Running 0 44m
运行 Chaos 实验
验证安装完成后,你可以运行一个 Chaos 实验来体验 Chaos Mesh 的功能。
请参考运行试验进行创建。成功创建实验后,你可以通过 Chaos Dashboard 观察实验的运行状态。
升级 Chaos Mesh
如要升级 Chaos Mesh,请执行如下命令:
helm upgrade chaos-mesh chaos-mesh/chaos-mesh
如需升级至特定版本的 Chaos Mesh,请在 helm upgrade 后添加 --version x.y.z 参数,如 helm upgrade chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --version 2.1.0。
如在非 Docker 环境下进行升级,需根据在不同环境下安装所述添加相应的参数。
如要修改配置,请根据需要设置不同的值。例如,如下命令会升级并卸载 chaos-dashboard:
helm upgrade chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --set dashboard.create=false
如果想了解更多的值及其相关的用法,请参考所有的值。
目前,Helm 在升级时不会应用最新的 CustomResourceDefinition (CRD),这可能会导致一些错误的发生。为了避免这种情况,请手动应用最新的 CRD:
curl -sSL https://mirrors.chaos-mesh.org/v2.8.8/crd.yaml | kubectl apply --server-side -f -
卸载 Chaos Mesh
如要卸载 Chaos Mesh,请执行以下命令:
helm uninstall chaos-mesh -n chaos-mesh
常见问题解答
如何安装最新版本的 Chaos Mesh
Chaos Mesh 仓库中的 helm/chaos-mesh/values.yaml 定义了最新版本(master 分支)的镜像。若想安装最新版本的 Chaos Mesh,请执行以下命令:
# 克隆仓库
git clone https://github.com/chaos-mesh/chaos-mesh.git
cd chaos-mesh
helm install chaos-mesh helm/chaos-mesh -n=chaos-mesh
如何关闭安全模式
安全模式是默认启用的。如需关闭,请在安装或升级时指定 dashboard.securityMode 为 false:
helm install chaos-mesh chaos-mesh/chaos-mesh -n=chaos-mesh --set dashboard.securityMode=false --version 2.8.8
如何持久化 Chaos Dashboard 数据
默认 Chaos Dashboard 组件使用 SQLite 作为后端存储,如果没有为 Chaos Dashboard 配置持久卷 (PV) ,Chaos Dashboard 在发生重启后,数据会出现丢失。为了避免数据丢失,可以参考持久化 Chaos Dashboard 数据 文档,为 Chaos Dashboard 配置持久卷或者设置 MySQL、Postgres 作为后端存储。