活动公告

系统通知
通知：微软邮箱更换提醒
07-14 23:24
系统通知
通知：本站资源由网友上传分享，如有违规等问题请到版务模块进行投诉，资源失效请在帖子内回复要求补档，会尽快处理！
10-23 09:31
>社区 > 科技 > 经验交流 >帖子
本版发帖返回

AlmaLinux服务器上Kubernetes部署实战指南构建高可用容器集群的最佳实践与技巧

这是个蓝孩子 当前离线 威震华夏关云长
SunJu_FaceMall

3万

主题

3063

科技点

3万

积分

执行版主

碾压王

积分
32876

塔罗立华奏
执行版主 发表于 2025-9-29 22:00:01 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
1. 引言

Kubernetes已经成为现代容器编排的事实标准，它提供了自动化部署、扩展和管理容器化应用程序的能力。AlmaLinux作为RHEL的下游分支，以其稳定性和长期支持而闻名，是部署生产级Kubernetes集群的理想选择。本文将详细介绍如何在AlmaLinux服务器上构建高可用的Kubernetes集群，并提供一系列最佳实践和技巧，帮助您构建稳定、高效的容器化平台。

2. 环境规划与准备

2.1 硬件要求

在开始部署之前，确保您的硬件满足以下最低要求：

• 控制平面节点：至少2个CPU核心，4GB RAM，20GB可用磁盘空间
• 工作节点：至少2个CPU核心，2GB RAM，20GB可用磁盘空间
• 负载均衡器：1个CPU核心，1GB RAM，10GB可用磁盘空间
• 网络：节点之间网络延迟低，带宽充足

对于生产环境，建议使用更高规格的硬件，并至少部署3个控制平面节点以确保高可用性。

2.2 软件要求

• 操作系统：AlmaLinux 8.5或更高版本
• 容器运行时：Docker、containerd或CRI-O
• Kubernetes版本：1.23.x或更高版本（本文使用1.25.0）
• 网络插件：Calico、Flannel或Cilium
• 负载均衡器：HAProxy或Nginx

2.3 网络拓扑设计

一个典型的高可用Kubernetes集群网络拓扑如下：
  2. [互联网] -> [负载均衡器] -> [控制平面节点1]
  3.                           -> [控制平面节点2]
  4.                           -> [控制平面节点3]
  5.                           -> [工作节点1]
  6.                           -> [工作节点2]
  7.                           -> ... [更多工作节点]
复制代码

3. 系统初始化配置

3.1 更新系统并安装基本工具

在所有节点上执行以下命令：
  2. # 更新系统
  3. sudo dnf update -y
  5. # 安装基本工具
  6. sudo dnf install -y curl wget vim git
  8. # 禁用firewalld（Kubernetes有自己的网络策略）
  9. sudo systemctl stop firewalld
  10. sudo systemctl disable firewalld
  12. # 禁用SELinux（或者设置为permissive模式）
  13. sudo setenforce 0
  14. sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
  16. # 禁用swap
  17. sudo swapoff -a
  18. sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
  20. # 设置内核参数
  21. cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
  22. br_netfilter
  23. EOF
  25. cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
  26. net.bridge.bridge-nf-call-ip6tables = 1
  27. net.bridge.bridge-nf-call-iptables = 1
  28. net.ipv4.ip_forward = 1
  29. EOF
  31. sudo sysctl --system
复制代码

3.2 配置主机名和hosts文件

在每个节点上设置主机名，并更新/etc/hosts文件：
  2. # 在控制平面节点1上
  3. sudo hostnamectl set-hostname k8s-master-1
  5. # 在控制平面节点2上
  6. sudo hostnamectl set-hostname k8s-master-2
  8. # 在控制平面节点3上
  9. sudo hostnamectl set-hostname k8s-master-3
  11. # 在工作节点1上
  12. sudo hostnamectl set-hostname k8s-worker-1
  14. # 在工作节点2上
  15. sudo hostnamectl set-hostname k8s-worker-2
复制代码

在所有节点上更新/etc/hosts文件：
  2. cat <<EOF | sudo tee -a /etc/hosts
  3. 192.168.1.10 k8s-master-1
  4. 192.168.1.11 k8s-master-2
  5. 192.168.1.12 k8s-master-3
  6. 192.168.1.20 k8s-worker-1
  7. 192.168.1.21 k8s-worker-2
  8. 192.168.1.30 k8s-lb
  9. EOF
复制代码

4. 容器运行时安装

4.1 安装containerd

containerd是Kubernetes推荐的容器运行时，以下是安装步骤：
  2. # 安装containerd
  3. sudo dnf install -y containerd
  5. # 创建containerd配置目录
  6. sudo mkdir -p /etc/containerd
  8. # 生成默认配置并修改
  9. sudo containerd config default | sudo tee /etc/containerd/config.toml
  11. # 修改cgroup驱动为systemd
  12. sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
  14. # 重启并启用containerd
  15. sudo systemctl restart containerd
  16. sudo systemctl enable containerd
复制代码

4.2 验证containerd安装
  2. sudo systemctl status containerd
  3. sudo ctr --version
复制代码

5. Kubernetes组件安装

5.1 添加Kubernetes仓库
  2. cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo
  3. [kubernetes]
  4. name=Kubernetes
  5. baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-\$basearch
  6. enabled=1
  7. gpgcheck=1
  8. repo_gpgcheck=1
  9. gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
  10. exclude=kubelet kubeadm kubectl
  11. EOF
复制代码

5.2 安装Kubernetes组件
  2. # 安装kubelet、kubeadm和kubectl
  3. sudo dnf install -y kubelet-1.25.0 kubeadm-1.25.0 kubectl-1.25.0 --disableexcludes=kubernetes
  5. # 启用并启动kubelet
  6. sudo systemctl enable --now kubelet
复制代码

6. 负载均衡器配置

6.1 安装HAProxy

在负载均衡器节点（k8s-lb）上安装HAProxy：
  2. # 安装HAProxy
  3. sudo dnf install -y haproxy
  5. # 配置HAProxy
  6. cat <<EOF | sudo tee /etc/haproxy/haproxy.cfg
  7. frontend kubernetes-frontend
  8.     bind *:6443
  9.     mode tcp
  10.     option tcplog
  11.     default_backend kubernetes-backend
  13. backend kubernetes-backend
  14.     mode tcp
  15.     option tcp-check
  16.     balance roundrobin
  17.     server k8s-master-1 192.168.1.10:6443 check fall 3 rise 2
  18.     server k8s-master-2 192.168.1.11:6443 check fall 3 rise 2
  19.     server k8s-master-3 192.168.1.12:6443 check fall 3 rise 2
  20. EOF
  22. # 启动并启用HAProxy
  23. sudo systemctl restart haproxy
  24. sudo systemctl enable haproxy
复制代码

6.2 验证负载均衡器
  2. sudo systemctl status haproxy
  3. curl -k https://192.168.1.30:6443
复制代码

7. 初始化Kubernetes控制平面

7.1 创建kubeadm配置文件

在第一个控制平面节点（k8s-master-1）上创建kubeadm配置文件：
  2. cat <<EOF | sudo tee kubeadm-config.yaml
  3. apiVersion: kubeadm.k8s.io/v1beta3
  4. kind: InitConfiguration
  5. localAPIEndpoint:
  6.   advertiseAddress: 192.168.1.10
  7.   bindPort: 6443
  8. nodeRegistration:
  9.   criSocket: /run/containerd/containerd.sock
  10.   kubeletExtraArgs:
  11.     cgroup-driver: systemd
  12. ---
  13. apiVersion: kubeadm.k8s.io/v1beta3
  14. kind: ClusterConfiguration
  15. kubernetesVersion: v1.25.0
  16. controlPlaneEndpoint: "192.168.1.30:6443"
  17. imageRepository: registry.aliyuncs.com/google_containers
  18. clusterName: kubernetes
  19. networking:
  20.   dnsDomain: cluster.local
  21.   serviceSubnet: "10.96.0.0/12"
  22.   podSubnet: "10.244.0.0/16"
  23. etcd:
  24.   external:
  25.     endpoints:
  26.     - https://192.168.1.10:2379
  27.     - https://192.168.1.11:2379
  28.     - https://192.168.1.12:2379
  29.     caFile: /etc/kubernetes/pki/etcd/ca.crt
  30.     certFile: /etc/kubernetes/pki/etcd/server.crt
  31.     keyFile: /etc/kubernetes/pki/etcd/server.key
  32. ---
  33. apiVersion: kubeproxy.config.k8s.io/v1alpha1
  34. kind: KubeProxyConfiguration
  35. mode: ipvs
  36. EOF
复制代码

7.2 初始化第一个控制平面节点
  2. # 预拉取镜像
  3. sudo kubeadm config images pull --config kubeadm-config.yaml
  5. # 初始化集群
  6. sudo kubeadm init --config kubeadm-config.yaml --upload-certs
  8. # 配置kubectl
  9. mkdir -p $HOME/.kube
  10. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  11. sudo chown $(id -u):$(id -g) $HOME/.kube/config
复制代码

7.3 保存加入集群的命令

初始化完成后，会输出加入控制平面和工作节点的命令，请妥善保存：
  2. # 加入控制平面节点的命令示例
  3. kubeadm join 192.168.1.30:6443 --token <token> --discovery-token-ca-cert-hash <hash> --control-plane --certificate-key <key>
  5. # 加入工作节点的命令示例
  6. kubeadm join 192.168.1.30:6443 --token <token> --discovery-token-ca-cert-hash <hash>
复制代码

8. 部署网络插件

8.1 安装Calico网络插件
  2. # 安装Calico
  3. kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
  5. # 检查Pod状态
  6. kubectl get pods -n kube-system
复制代码

8.2 验证网络插件
  2. # 检查节点状态
  3. kubectl get nodes
  5. # 创建测试Pod
  6. kubectl run nginx --image=nginx --port=80
  7. kubectl expose pod nginx --port=80 --type=NodePort
  9. # 测试网络连通性
  10. kubectl get svc nginx
  11. curl <node-ip>:<node-port>
复制代码

9. 添加其他控制平面节点

9.1 复制证书到其他控制平面节点

在k8s-master-1上执行：
  2. # 在k8s-master-1上
  3. USER=root
  4. CONTROL_PLANE_IPS="192.168.1.11 192.168.1.12"
  6. for host in ${CONTROL_PLANE_IPS}; do
  7.     ssh "${USER}"@$host "mkdir -p /etc/kubernetes/pki/etcd"
  8.     scp /etc/kubernetes/pki/ca.crt "${USER}"@$host:/etc/kubernetes/pki/
  9.     scp /etc/kubernetes/pki/ca.key "${USER}"@$host:/etc/kubernetes/pki/
  10.     scp /etc/kubernetes/pki/sa.key "${USER}"@$host:/etc/kubernetes/pki/
  11.     scp /etc/kubernetes/pki/sa.pub "${USER}"@$host:/etc/kubernetes/pki/
  12.     scp /etc/kubernetes/pki/front-proxy-ca.crt "${USER}"@$host:/etc/kubernetes/pki/
  13.     scp /etc/kubernetes/pki/front-proxy-ca.key "${USER}"@$host:/etc/kubernetes/pki/
  14.     scp /etc/kubernetes/pki/etcd/ca.crt "${USER}"@$host:/etc/kubernetes/pki/etcd/
  15.     scp /etc/kubernetes/pki/etcd/ca.key "${USER}"@$host:/etc/kubernetes/pki/etcd/
  16.     scp /etc/kubernetes/admin.conf "${USER}"@$host:/etc/kubernetes/
  17. done
复制代码

9.2 加入其他控制平面节点

在k8s-master-2和k8s-master-3上执行之前保存的加入控制平面节点的命令：
  2. # 在k8s-master-2和k8s-master-3上
  3. sudo kubeadm join 192.168.1.30:6443 --token <token> --discovery-token-ca-cert-hash <hash> --control-plane --certificate-key <key>
  5. # 配置kubectl
  6. mkdir -p $HOME/.kube
  7. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  8. sudo chown $(id -u):$(id -g) $HOME/.kube/config
复制代码

9.3 验证控制平面节点状态
  2. # 在任意控制平面节点上
  3. kubectl get nodes
  4. kubectl get pods -n kube-system
复制代码

10. 添加工作节点

10.1 加入工作节点

在k8s-worker-1和k8s-worker-2上执行之前保存的加入工作节点的命令：
  2. # 在k8s-worker-1和k8s-worker-2上
  3. sudo kubeadm join 192.168.1.30:6443 --token <token> --discovery-token-ca-cert-hash <hash>
复制代码

10.2 验证工作节点状态
  2. # 在任意控制平面节点上
  3. kubectl get nodes
  4. kubectl label node k8s-worker-1 node-role.kubernetes.io/worker=worker
  5. kubectl label node k8s-worker-2 node-role.kubernetes.io/worker=worker
复制代码

11. 配置高可用etcd集群

11.1 安装etcd

在所有控制平面节点上安装etcd：
  2. # 安装etcd
  3. sudo dnf install -y etcd
  5. # 创建etcd数据目录
  6. sudo mkdir -p /var/lib/etcd
  7. sudo chown etcd:etcd /var/lib/etcd
复制代码

11.2 配置etcd

在每个控制平面节点上配置etcd：

在k8s-master-1上：
  2. cat <<EOF | sudo tee /etc/etcd/etcd.conf
  3. name: 'k8s-master-1'
  4. data-dir: /var/lib/etcd
  5. initial-advertise-peer-urls: http://192.168.1.10:2380
  6. listen-peer-urls: http://192.168.1.10:2380
  7. listen-client-urls: http://192.168.1.10:2379,http://127.0.0.1:2379
  8. advertise-client-urls: http://192.168.1.10:2379
  9. initial-cluster: k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380
  10. initial-cluster-state: 'new'
  11. initial-cluster-token: 'k8s-etcd-cluster'
  12. EOF
复制代码

在k8s-master-2上：
  2. cat <<EOF | sudo tee /etc/etcd/etcd.conf
  3. name: 'k8s-master-2'
  4. data-dir: /var/lib/etcd
  5. initial-advertise-peer-urls: http://192.168.1.11:2380
  6. listen-peer-urls: http://192.168.1.11:2380
  7. listen-client-urls: http://192.168.1.11:2379,http://127.0.0.1:2379
  8. advertise-client-urls: http://192.168.1.11:2379
  9. initial-cluster: k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380
  10. initial-cluster-state: 'new'
  11. initial-cluster-token: 'k8s-etcd-cluster'
  12. EOF
复制代码

在k8s-master-3上：
  2. cat <<EOF | sudo tee /etc/etcd/etcd.conf
  3. name: 'k8s-master-3'
  4. data-dir: /var/lib/etcd
  5. initial-advertise-peer-urls: http://192.168.1.12:2380
  6. listen-peer-urls: http://192.168.1.12:2380
  7. listen-client-urls: http://192.168.1.12:2379,http://127.0.0.1:2379
  8. advertise-client-urls: http://192.168.1.12:2379
  9. initial-cluster: k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380
  10. initial-cluster-state: 'new'
  11. initial-cluster-token: 'k8s-etcd-cluster'
  12. EOF
复制代码

11.3 启动etcd服务

在所有控制平面节点上启动etcd服务：
  2. sudo systemctl enable --now etcd
  3. sudo systemctl status etcd
复制代码

11.4 验证etcd集群状态
  2. # 在任意控制平面节点上
  3. etcdctl --endpoints=http://192.168.1.10:2379,http://192.168.1.11:2379,http://192.168.1.12:2379 endpoint health
  4. etcdctl --endpoints=http://192.168.1.10:2379,http://192.168.1.11:2379,http://192.168.1.12:2379 endpoint status
复制代码

12. 部署存储解决方案

12.1 安装NFS Provisioner
  2. # 创建NFS Provisioner命名空间
  3. kubectl create namespace nfs-provisioner
  5. # 安装NFS Provisioner
  6. helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/
  7. helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \
  8.     --namespace nfs-provisioner \
  9.     --set nfs.server=192.168.1.100 \
  10.     --set nfs.path=/exported/path
复制代码

12.2 创建StorageClass
  2. cat <<EOF | kubectl apply -f -
  3. apiVersion: storage.k8s.io/v1
  4. kind: StorageClass
  5. metadata:
  6.   name: nfs-client
  7. provisioner: kubernetes.io/nfs
  8. parameters:
  9.   archiveOnDelete: "false"
  10. EOF
复制代码

12.3 测试存储类
  2. # 创建PVC
  3. cat <<EOF | kubectl apply -f -
  4. kind: PersistentVolumeClaim
  5. apiVersion: v1
  6. metadata:
  7.   name: test-claim
  8. spec:
  9.   storageClassName: nfs-client
  10.   accessModes:
  11.     - ReadWriteMany
  12.   resources:
  13.     requests:
  14.       storage: 1Mi
  15. EOF
  17. # 创建测试Pod
  18. cat <<EOF | kubectl apply -f -
  19. kind: Pod
  20. apiVersion: v1
  21. metadata:
  22.   name: test-pod
  23. spec:
  24.   containers:
  25.   - name: test-pod
  26.     image: busybox:1.28
  27.     command:
  28.       - "/bin/sh"
  29.     args:
  30.       - "-c"
  31.       - "touch /mnt/SUCCESS && exit 0 || exit 1"
  32.     volumeMounts:
  33.       - name: nfs-pvc
  34.         mountPath: "/mnt"
  35.   restartPolicy: "Never"
  36.   volumes:
  37.     - name: nfs-pvc
  38.       persistentVolumeClaim:
  39.         claimName: test-claim
  40. EOF
  42. # 验证
  43. kubectl get pvc
  44. kubectl get pod
  45. kubectl describe pod test-pod
复制代码

13. 部署Ingress控制器

13.1 安装Nginx Ingress控制器
  2. # 安装Nginx Ingress控制器
  3. kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.5.1/deploy/static/provider/cloud/deploy.yaml
  5. # 检查状态
  6. kubectl get pods -n ingress-nginx
  7. kubectl get svc -n ingress-nginx
复制代码

13.2 配置Ingress资源
  2. # 创建示例应用
  3. kubectl create deployment nginx --image=nginx
  4. kubectl expose deployment nginx --port=80 --type=NodePort
  6. # 创建Ingress资源
  7. cat <<EOF | kubectl apply -f -
  8. apiVersion: networking.k8s.io/v1
  9. kind: Ingress
  10. metadata:
  11.   name: nginx-ingress
  12.   annotations:
  13.     nginx.ingress.kubernetes.io/rewrite-target: /
  14. spec:
  15.   rules:
  16.   - host: nginx.example.com
  17.     http:
  18.       paths:
  19.       - path: /
  20.         pathType: Prefix
  21.         backend:
  22.           service:
  23.             name: nginx
  24.             port:
  25.               number: 80
  26. EOF
  28. # 测试Ingress
  29. # 在本地hosts文件中添加：192.168.1.30 nginx.example.com
  30. # 然后访问 http://nginx.example.com
复制代码

14. 部署监控和日志系统

14.1 安装Prometheus和Grafana
  2. # 创建监控命名空间
  3. kubectl create namespace monitoring
  5. # 安装Prometheus Operator
  6. helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
  7. helm repo update
  9. # 安装Kube-Prometheus-Stack
  10. helm install prometheus prometheus-community/kube-prometheus-stack \
  11.     --namespace monitoring \
  12.     --set grafana.adminPassword=admin \
  13.     --set prometheus.prometheusSpec.retention=7d
复制代码

14.2 配置Grafana
  2. # 获取Grafana密码
  3. kubectl get secret --namespace monitoring prometheus-grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo
  5. # 端口转发访问Grafana
  6. kubectl port-forward --namespace monitoring svc/prometheus-grafana 3000:80
  8. # 访问 http://localhost:3000
复制代码

14.3 安装EFK日志系统
  2. # 安装Elasticsearch
  3. helm repo add elastic https://helm.elastic.co
  4. helm install elasticsearch elastic/elasticsearch \
  5.     --namespace logging \
  6.     --set replicas=1 \
  7.     --set minimumMasterNodes=1
  9. # 安装Kibana
  10. helm install kibana elastic/kibana \
  11.     --namespace logging
  13. # 安装Fluentd
  14. helm install fluentd elastic/fluentd \
  15.     --namespace logging
复制代码

15. 集群备份与恢复

15.1 使用Velero进行集群备份
  2. # 下载Velero
  3. wget https://github.com/vmware-tanzu/velero/releases/download/v1.9.0/velero-v1.9.0-linux-amd64.tar.gz
  4. tar -xvf velero-v1.9.0-linux-amd64.tar.gz
  5. sudo mv velero-v1.9.0-linux-amd64/velero /usr/local/bin/
  7. # 安装Velero
  8. velero install \
  9.     --provider aws \
  10.     --plugins velero/velero-plugin-for-aws:v1.4.0 \
  11.     --bucket velero-backups \
  12.     --secret-file ./credentials-velero \
  13.     --use-volume-snapshots=false \
  14.     --backup-location-config region=minio,s3ForcePathStyle="true",s3Url=http://minio-server:9000
复制代码

15.2 创建备份
  2. # 创建完整集群备份
  3. velero backup create cluster-backup --include-cluster-resources=true
  5. # 创建命名空间备份
  6. velero backup create ns-backup --include-namespaces=default,kube-system
  8. # 定时备份
  9. velero schedule create daily-backup --schedule="0 1 * * *" --include-cluster-resources=true
复制代码

15.3 恢复备份
  2. # 列出可用备份
  3. velero backup get
  5. # 恢复备份
  6. velero restore create --from-backup cluster-backup
复制代码

16. 集群维护与升级

16.1 节点维护
  2. # 驱逐节点上的Pod
  3. kubectl cordon <node-name>
  4. kubectl drain <node-name> --ignore-daemonsets --delete-emptydir-data
  6. # 维护完成后恢复节点
  7. kubectl uncordon <node-name>
复制代码

16.2 升级Kubernetes集群
  2. # 升级控制平面
  3. sudo dnf update -y
  4. sudo dnf install -y kubelet-1.26.0 kubeadm-1.26.0 kubectl-1.26.0 --disableexcludes=kubernetes
  6. # 升级控制平面节点
  7. sudo kubeadm upgrade plan
  8. sudo kubeadm upgrade apply v1.26.0
  10. # 升级kubelet
  11. sudo systemctl daemon-reload
  12. sudo systemctl restart kubelet
  14. # 升级工作节点
  15. sudo dnf update -y
  16. sudo dnf install -y kubelet-1.26.0 kubeadm-1.26.0 --disableexcludes=kubernetes
  17. sudo kubeadm upgrade node
  18. sudo systemctl daemon-reload
  19. sudo systemctl restart kubelet
复制代码

17. 安全最佳实践

17.1 使用RBAC
  2. # 创建ServiceAccount
  3. kubectl create serviceaccount dashboard-sa
  5. # 创建Role
  6. kubectl create role pod-reader --verb=get,list,watch --resource=pods
  8. # 创建RoleBinding
  9. kubectl create rolebinding pod-reader-binding --role=pod-reader --serviceaccount=default:dashboard-sa
复制代码

17.2 网络策略
  2. # 创建默认拒绝所有入站流量的网络策略
  3. cat <<EOF | kubectl apply -f -
  4. apiVersion: networking.k8s.io/v1
  5. kind: NetworkPolicy
  6. metadata:
  7.   name: default-deny-ingress
  8. spec:
  9.   podSelector: {}
  10.   policyTypes:
  11.   - Ingress
  12. EOF
  14. # 创建允许特定命名空间内Pod间通信的网络策略
  15. cat <<EOF | kubectl apply -f -
  16. apiVersion: networking.k8s.io/v1
  17. kind: NetworkPolicy
  18. metadata:
  19.   name: allow-namespace
  20. spec:
  21.   podSelector: {}
  22.   policyTypes:
  23.   - Ingress
  24.   ingress:
  25.   - from:
  26.     - namespaceSelector:
  27.         matchLabels:
  28.           name: default
  29. EOF
复制代码

17.3 Pod安全策略
  2. # 创建Pod安全策略
  3. cat <<EOF | kubectl apply -f -
  4. apiVersion: policy/v1beta1
  5. kind: PodSecurityPolicy
  6. metadata:
  7.   name: restricted
  8. spec:
  9.   privileged: false
  10.   allowPrivilegeEscalation: false
  11.   requiredDropCapabilities:
  12.     - ALL
  13.   volumes:
  14.     - 'configMap'
  15.     - 'emptyDir'
  16.     - 'projected'
  17.     - 'secret'
  18.     - 'downwardAPI'
  19.     - 'persistentVolumeClaim'
  20.   runAsUser:
  21.     rule: 'MustRunAsNonRoot'
  22.   seLinux:
  23.     rule: 'RunAsAny'
  24.   fsGroup:
  25.     rule: 'RunAsAny'
  26. EOF
  28. # 创建ClusterRole和ClusterRoleBinding
  29. cat <<EOF | kubectl apply -f -
  30. apiVersion: rbac.authorization.k8s.io/v1
  31. kind: ClusterRole
  32. metadata:
  33.   name: psp:restricted
  34. rules:
  35. - apiGroups:
  36.   - policy
  37.   resources:
  38.   - podsecuritypolicies
  39.   resourceNames:
  40.   - restricted
  41.   verbs:
  42.   - use
  43. ---
  44. apiVersion: rbac.authorization.k8s.io/v1
  45. kind: ClusterRoleBinding
  46. metadata:
  47.   name: psp:restricted
  48. roleRef:
  49.   apiGroup: rbac.authorization.k8s.io
  50.   kind: ClusterRole
  51.   name: psp:restricted
  52. subjects:
  53. - kind: Group
  54.   name: system:authenticated
  55. EOF
复制代码

18. 性能优化与调优

18.1 Kubelet资源管理
  2. # 配置Kubelet资源管理
  3. cat <<EOF | sudo tee /etc/systemd/system/kubelet.service.d/10-kubeadm.conf
  4. [Service]
  5. Environment="KUBELET_KUBECONFIG_ARGS=--bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf"
  6. Environment="KUBELET_CONFIG_ARGS=--config=/var/lib/kubelet/config.yaml"
  7. Environment="KUBELET_EXTRA_ARGS=--node-ip=192.168.1.10 --cgroup-driver=systemd --pod-max-pids=10000 --max-pods=110"
  8. ExecStart=
  9. ExecStart=/usr/bin/kubelet \$KUBELET_KUBECONFIG_ARGS \$KUBELET_CONFIG_ARGS \$KUBELET_EXTRA_ARGS
  10. EOF
  12. # 重启Kubelet
  13. sudo systemctl daemon-reload
  14. sudo systemctl restart kubelet
复制代码

18.2 内核参数优化
  2. # 优化内核参数
  3. cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes.conf
  4. # 增加文件描述符限制
  5. fs.file-max = 100000
  6. fs.inotify.max_user_instances = 8192
  7. fs.inotify.max_user_watches = 1048576
  9. # 网络优化
  10. net.core.rmem_max = 16777216
  11. net.core.wmem_max = 16777216
  12. net.ipv4.tcp_rmem = 4096 87380 16777216
  13. net.ipv4.tcp_wmem = 4096 65536 16777216
  14. net.core.netdev_max_backlog = 10000
  15. net.ipv4.ip_local_port_range = 1024 65000
  16. net.ipv4.tcp_tw_reuse = 1
  17. net.ipv4.tcp_fin_timeout = 10
  18. net.ipv4.tcp_keepalive_time = 600
  19. net.ipv4.tcp_max_syn_backlog = 10000
  21. # 虚拟内存优化
  22. vm.swappiness = 10
  23. vm.dirty_ratio = 60
  24. vm.dirty_background_ratio = 2
  25. EOF
  27. # 应用内核参数
  28. sudo sysctl -p /etc/sysctl.d/99-kubernetes.conf
复制代码

18.3 调整etcd性能
  2. # 优化etcd配置
  3. cat <<EOF | sudo tee /etc/etcd/etcd.conf
  4. name: 'k8s-master-1'
  5. data-dir: /var/lib/etcd
  6. initial-advertise-peer-urls: http://192.168.1.10:2380
  7. listen-peer-urls: http://192.168.1.10:2380
  8. listen-client-urls: http://192.168.1.10:2379,http://127.0.0.1:2379
  9. advertise-client-urls: http://192.168.1.10:2379
  10. initial-cluster: k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380
  11. initial-cluster-state: 'new'
  12. initial-cluster-token: 'k8s-etcd-cluster'
  14. # 性能优化参数
  15. heartbeat-interval: 100
  16. election-timeout: 1000
  17. max-snapshots: 5
  18. max-wals: 5
  19. snapshot-count: 10000
  20. quota-backend-bytes: 4294967296
  21. auto-compaction-retention: 1000
  22. EOF
  24. # 重启etcd
  25. sudo systemctl restart etcd
复制代码

19. 故障排除

19.1 常见问题及解决方案
  2. # 检查节点状态
  3. kubectl describe node <node-name>
  5. # 检查kubelet日志
  6. journalctl -u kubelet -f
  8. # 检查容器运行时状态
  9. sudo systemctl status containerd
  10. sudo crictl ps
  11. sudo crictl logs <container-id>
复制代码
  2. # 检查Pod事件
  3. kubectl describe pod <pod-name>
  5. # 检查资源使用情况
  6. kubectl top nodes
  8. # 检查PVC状态（如果Pod使用持久化存储）
  9. kubectl get pvc
  10. kubectl describe pvc <pvc-name>
复制代码
  2. # 检查网络插件Pod状态
  3. kubectl get pods -n kube-system | grep -E 'calico|flannel|cilium'
  5. # 检查网络插件日志
  6. kubectl logs -n kube-system <network-plugin-pod-name>
  8. # 测试Pod间网络连通性
  9. kubectl run -it --rm busybox --image=busybox -- sh
  10. # 在Pod内执行
  11. ping <other-pod-ip>
  12. wget -qO- <service-url>
复制代码

19.2 集群恢复
  2. # 停止kube-apiserver
  3. sudo systemctl stop kube-apiserver
  5. # 恢复etcd数据
  6. sudo etcdctl snapshot restore snapshot.db \
  7.     --data-dir /var/lib/etcd \
  8.     --name k8s-master-1 \
  9.     --initial-cluster k8s-master-1=http://192.168.1.10:2380,k8s-master-2=http://192.168.1.11:2380,k8s-master-3=http://192.168.1.12:2380 \
  10.     --initial-cluster-token k8s-etcd-cluster \
  11.     --initial-advertise-peer-urls http://192.168.1.10:2380
  13. # 重启etcd和kube-apiserver
  14. sudo systemctl restart etcd
  15. sudo systemctl start kube-apiserver
复制代码
  2. # 使用Velero恢复
  3. velero restore create --from-backup <backup-name>
  5. # 检查恢复状态
  6. velero restore get
  7. velero restore describe <restore-name>
复制代码

20. 总结与最佳实践

在AlmaLinux上部署高可用的Kubernetes集群需要仔细规划和执行。以下是一些关键的最佳实践：

1. 环境规划：确保硬件资源充足，特别是对于生产环境规划好网络拓扑和IP地址分配使用高可用的负载均衡器
2. 确保硬件资源充足，特别是对于生产环境
3. 规划好网络拓扑和IP地址分配
4. 使用高可用的负载均衡器
5. 系统配置：正确配置内核参数和系统设置禁用swap和SELinux（或设置为permissive模式）使用稳定的容器运行时，如containerd
6. 正确配置内核参数和系统设置
7. 禁用swap和SELinux（或设置为permissive模式）
8. 使用稳定的容器运行时，如containerd
9. 高可用性：部署至少3个控制平面节点使用外部etcd集群配置负载均衡器以实现API服务器的高可用性
10. 部署至少3个控制平面节点
11. 使用外部etcd集群
12. 配置负载均衡器以实现API服务器的高可用性
13. 安全性：启用RBAC控制访问权限使用网络策略限制Pod间通信配置Pod安全策略限制容器权限
14. 启用RBAC控制访问权限
15. 使用网络策略限制Pod间通信
16. 配置Pod安全策略限制容器权限
17. 监控与日志：部署完整的监控解决方案，如Prometheus和Grafana配置集中式日志系统，如EFK堆栈设置警报以便及时发现问题
18. 部署完整的监控解决方案，如Prometheus和Grafana
19. 配置集中式日志系统，如EFK堆栈
20. 设置警报以便及时发现问题
21. 备份与恢复：定期备份etcd数据使用Velero等工具进行集群备份定期测试恢复流程
22. 定期备份etcd数据
23. 使用Velero等工具进行集群备份
24. 定期测试恢复流程
25. 维护与升级：遵循Kubernetes版本兼容性矩阵逐步升级控制平面和工作节点在升级前进行充分测试
26. 遵循Kubernetes版本兼容性矩阵
27. 逐步升级控制平面和工作节点
28. 在升级前进行充分测试

环境规划：

• 确保硬件资源充足，特别是对于生产环境
• 规划好网络拓扑和IP地址分配
• 使用高可用的负载均衡器

系统配置：

• 正确配置内核参数和系统设置
• 禁用swap和SELinux（或设置为permissive模式）
• 使用稳定的容器运行时，如containerd

高可用性：

• 部署至少3个控制平面节点
• 使用外部etcd集群
• 配置负载均衡器以实现API服务器的高可用性

安全性：

• 启用RBAC控制访问权限
• 使用网络策略限制Pod间通信
• 配置Pod安全策略限制容器权限

监控与日志：

• 部署完整的监控解决方案，如Prometheus和Grafana
• 配置集中式日志系统，如EFK堆栈
• 设置警报以便及时发现问题

备份与恢复：

• 定期备份etcd数据
• 使用Velero等工具进行集群备份
• 定期测试恢复流程

维护与升级：

• 遵循Kubernetes版本兼容性矩阵
• 逐步升级控制平面和工作节点
• 在升级前进行充分测试

通过遵循这些最佳实践，您可以构建一个稳定、安全且高性能的Kubernetes集群，为您的容器化应用提供强大的支持。
磁盘空间
「七転び八起き（ななころびやおき）」
回复

使用道具 举报

返回列表 发新帖
您需要登录后才可以回帖 登录 | 立即注册
高级模式
B Color Image Link Quote Code Smilies

本版积分规则