活动公告

系统通知
通知：关于部分勋章领取条件及购买价格调整的通知
05-18 21:22
系统通知
通知：本站资源由网友上传分享，如有违规等问题请到版务模块进行投诉，资源失效请在帖子内回复要求补档，会尽快处理！
10-23 09:31
>社区 > 科技 > 经验交流 >帖子
本版发帖返回

企业级K8s容器云平台搭建全流程详解从环境准备到集群部署再到应用管理的完整实践指南与常见问题解决方案

这是个蓝孩子 当前离线 威震华夏关云长
SunJu_FaceMall

3万

主题

2860

科技点

3万

积分

白金月票

碾压王

积分
32872

塔罗立华奏
<font color=白金月票" /> 发表于 2025-9-18 14:30:17 | 显示全部楼层 |阅读模式

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
引言

Kubernetes（简称K8s）作为目前最流行的容器编排系统，已经成为企业构建云原生应用的标准平台。它提供了自动化部署、扩展和管理容器化应用程序的能力，极大地简化了微服务架构下的运维工作。本文将详细介绍如何从零开始搭建一个企业级的Kubernetes容器云平台，包括环境准备、集群部署和应用管理的全流程，并提供常见问题的解决方案，帮助读者构建一个高可用、安全、可扩展的生产级K8s环境。

环境准备

硬件规划

在搭建企业级K8s集群之前，首先需要进行合理的硬件规划。根据企业规模和业务需求，硬件配置会有所不同，但以下是一些基本建议：

控制平面节点（Master节点）：

• CPU：至少4核，建议8核或以上
• 内存：至少8GB，建议16GB或以上
• 存储：至少100GB SSD，建议使用高性能SSD
• 网络：千兆以太网或更高速率

工作节点（Worker节点）：

• CPU：至少2核，建议4核或以上
• 内存：至少4GB，建议8GB或以上
• 存储：至少100GB，根据容器镜像和存储需求调整
• 网络：千兆以太网或更高速率

高可用性考虑：

• 控制平面节点至少3个，避免单点故障
• 工作节点根据业务需求扩展，通常至少3个
• 考虑使用负载均衡器分发API服务器请求

软件依赖

在开始安装之前，需要确保所有节点满足以下软件依赖：

操作系统：

• 推荐使用稳定的Linux发行版，如Ubuntu 20.04/22.04 LTS、CentOS 7/8、RHEL 7/8等
• 确保系统已更新到最新补丁级别

容器运行时：

• Docker（推荐版本19.03或以上）
• containerd（推荐版本1.4.0或以上）
• CRI-O（推荐版本1.20或以上）

其他软件包：

• conntrack
• socat
• ebtables
• ipset
• curl
• wget
• git

以下是在Ubuntu系统上安装依赖的示例代码：
  2. # 更新系统包
  3. sudo apt update && sudo apt upgrade -y
  5. # 安装基础软件包
  6. sudo apt install -y apt-transport-https ca-certificates curl software-properties-common conntrack socat ebtables ipset wget git
  8. # 安装Docker（以Ubuntu为例）
  9. # 添加Docker官方GPG密钥
  10. curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
  12. # 添加Docker仓库
  13. sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
  15. # 安装Docker
  16. sudo apt update
  17. sudo apt install -y docker-ce docker-ce-cli containerd.io
  19. # 配置Docker
  20. sudo mkdir -p /etc/docker
  21. cat <<EOF | sudo tee /etc/docker/daemon.json
  22. {
  23.   "exec-opts": ["native.cgroupdriver=systemd"],
  24.   "log-driver": "json-file",
  25.   "log-opts": {
  26.     "max-size": "100m"
  27.   },
  28.   "storage-driver": "overlay2"
  29. }
  30. EOF
  32. # 重启Docker
  33. sudo systemctl enable docker
  34. sudo systemctl daemon-reload
  35. sudo systemctl restart docker
  37. # 将当前用户添加到docker组
  38. sudo usermod -aG docker $USER
  40. # 重新登录以使组更改生效
复制代码

网络规划

网络是Kubernetes集群中的关键部分，需要仔细规划：

节点网络：

• 为每个节点分配静态IP地址
• 确保节点之间可以相互通信
• 规划好子网划分，避免IP冲突

Pod网络：

• 选择合适的Pod网络CIDR，如10.244.0.0/16
• 选择网络插件，如Calico、Flannel、Weave Net等

服务网络：

• 规划Service CIDR，如10.96.0.0/12
• 考虑使用Ingress控制器暴露服务

以下是一个网络规划示例：
  2. # 网络规划示例
  3. 节点网络: 192.168.1.0/24
  4.   - master-01: 192.168.1.10
  5.   - master-02: 192.168.1.11
  6.   - master-03: 192.168.1.12
  7.   - worker-01: 192.168.1.20
  8.   - worker-02: 192.168.1.21
  9.   - worker-03: 192.168.1.22
  10.   - lb: 192.168.1.30 (负载均衡器)
  12. Pod网络: 10.244.0.0/16
  13. Service网络: 10.96.0.0/12
复制代码

主机名和DNS配置

为了确保集群中的节点能够正确识别彼此，需要配置主机名和DNS解析：
  2. # 设置主机名（在每个节点上执行）
  3. sudo hostnamectl set-hostname master-01  # 在第一个主节点上
  4. sudo hostnamectl set-hostname master-02  # 在第二个主节点上
  5. sudo hostnamectl set-hostname master-03  # 在第三个主节点上
  6. sudo hostnamectl set-hostname worker-01  # 在第一个工作节点上
  7. sudo hostnamectl set-hostname worker-02  # 在第二个工作节点上
  8. sudo hostnamectl set-hostname worker-03  # 在第三个工作节点上
  10. # 编辑/etc/hosts文件，添加所有节点的解析
  11. cat <<EOF | sudo tee -a /etc/hosts
  12. 192.168.1.10   master-01
  13. 192.168.1.11   master-02
  14. 192.168.1.12   master-03
  15. 192.168.1.20   worker-01
  16. 192.168.1.21   worker-02
  17. 192.168.1.22   worker-03
  18. 192.168.1.30   lb
  19. EOF
复制代码

系统配置

在安装Kubernetes之前，还需要进行一些系统级别的配置：
  2. # 禁用swap
  3. sudo swapoff -a
  4. sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
  6. # 配置内核参数
  7. cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
  8. br_netfilter
  9. EOF
  11. cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
  12. net.bridge.bridge-nf-call-ip6tables = 1
  13. net.bridge.bridge-nf-call-iptables = 1
  14. net.ipv4.ip_forward = 1
  15. EOF
  17. sudo sysctl --system
  19. # 加载内核模块
  20. sudo modprobe br_netfilter
  22. # 安装kubeadm, kubelet和kubectl
  23. # 添加Kubernetes官方GPG密钥
  24. curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
  26. # 添加Kubernetes仓库
  27. cat <<EOF | sudo tee /etc/apt/sources.list.d/kubernetes.list
  28. deb https://apt.kubernetes.io/ kubernetes-xenial main
  29. EOF
  31. # 更新包列表并安装
  32. sudo apt update
  33. sudo apt install -y kubelet kubeadm kubectl
  34. sudo apt-mark hold kubelet kubeadm kubectl
  36. # 启动kubelet
  37. sudo systemctl enable kubelet
  38. sudo systemctl start kubelet
复制代码

集群部署

初始化控制平面

在第一个主节点上初始化Kubernetes控制平面：
  2. # 初始化控制平面（在第一个主节点master-01上执行）
  3. sudo kubeadm init --control-plane-endpoint "lb:6443" \
  4.   --upload-certs \
  5.   --pod-network-cidr=10.244.0.0/16 \
  6.   --service-cidr=10.96.0.0/12 \
  7.   --apiserver-advertise-address=192.168.1.10
复制代码

初始化完成后，会显示加入集群的命令和证书密钥，请妥善保存这些信息。

配置kubectl：
  2. # 配置kubectl（在第一个主节点上）
  3. mkdir -p $HOME/.kube
  4. sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  5. sudo chown $(id -u):$(id -g) $HOME/.kube/config
  7. # 验证集群状态
  8. kubectl get nodes
复制代码

部署网络插件

选择并部署一个网络插件，这里以Calico为例：
  2. # 安装Calico网络插件
  3. kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
  5. # 等待Calico部署完成
  6. kubectl get pods -n kube-system
复制代码

加入其他控制平面节点

使用之前保存的命令加入其他控制平面节点：
  2. # 在master-02和master-03上执行
  3. sudo kubeadm join lb:6443 --token <token> \
  4.   --discovery-token-ca-cert-hash sha256:<hash> \
  5.   --control-plane --certificate-key <certificate-key>
复制代码

加入工作节点

使用之前保存的命令加入工作节点：
  2. # 在所有工作节点上执行
  3. sudo kubeadm join lb:6443 --token <token> \
  4.   --discovery-token-ca-cert-hash sha256:<hash>
复制代码

验证集群状态
  2. # 查看所有节点状态
  3. kubectl get nodes
  5. # 查看所有系统组件状态
  6. kubectl get pods -n kube-system
  8. # 查看集群信息
  9. kubectl cluster-info
复制代码

配置负载均衡器

为了实现API服务器的高可用，需要配置负载均衡器。可以使用Nginx、HAProxy或云服务商提供的负载均衡器。以下是一个使用Nginx的示例：
  2. # 安装Nginx（在负载均衡器节点上）
  3. sudo apt install -y nginx
  5. # 配置Nginx
  6. cat <<EOF | sudo tee /etc/nginx/nginx.conf
  7. user nginx;
  8. worker_processes auto;
  9. error_log /var/log/nginx/error.log;
  10. pid /run/nginx.pid;
  12. events {
  13.     worker_connections 1024;
  14. }
  16. stream {
  17.     upstream kubernetes_api_servers {
  18.         server 192.168.1.10:6443;
  19.         server 192.168.1.11:6443;
  20.         server 192.168.1.12:6443;
  21.     }
  23.     server {
  24.         listen 6443;
  25.         proxy_pass kubernetes_api_servers;
  26.         proxy_timeout 30s;
  27.         proxy_connect_timeout 5s;
  28.     }
  29. }
  30. EOF
  32. # 启动Nginx
  33. sudo systemctl enable nginx
  34. sudo systemctl start nginx
复制代码

安装附加组件

Helm是Kubernetes的包管理器，可以简化应用的部署和管理：
  2. # 下载Helm安装脚本
  3. curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash
  5. # 验证安装
  6. helm version
复制代码

Metrics Server用于收集和提供资源使用指标：
  2. # 安装Metrics Server
  3. kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
  5. # 验证安装
  6. kubectl top nodes
复制代码

Kubernetes Dashboard是一个基于Web的UI，用于管理集群：
  2. # 安装Dashboard
  3. kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.5.1/aio/deploy/recommended.yaml
  5. # 创建服务账户和集群角色绑定
  6. cat <<EOF | kubectl apply -f -
  7. apiVersion: v1
  8. kind: ServiceAccount
  9. metadata:
  10.   name: admin-user
  11.   namespace: kubernetes-dashboard
  12. ---
  13. apiVersion: rbac.authorization.k8s.io/v1
  14. kind: ClusterRoleBinding
  15. metadata:
  16.   name: admin-user
  17. roleRef:
  18.   apiGroup: rbac.authorization.k8s.io
  19.   kind: ClusterRole
  20.   name: cluster-admin
  21. subjects:
  22. - kind: ServiceAccount
  23.   name: admin-user
  24.   namespace: kubernetes-dashboard
  25. EOF
  27. # 获取访问令牌
  28. kubectl -n kubernetes-dashboard get secret $(kubectl -n kubernetes-dashboard get sa/admin-user -o jsonpath="{.secrets[0].name}") -o go-template="{{.data.token | base64decode}}"
  30. # 启动代理访问Dashboard
  31. kubectl proxy
复制代码

Ingress控制器用于管理外部访问服务的规则：
  2. # 安装Nginx Ingress控制器
  3. kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.2.1/deploy/static/provider/cloud/deploy.yaml
  5. # 验证安装
  6. kubectl get pods -n ingress-nginx
复制代码

应用管理

部署应用

创建一个简单的Nginx部署示例：
  2. # nginx-deployment.yaml
  3. apiVersion: apps/v1
  4. kind: Deployment
  5. metadata:
  6.   name: nginx-deployment
  7.   labels:
  8.     app: nginx
  9. spec:
  10.   replicas: 3
  11.   selector:
  12.     matchLabels:
  13.       app: nginx
  14.   template:
  15.     metadata:
  16.       labels:
  17.         app: nginx
  18.     spec:
  19.       containers:
  20.       - name: nginx
  21.         image: nginx:1.21
  22.         ports:
  23.         - containerPort: 80
  24.         resources:
  25.           requests:
  26.             memory: "64Mi"
  27.             cpu: "250m"
  28.           limits:
  29.             memory: "128Mi"
  30.             cpu: "500m"
  31. ---
  32. apiVersion: v1
  33. kind: Service
  34. metadata:
  35.   name: nginx-service
  36. spec:
  37.   selector:
  38.     app: nginx
  39.   ports:
  40.     - protocol: TCP
  41.       port: 80
  42.       targetPort: 80
  43.   type: ClusterIP
复制代码

部署应用：
  2. # 部署应用
  3. kubectl apply -f nginx-deployment.yaml
  5. # 查看部署状态
  6. kubectl get deployment,pod,svc
复制代码

使用Helm部署应用更加灵活和可管理：
  2. # 添加Helm仓库
  3. helm repo add bitnami https://charts.bitnami.com/bitnami
  5. # 搜索应用
  6. helm search repo bitnami/wordpress
  8. # 安装应用
  9. helm install my-wordpress bitnami/wordpress
  11. # 查看发布状态
  12. helm list
复制代码

配置管理

ConfigMap用于存储非机密的配置数据：
  2. # game-config.yaml
  3. apiVersion: v1
  4. kind: ConfigMap
  5. metadata:
  6.   name: game-config
  7. data:
  8.   # 类属性键；每一个键都映射到一个简单的值
  9.   player_initial_lives: "3"
  10.   ui_properties_file_name: "user-interface.properties"
  12.   # 类文件键
  13.   game.properties: |
  14.     enemy.types=aliens,monsters
  15.     player.maximum.lives=5   
  16.     enemy.allowed.maxiumum=4
  17.    
  18.   user-interface.properties: |
  19.     color.good=purple
  20.     color.bad=yellow
  21.     allow.textmode=true
复制代码

应用ConfigMap：
  2. # 创建ConfigMap
  3. kubectl apply -f game-config.yaml
  5. # 查看ConfigMap
  6. kubectl get configmap game-config -o yaml
复制代码

Secret用于存储敏感数据，如密码、令牌等：
  2. # mysql-secret.yaml
  3. apiVersion: v1
  4. kind: Secret
  5. metadata:
  6.   name: mysql-secret
  7. type: Opaque
  8. data:
  9.   # 需要使用base64编码的值
  10.   # echo -n "password" | base64
  11.   mysql-root-password: cGFzc3dvcmQ=
  12.   mysql-user-password: dXNlci1wYXNzd29yZA==
复制代码

应用Secret：
  2. # 创建Secret
  3. kubectl apply -f mysql-secret.yaml
  5. # 查看Secret
  6. kubectl get secret mysql-secret -o yaml
复制代码

存储管理

持久卷（PV）是集群中的一块存储，由管理员配置或使用存储类动态配置：
  2. # pv.yaml
  3. apiVersion: v1
  4. kind: PersistentVolume
  5. metadata:
  6.   name: pv-example
  7. spec:
  8.   capacity:
  9.     storage: 10Gi
  10.   volumeMode: Filesystem
  11.   accessModes:
  12.     - ReadWriteOnce
  13.   persistentVolumeReclaimPolicy: Retain
  14.   storageClassName: fast
  15.   mountOptions:
  16.     - hard
  17.     - nfsvers=4.1
  18.   nfs:
  19.     path: /data
  20.     server: nfs-server.example.com
复制代码

持久卷声明（PVC）是用户对存储的请求：
  2. # pvc.yaml
  3. apiVersion: v1
  4. kind: PersistentVolumeClaim
  5. metadata:
  6.   name: pvc-example
  7. spec:
  8.   accessModes:
  9.     - ReadWriteOnce
  10.   volumeMode: Filesystem
  11.   resources:
  12.     requests:
  13.       storage: 8Gi
  14.   storageClassName: fast
复制代码

存储类为管理员提供了描述存储”类”的方法：
  2. # storageclass.yaml
  3. apiVersion: storage.k8s.io/v1
  4. kind: StorageClass
  5. metadata:
  6.   name: fast
  7. provisioner: kubernetes.io/gce-pd
  8. parameters:
  9.   type: pd-ssd
  10. reclaimPolicy: Retain
  11. allowVolumeExpansion: true
  12. mountOptions:
  13.   - debug
  14. volumeBindingMode: Immediate
复制代码

应用扩缩容
  2. # 扩容部署
  3. kubectl scale deployment nginx-deployment --replicas=5
  5. # 缩容部署
  6. kubectl scale deployment nginx-deployment --replicas=2
复制代码

水平Pod自动扩缩容（HPA）根据CPU使用率或其他指标自动调整Pod数量：
  2. # hpa.yaml
  3. apiVersion: autoscaling/v2
  4. kind: HorizontalPodAutoscaler
  5. metadata:
  6.   name: nginx-hpa
  7. spec:
  8.   scaleTargetRef:
  9.     apiVersion: apps/v1
  10.     kind: Deployment
  11.     name: nginx-deployment
  12.   minReplicas: 2
  13.   maxReplicas: 10
  14.   metrics:
  15.   - type: Resource
  16.     resource:
  17.       name: cpu
  18.       target:
  19.         type: Utilization
  20.         averageUtilization: 50
  21.   - type: Resource
  22.     resource:
  23.       name: memory
  24.       target:
  25.         type: Utilization
  26.         averageUtilization: 70
复制代码

应用HPA：
  2. # 创建HPA
  3. kubectl apply -f hpa.yaml
  5. # 查看HPA状态
  6. kubectl get hpa
复制代码

滚动更新和回滚
  2. # 更新部署的镜像版本
  3. kubectl set image deployment/nginx-deployment nginx=nginx:1.22
  5. # 查看更新状态
  6. kubectl rollout status deployment/nginx-deployment
  8. # 查看更新历史
  9. kubectl rollout history deployment/nginx-deployment
复制代码
  2. # 回滚到上一个版本
  3. kubectl rollout undo deployment/nginx-deployment
  5. # 回滚到指定版本
  6. kubectl rollout undo deployment/nginx-deployment --to-revision=2
复制代码

健康检查

存活探针用于确定容器是否正在运行：
  2. # liveness-probe.yaml
  3. apiVersion: apps/v1
  4. kind: Deployment
  5. metadata:
  6.   name: liveness-app
  7. spec:
  8.   replicas: 1
  9.   selector:
  10.     matchLabels:
  11.       app: liveness
  12.   template:
  13.     metadata:
  14.       labels:
  15.         app: liveness
  16.     spec:
  17.       containers:
  18.       - name: liveness
  19.         image: busybox
  20.         args:
  21.         - /bin/sh
  22.         - -c
  23.         - touch /tmp/healthy; sleep 30; rm -f /tmp/healthy; sleep 600
  24.         livenessProbe:
  25.           exec:
  26.             command:
  27.             - cat
  28.             - /tmp/healthy
  29.           initialDelaySeconds: 5
  30.           periodSeconds: 5
复制代码

就绪探针用于确定容器是否准备好接收流量：
  2. # readiness-probe.yaml
  3. apiVersion: apps/v1
  4. kind: Deployment
  5. metadata:
  6.   name: readiness-app
  7. spec:
  8.   replicas: 1
  9.   selector:
  10.     matchLabels:
  11.       app: readiness
  12.   template:
  13.     metadata:
  14.       labels:
  15.         app: readiness
  16.     spec:
  17.       containers:
  18.       - name: readiness
  19.         image: nginx:1.21
  20.         ports:
  21.         - containerPort: 80
  22.         readinessProbe:
  23.           httpGet:
  24.             path: /
  25.             port: 80
  26.           initialDelaySeconds: 5
  27.           periodSeconds: 10
复制代码

日志和监控
  2. # 查看Pod日志
  3. kubectl logs <pod-name>
  5. # 查看前一个容器的日志
  6. kubectl logs <pod-name> --previous
  8. # 跟踪日志
  9. kubectl logs -f <pod-name>
  11. # 查看指定容器的日志
  12. kubectl logs <pod-name> -c <container-name>
复制代码
  2. # 使用Helm安装Prometheus Operator
  3. helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
  4. helm repo update
  6. # 创建命名空间
  7. kubectl create namespace monitoring
  9. # 安装Prometheus Operator
  10. helm install prometheus prometheus-community/kube-prometheus-stack -n monitoring
  12. # 验证安装
  13. kubectl get pods -n monitoring
  15. # 获取Grafana密码
  16. kubectl get secret --namespace monitoring prometheus-grafana -o jsonpath="{.data.admin-password}" | base64 --decode ; echo
复制代码

常见问题解决方案

节点NotReady问题

问题现象：节点状态显示为NotReady。

可能原因：

1. 网络插件未正确安装或配置
2. kubelet服务未运行
3. 系统资源不足
4. 防火墙阻止了节点间的通信

解决方案：
  2. # 检查kubelet状态
  3. sudo systemctl status kubelet
  5. # 如果kubelet未运行，启动它
  6. sudo systemctl start kubelet
  8. # 检查系统日志
  9. journalctl -u kubelet
  11. # 检查网络插件状态
  12. kubectl get pods -n kube-system | grep -E 'calico|flannel|weave'
  14. # 如果网络插件有问题，重新安装
  15. kubectl delete -f <network-plugin-yaml-file>
  16. kubectl apply -f <network-plugin-yaml-file>
  18. # 检查防火墙设置
  19. sudo ufw status
  20. sudo iptables -L
  22. # 如果需要，开放必要的端口
  23. sudo ufw allow 6443/tcp
  24. sudo ufw allow 10250/tcp
  25. sudo ufw allow 30000:32767/tcp
复制代码

Pod处于Pending状态

问题现象：Pod长时间处于Pending状态。

可能原因：

1. 集群资源不足
2. 节点存在污点（Taints）导致Pod无法调度
3. PVC未绑定
4. 调度器问题

解决方案：
  2. # 查看Pod详细信息
  3. kubectl describe pod <pod-name>
  5. # 检查事件部分以获取更多信息
  6. kubectl get events --sort-by=.metadata.creationTimestamp
  8. # 检查节点资源使用情况
  9. kubectl top nodes
  11. # 如果资源不足，考虑添加更多节点或调整资源请求
  12. kubectl describe node <node-name>
  14. # 检查节点污点
  15. kubectl describe node <node-name> | grep Taints
  17. # 如果需要，移除污点
  18. kubectl taint nodes <node-name> <taint-key>-
  20. # 检查PVC状态
  21. kubectl get pvc
  22. kubectl describe pvc <pvc-name>
  24. # 如果是PVC问题，检查PV状态
  25. kubectl get pv
复制代码

镜像拉取失败

问题现象：Pod因镜像拉取失败而无法启动。

可能原因：

1. 镜像名称或标签错误
2. 镜像仓库认证问题
3. 网络问题导致无法访问镜像仓库
4. 镜像不存在

解决方案：
  2. # 查看Pod详细信息
  3. kubectl describe pod <pod-name>
  5. # 检查镜像名称和标签是否正确
  6. kubectl get pod <pod-name> -o yaml | grep image:
  8. # 如果是私有仓库，创建镜像拉取密钥
  9. kubectl create secret docker-registry <secret-name> \
  10.   --docker-server=<your-registry-server> \
  11.   --docker-username=<your-name> \
  12.   --docker-password=<your-pword> \
  13.   --docker-email=<your-email>
  15. # 将密钥添加到服务账户
  16. kubectl patch serviceaccount default -p '{"imagePullSecrets": [{"name": "<secret-name>"}]}'
  18. # 或者直接在Pod定义中指定imagePullSecrets
复制代码

Service无法访问

问题现象：创建的Service无法访问。

可能原因：

1. Service的selector与Pod的标签不匹配
2. 网络策略阻止了访问
3. kube-proxy组件问题
4. Service类型配置错误

解决方案：
  2. # 检查Service详细信息
  3. kubectl describe svc <service-name>
  5. # 验证selector是否匹配Pod标签
  6. kubectl get pods --selector=<selector-key>=<selector-value>
  8. # 检查Endpoints是否正确创建
  9. kubectl get endpoints <service-name>
  11. # 如果Endpoints为空，检查selector是否正确
  13. # 检查kube-proxy状态
  14. kubectl get pods -n kube-system | grep kube-proxy
  16. # 如果kube-proxy有问题，重启它
  17. kubectl delete pod -n kube-system -l k8s-app=kube-proxy
  19. # 检查网络策略
  20. kubectl get networkpolicy
  22. # 如果需要，测试Pod到Service的连接
  23. kubectl run -i --tty --rm debug --image=busybox --restart=Never -- wget -O- <service-ip>:<port>
复制代码

证书过期问题

问题现象：集群组件因证书过期而无法正常工作。

可能原因：

1. Kubernetes证书默认有效期为一年
2. 未及时更新证书

解决方案：
  2. # 检查证书过期时间
  3. kubeadm alpha certs check-expiration
  5. # 更新所有证书
  6. kubeadm alpha certs renew all
  8. # 更新kubeconfig文件
  9. kubeadm init phase kubeconfig all
  11. # 重启控制平面组件
  12. sudo systemctl restart kube-apiserver
  13. sudo systemctl restart kube-controller-manager
  14. sudo systemctl restart kube-scheduler
  16. # 更新工作节点上的kubeconfig
  17. # 在每个工作节点上执行
  18. sudo cp /etc/kubernetes/admin.conf /etc/kubernetes/kubelet.conf
  19. sudo systemctl restart kubelet
复制代码

etcd集群问题

问题现象：etcd集群不稳定或无法访问。

可能原因：

1. etcd数据损坏
2. etcd成员间通信问题
3. 磁盘空间不足

解决方案：
  2. # 检查etcd Pod状态
  3. kubectl get pods -n kube-system | grep etcd
  5. # 检查etcd日志
  6. kubectl logs -n kube-system <etcd-pod-name>
  8. # 检查etcd集群成员状态
  9. kubectl exec -n kube-system <etcd-pod-name> -- etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key member list
  11. # 检查etcd集群健康状态
  12. kubectl exec -n kube-system <etcd-pod-name> -- etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key endpoint health
  14. # 如果需要，进行etcd备份
  15. kubectl exec -n kube-system <etcd-pod-name> -- etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key snapshot save /tmp/etcd-snapshot.db
  17. # 从备份恢复etcd
  18. # 首先停止etcd服务
  19. sudo systemctl stop etcd
  21. # 然后恢复数据
  22. sudo ETCDCTL_API=3 etcdctl snapshot restore /tmp/etcd-snapshot.db \
  23.   --data-dir=/var/lib/etcd \
  24.   --name=master-01 \
  25.   --initial-cluster=master-01=https://192.168.1.10:2380,master-02=https://192.168.1.11:2380,master-03=https://192.168.1.12:2380 \
  26.   --initial-cluster-token=etcd-cluster-1 \
  27.   --initial-advertise-peer-urls=https://192.168.1.10:2380
  29. # 最后启动etcd服务
  30. sudo systemctl start etcd
复制代码

资源配额问题

问题现象：Pod因资源配额限制而无法创建。

可能原因：

1. 命名空间中的资源使用已达到配额限制
2. Pod请求的资源超过了可用配额

解决方案：
  2. # 检查命名空间的资源配额
  3. kubectl get resourcequota -n <namespace>
  5. # 检查资源使用情况
  6. kubectl describe resourcequota <resourcequota-name> -n <namespace>
  8. # 如果需要，增加资源配额
  9. kubectl edit resourcequota <resourcequota-name> -n <namespace>
  11. # 或者调整Pod的资源请求
  12. kubectl edit deployment <deployment-name> -n <namespace>
复制代码

网络策略问题

问题现象：Pod之间无法通信，尽管网络配置正确。

可能原因：

1. 网络策略阻止了Pod间的通信
2. 网络插件不支持网络策略

解决方案：
  2. # 检查网络策略
  3. kubectl get networkpolicy -n <namespace>
  5. # 检查网络策略详细信息
  6. kubectl describe networkpolicy <networkpolicy-name> -n <namespace>
  8. # 如果需要，修改网络策略以允许通信
  9. kubectl edit networkpolicy <networkpolicy-name> -n <namespace>
  11. # 或者创建新的网络策略
  12. cat <<EOF | kubectl apply -f -
  13. apiVersion: networking.k8s.io/v1
  14. kind: NetworkPolicy
  15. metadata:
  16.   name: allow-all
  17.   namespace: <namespace>
  18. spec:
  19.   podSelector: {}
  20.   policyTypes:
  21.   - Ingress
  22.   - Egress
  23.   ingress:
  24.   - {}
  25.   egress:
  26.   - {}
  27. EOF
复制代码

总结

本文详细介绍了企业级Kubernetes容器云平台搭建的全流程，从环境准备、集群部署到应用管理的各个方面，并提供了常见问题的解决方案。通过遵循这些步骤和最佳实践，企业可以构建一个高可用、安全、可扩展的生产级K8s环境，为业务应用提供强大的容器编排和管理能力。

Kubernetes作为一个复杂的系统，其部署和运维需要深入的技术知识和丰富的实践经验。在实际操作中，可能会遇到各种各样的问题，需要结合具体情况进行排查和解决。建议企业在生产环境中使用成熟的Kubernetes发行版或托管服务，如Rancher、OpenShift、EKS、GKE、AKE等，以降低运维复杂度。

随着云原生技术的不断发展，Kubernetes生态系统也在持续演进。作为运维和开发人员，我们需要不断学习和实践，跟上技术发展的步伐，充分利用Kubernetes的强大功能，为企业数字化转型提供坚实的技术支撑。
企业级, 高性能
「七転び八起き（ななころびやおき）」
回复

使用道具 举报

返回列表 发新帖
您需要登录后才可以回帖 登录 | 立即注册
高级模式
B Color Image Link Quote Code Smilies

本版积分规则