|
|
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
x
1. 负载均衡概述
负载均衡是现代网络架构中不可或缺的组件,它能够将传入的网络流量分配到多个服务器上,从而优化资源使用、最大化吞吐量、最小化响应时间,并避免任何单一资源过载。在CentOS服务器环境中配置负载均衡,可以显著提升网站性能与可靠性,是实现高可用服务架构的关键步骤。
1.1 负载均衡的基本原理
负载均衡的基本原理是将客户端请求分发到后端的多个服务器上,使得没有任何单一服务器承受过多的请求。这种分发可以基于多种算法,如轮询、最少连接、IP哈希等。通过这种方式,负载均衡器可以确保所有服务器资源得到充分利用,同时提供冗余,防止单点故障。
1.2 负载均衡的主要优势
• 提高性能:通过分散请求负载,避免服务器过载,确保快速响应
• 增强可靠性:当某台服务器故障时,负载均衡器可以将流量重定向到其他健康的服务器
• 可扩展性:可以轻松添加或移除服务器以适应流量变化
• 维护便利:可以在不中断服务的情况下对服务器进行维护或升级
1.3 常见的负载均衡解决方案
在CentOS环境中,有多种负载均衡解决方案可供选择:
• Nginx:高性能的Web服务器和反向代理,支持负载均衡
• HAProxy:专注于负载均衡和高可用性的开源软件
• LVS (Linux Virtual Server):内核级的负载均衡解决方案
• Keepalived:主要用于高可用性,常与LVS配合使用
• Pacemaker/Corosync:功能丰富的高可用集群管理器
2. 准备工作
在开始配置负载均衡之前,需要进行一些准备工作,确保环境满足要求。
2.1 系统要求
• 至少两台CentOS服务器(一台作为负载均衡器,其他作为后端服务器)
• 所有服务器配置固定IP地址
• 确保所有服务器可以相互通信
• 具有sudo权限的用户账户
2.2 网络拓扑规划
规划网络拓扑是配置负载均衡的重要步骤。基本的负载均衡架构通常包括:
• 负载均衡器(前端):接收客户端请求并分发到后端服务器
• 后端服务器:实际处理请求的服务器
• 共享存储(可选):如果需要会话持久性或共享数据
2.3 安装必要的软件
在负载均衡器和后端服务器上安装必要的软件:
- # 更新系统
- sudo yum update -y
- # 安装EPEL仓库(如果使用HAProxy或Keepalived)
- sudo yum install epel-release -y
- # 安装Nginx(如果选择Nginx作为负载均衡器)
- sudo yum install nginx -y
- # 安装HAProxy(如果选择HAProxy作为负载均衡器)
- sudo yum install haproxy -y
- # 安装Keepalived(如果需要高可用性)
- sudo yum install keepalived -y
复制代码
3. 基础负载均衡配置
3.1 使用Nginx配置负载均衡
Nginx是一个流行的Web服务器和反向代理,也可以作为高效的负载均衡器使用。
编辑Nginx配置文件/etc/nginx/nginx.conf:
- user nginx;
- worker_processes auto;
- error_log /var/log/nginx/error.log;
- pid /run/nginx.pid;
- events {
- worker_connections 1024;
- }
- http {
- log_format main '$remote_addr - $remote_user [$time_local] "$request" '
- '$status $body_bytes_sent "$http_referer" '
- '"$http_user_agent" "$http_x_forwarded_for"';
- access_log /var/log/nginx/access.log main;
- sendfile on;
- tcp_nopush on;
- tcp_nodelay on;
- keepalive_timeout 65;
- types_hash_max_size 2048;
- include /etc/nginx/mime.types;
- default_type application/octet-stream;
- # 定义后端服务器组
- upstream backend {
- server backend1.example.com weight=5;
- server backend2.example.com;
- server backend3.example.com;
- }
- server {
- listen 80;
- server_name loadbalancer.example.com;
- location / {
- proxy_pass http://backend;
- proxy_set_header Host $host;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- }
- }
- }
复制代码
在这个配置中:
• upstream块定义了后端服务器组
• server指令指定了后端服务器的地址
• weight参数用于控制负载分配的权重
• proxy_pass指令将请求转发到后端服务器组
Nginx支持多种负载均衡方法:
轮询(默认):每个请求按时间顺序逐一分配到不同的后端服务器
- upstream backend {
- server backend1.example.com;
- server backend2.example.com;
- server backend3.example.com;
- }
复制代码
最少连接:请求被分配到当前连接数最少的服务器
- upstream backend {
- least_conn;
- server backend1.example.com;
- server backend2.example.com;
- server backend3.example.com;
- }
复制代码
IP哈希:基于客户端IP地址的哈希结果分配请求,确保来自同一客户端的请求始终转发到同一服务器
- upstream backend {
- ip_hash;
- server backend1.example.com;
- server backend2.example.com;
- server backend3.example.com;
- }
复制代码
加权轮询:根据服务器权重分配请求
- upstream backend {
- server backend1.example.com weight=5;
- server backend2.example.com weight=3;
- server backend3.example.com weight=2;
- }
复制代码
Nginx可以通过被动健康检查监控后端服务器的状态:
- upstream backend {
- server backend1.example.com max_fails=3 fail_timeout=30s;
- server backend2.example.com max_fails=3 fail_timeout=30s;
- server backend3.example.com max_fails=3 fail_timeout=30s;
- }
复制代码
在这个配置中:
• max_fails:设置在fail_timeout时间内允许的最大失败次数
• fail_timeout:服务器被标记为不可用的时间
- # 检查Nginx配置文件语法
- sudo nginx -t
- # 启动Nginx服务
- sudo systemctl start nginx
- # 设置Nginx开机自启
- sudo systemctl enable nginx
- # 查看Nginx状态
- sudo systemctl status nginx
复制代码
3.2 使用HAProxy配置负载均衡
HAProxy是另一个流行的开源负载均衡器,特别适合高可用性环境。
编辑HAProxy配置文件/etc/haproxy/haproxy.cfg:
- # 全局设置
- global
- log 127.0.0.1 local2
- chroot /var/lib/haproxy
- pidfile /var/run/haproxy.pid
- maxconn 4000
- user haproxy
- group haproxy
- daemon
- # 启用统计页面
- stats socket /var/lib/haproxy/stats
- # 默认设置
- defaults
- mode http
- log global
- option httplog
- option dontlognull
- option http-server-close
- option forwardfor except 127.0.0.0/8
- option redispatch
- retries 3
- timeout http-request 10s
- timeout queue 1m
- timeout connect 10s
- timeout client 1m
- timeout server 1m
- timeout http-keep-alive 10s
- timeout check 10s
- maxconn 3000
- # 前端配置,接收客户端请求
- frontend main
- bind *:80
- acl url_static path_beg -i /static /images /javascript /stylesheets
- acl url_static path_end -i .jpg .gif .png .css .js
- use_backend static if url_static
- default_backend app
- # 静态文件后端
- backend static
- balance roundrobin
- server static1 192.168.1.10:80 check
- server static2 192.168.1.11:80 check
- # 应用后端
- backend app
- balance roundrobin
- server app1 192.168.1.20:80 check
- server app2 192.168.1.21:80 check
- server app3 192.168.1.22:80 check
- # 统计页面配置
- listen stats
- bind *:8080
- stats enable
- stats uri /stats
- stats refresh 30s
- stats auth admin:password
- stats hide-version
复制代码
在这个配置中:
• frontend部分定义了HAProxy监听的客户端连接
• backend部分定义了后端服务器组
• balance指令指定了负载均衡算法
• check参数启用对后端服务器的健康检查
• listen stats部分配置了统计页面,可以监控HAProxy状态
HAProxy支持多种负载均衡算法:
roundrobin:简单的轮询算法,每个服务器按顺序接收请求
- backend app
- balance roundrobin
- server app1 192.168.1.20:80
- server app2 192.168.1.21:80
- server app3 192.168.1.22:80
复制代码
leastconn:将新连接分配到当前连接数最少的服务器
- backend app
- balance leastconn
- server app1 192.168.1.20:80
- server app2 192.168.1.21:80
- server app3 192.168.1.22:80
复制代码
source:基于客户端源IP的哈希,确保来自同一客户端的请求始终发送到同一服务器
- backend app
- balance source
- server app1 192.168.1.20:80
- server app2 192.168.1.21:80
- server app3 192.168.1.22:80
复制代码
uri:基于请求URI的哈希
- backend app
- balance uri
- server app1 192.168.1.20:80
- server app2 192.168.1.21:80
- server app3 192.168.1.22:80
复制代码
HAProxy提供灵活的健康检查配置:
- backend app
- balance roundrobin
-
- # 基本健康检查
- server app1 192.168.1.20:80 check
-
- # 自定义健康检查间隔和超时
- server app2 192.168.1.21:80 check inter 10s rise 2 fall 3
-
- # 自定义健康检查URI
- server app3 192.168.1.22:80 check port 8080
-
- # 高级健康检查
- option httpchk GET /health
- http-check expect status 200
复制代码
在这个配置中:
• check:启用基本健康检查
• inter:设置健康检查间隔
• rise:服务器被认为健康的连续成功检查次数
• fall:服务器被认为不健康的连续失败检查次数
• option httpchk:自定义HTTP健康检查方法
• http-check expect:定义健康检查的期望响应
- # 检查HAProxy配置文件语法
- sudo haproxy -c -f /etc/haproxy/haproxy.cfg
- # 启动HAProxy服务
- sudo systemctl start haproxy
- # 设置HAProxy开机自启
- sudo systemctl enable haproxy
- # 查看HAProxy状态
- sudo systemctl status haproxy
复制代码
3.3 使用LVS配置负载均衡
Linux Virtual Server (LVS) 是一个内核级的负载均衡解决方案,提供高性能的服务器负载均衡。
- # 安装ipvsadm工具
- sudo yum install ipvsadm -y
- # 加载必要的内核模块
- sudo modprobe ip_vs
复制代码
LVS Director是接收客户端请求并将其转发到后端服务器的负载均衡器。
- # 创建虚拟服务
- sudo ipvsadm -A -t 192.168.1.100:80 -s rr
- # 添加真实服务器
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -g
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.21:80 -g
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.22:80 -g
- # 保存配置
- sudo ipvsadm-save > /etc/sysconfig/ipvsadm
复制代码
在这个配置中:
• -A:添加虚拟服务
• -t:指定TCP虚拟服务
• -s:指定调度算法(rr表示轮询)
• -a:添加真实服务器到虚拟服务
• -r:指定真实服务器
• -g:使用直接路由(DR)模式
LVS支持多种调度算法:
轮询调度(rr):按顺序将请求分配给每个真实服务器
- sudo ipvsadm -A -t 192.168.1.100:80 -s rr
复制代码
加权轮询(wrr):根据服务器权重分配请求
- sudo ipvsadm -A -t 192.168.1.100:80 -s wrr
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -g -w 3
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.21:80 -g -w 2
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.22:80 -g -w 1
复制代码
最少连接(lc):将新请求分配到当前连接数最少的服务器
- sudo ipvsadm -A -t 192.168.1.100:80 -s lc
复制代码
加权最少连接(wlc):考虑服务器权重的最少连接调度
- sudo ipvsadm -A -t 192.168.1.100:80 -s wlc
复制代码
基于位置的调度(lblc):将来自同一客户端IP的请求分配到同一服务器
- sudo ipvsadm -A -t 192.168.1.100:80 -s lblc
复制代码
LVS支持三种工作模式:
直接路由(DR):性能最高,但要求Director和Real Server在同一网络段
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -g
复制代码
NAT模式:Director修改请求和响应数据包的目标和源地址
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -m
复制代码
隧道模式:通过IP隧道将请求转发到Real Server
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -i
复制代码
在LVS的DR模式下,需要在Real Server上进行一些配置:
- # 在Real Server上配置虚拟IP
- sudo ip addr add 192.168.1.100/32 dev lo
- # 禁用ARP响应
- echo "1" | sudo tee /proc/sys/net/ipv4/conf/all/arp_ignore
- echo "2" | sudo tee /proc/sys/net/ipv4/conf/all/arp_announce
- echo "1" | sudo tee /proc/sys/net/ipv4/conf/lo/arp_ignore
- echo "2" | sudo tee /proc/sys/net/ipv4/conf/lo/arp_announce
复制代码- # 启动ipvsadm服务
- sudo systemctl start ipvsadm
- # 设置ipvsadm开机自启
- sudo systemctl enable ipvsadm
- # 查看LVS状态
- sudo ipvsadm -L -n
- # 清除LVS配置
- sudo ipvsadm -C
复制代码
4. 高级负载均衡策略
4.1 会话持久性
会话持久性确保来自同一用户的请求始终被发送到同一服务器,这对于需要维护用户状态的应用程序非常重要。
Nginx提供了几种实现会话持久性的方法:
IP哈希方法:
- upstream backend {
- ip_hash;
- server backend1.example.com;
- server backend2.example.com;
- server backend3.example.com;
- }
复制代码
Cookie方法:
- upstream backend {
- server backend1.example.com;
- server backend2.example.com;
- server backend3.example.com;
-
- sticky cookie srv_id expires=1h domain=.example.com path=/;
- }
复制代码
基于路由的方法:
- upstream backend {
- server backend1.example.com route=a;
- server backend2.example.com route=b;
- server backend3.example.com route=c;
-
- sticky route $route_cookie $route_uri;
- }
复制代码
HAProxy也提供了多种会话持久性方法:
基于源IP的持久性:
- backend app
- balance source
- server app1 192.168.1.20:80
- server app2 192.168.1.21:80
- server app3 192.168.1.22:80
复制代码
基于Cookie的持久性:
- backend app
- balance roundrobin
- cookie SERVERID insert indirect nocache
- server app1 192.168.1.20:80 cookie app1
- server app2 192.168.1.21:80 cookie app2
- server app3 192.168.1.22:80 cookie app3
复制代码
基于应用程序的持久性:
- backend app
- balance roundrobin
- appsession JSESSIONID len 64 timeout 3h request-learn
- server app1 192.168.1.20:80
- server app2 192.168.1.21:80
- server app3 192.168.1.22:80
复制代码
LVS提供了持久性服务模板来实现会话持久性:
- # 创建持久性服务模板
- sudo ipvsadm -A -t 192.168.1.100:80 -s rr -p 300
- # 添加真实服务器
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.20:80 -g
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.21:80 -g
- sudo ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.22:80 -g
复制代码
在这个配置中,-p 300设置持久性超时时间为300秒。
4.2 SSL/TLS终止
SSL/TLS终止是在负载均衡器上解密HTTPS流量,然后将未加密的HTTP流量转发到后端服务器。这可以减轻后端服务器的加密/解密负担。
- http {
- # SSL配置
- ssl_certificate /etc/nginx/ssl/example.com.crt;
- ssl_certificate_key /etc/nginx/ssl/example.com.key;
- ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
- ssl_ciphers HIGH:!aNULL:!MD5;
- ssl_prefer_server_ciphers on;
- upstream backend {
- server backend1.example.com;
- server backend2.example.com;
- server backend3.example.com;
- }
- server {
- listen 80;
- server_name example.com;
- return 301 https://$host$request_uri;
- }
- server {
- listen 443 ssl;
- server_name example.com;
- location / {
- proxy_pass http://backend;
- proxy_set_header Host $host;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- proxy_set_header X-Forwarded-Proto $scheme;
- }
- }
- }
复制代码- frontend main
- bind *:80
- bind *:443 ssl crt /etc/ssl/certs/example.com.pem
-
- # 重定向HTTP到HTTPS
- redirect scheme https if !{ ssl_fc }
-
- default_backend app
- backend app
- balance roundrobin
- server app1 192.168.1.20:80 check
- server app2 192.168.1.21:80 check
- server app3 192.168.1.22:80 check
复制代码
如果你没有SSL证书,可以使用Let’s Encrypt免费获取:
- # 安装Certbot
- sudo yum install certbot -y
- # 获取证书
- sudo certbot certonly --standalone -d example.com -d www.example.com
- # 配置证书路径
- # Nginx:
- ssl_certificate /etc/letsencrypt/live/example.com/fullchain.pem;
- ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
- # HAProxy:
- # 需要将证书和私钥合并为一个PEM文件
- cat /etc/letsencrypt/live/example.com/fullchain.pem /etc/letsencrypt/live/example.com/privkey.pem > /etc/ssl/certs/example.com.pem
复制代码
4.3 内容缓存
内容缓存可以显著提高网站性能,减少后端服务器的负载。
- http {
- # 设置缓存路径和参数
- proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
- server {
- listen 80;
- server_name example.com;
- # 启用缓存
- proxy_cache my_cache;
- proxy_cache_valid 200 302 10m;
- proxy_cache_valid 404 1m;
- proxy_cache_key "$scheme$request_method$host$request_uri";
-
- # 添加缓存状态头
- add_header X-Proxy-Cache $upstream_cache_status;
- location / {
- proxy_pass http://backend;
- proxy_set_header Host $host;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- }
- }
- }
复制代码
HAProxy本身不提供内容缓存功能,但可以与Varnish等缓存服务器配合使用:
- frontend main
- bind *:80
- default_backend varnish
- backend varnish
- balance roundrobin
- server varnish1 192.168.1.30:80 check
- server varnish2 192.168.1.31:80 check
- backend app
- balance roundrobin
- server app1 192.168.1.20:80 check
- server app2 192.168.1.21:80 check
- server app3 192.168.1.22:80 check
复制代码
4.4 请求限制和速率控制
请求限制和速率控制可以防止滥用和DDoS攻击,保护后端服务器。
- http {
- # 定义限制区域
- limit_req_zone $binary_remote_addr zone=login:10m rate=10r/m;
- limit_req_zone $binary_remote_addr zone=api:10m rate=100r/s;
- server {
- listen 80;
- server_name example.com;
- location /login/ {
- # 应用限制
- limit_req zone=login burst=20 nodelay;
- proxy_pass http://backend;
- }
- location /api/ {
- # 应用限制
- limit_req zone=api burst=200 nodelay;
- proxy_pass http://backend;
- }
- }
- }
复制代码- frontend main
- bind *:80
-
- # 创建ACL
- acl path_login path_beg /login/
- acl path_api path_beg /api/
-
- # 应用限制
- http-request track-sc0 src
- http-request deny if path_login { sc0_inc_gpc0 > 10 }
- http-request deny if path_api { sc0_inc_gpc0 > 100 }
-
- default_backend app
复制代码
4.5 自定义负载均衡算法
在某些情况下,可能需要实现自定义的负载均衡算法,以满足特定的业务需求。
Nginx允许通过第三方模块或Lua脚本实现自定义负载均衡算法:
- http {
- # 加载Lua模块
- lua_package_path "/etc/nginx/lua/?.lua;;";
- upstream backend {
- server backend1.example.com;
- server backend2.example.com;
- server backend3.example.com;
-
- # 使用Lua脚本实现自定义负载均衡
- balancer_by_lua_block {
- local balancer = require "ngx.balancer"
-
- -- 自定义负载均衡逻辑
- local servers = {"backend1.example.com", "backend2.example.com", "backend3.example.com"}
- local selected_server = servers[math.random(1, #servers)]
-
- -- 设置选中的服务器
- local ok, err = balancer.set_current_peer(selected_server)
- if not ok then
- ngx.log(ngx.ERR, "failed to set the current peer: ", err)
- return ngx.exit(500)
- end
- }
- }
- }
复制代码
HAProxy可以通过Lua脚本实现自定义负载均衡算法:
- global
- lua-load /etc/haproxy/custom_balancer.lua
- backend app
- balance lua
- lua-load balance
- server app1 192.168.1.20:80
- server app2 192.168.1.21:80
- server app3 192.168.1.22:80
复制代码
对应的Lua脚本custom_balancer.lua:
- -- custom_balancer.lua
- core.register_service("balance", "tcp", function(applet)
- -- 获取后端服务器列表
- local servers = {"app1", "app2", "app3"}
-
- -- 自定义负载均衡逻辑
- local selected_server = servers[math.random(1, #servers)]
-
- -- 返回选中的服务器
- applet:set_var("server", selected_server)
- end)
复制代码
5. 高可用性配置
高可用性是负载均衡架构的重要组成部分,确保即使负载均衡器本身出现故障,服务也不会中断。
5.1 使用Keepalived实现负载均衡器高可用
Keepalived是一个简单而强大的高可用性解决方案,通常与LVS或Nginx/HAProxy配合使用。
- # 安装Keepalived
- sudo yum install keepalived -y
- # 启动Keepalived服务
- sudo systemctl start keepalived
- # 设置Keepalived开机自启
- sudo systemctl enable keepalived
复制代码
编辑/etc/keepalived/keepalived.conf:
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- admin@example.com
- }
- notification_email_from lb@example.com
- smtp_server localhost
- smtp_connect_timeout 30
- router_id LB_PRIMARY
- }
- vrrp_script chk_nginx {
- script "killall -0 nginx"
- interval 2
- weight -20
- }
- vrrp_instance VI_1 {
- state MASTER
- interface eth0
- virtual_router_id 51
- priority 100
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.1.100
- }
- track_script {
- chk_nginx
- }
- notify_master "/etc/keepalived/scripts/master.sh"
- notify_backup "/etc/keepalived/scripts/backup.sh"
- notify_fault "/etc/keepalived/scripts/fault.sh"
- }
复制代码
在备用负载均衡器上编辑/etc/keepalived/keepalived.conf:
- ! Configuration File for keepalived
- global_defs {
- notification_email {
- admin@example.com
- }
- notification_email_from lb@example.com
- smtp_server localhost
- smtp_connect_timeout 30
- router_id LB_BACKUP
- }
- vrrp_script chk_nginx {
- script "killall -0 nginx"
- interval 2
- weight -20
- }
- vrrp_instance VI_1 {
- state BACKUP
- interface eth0
- virtual_router_id 51
- priority 90
- advert_int 1
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.1.100
- }
- track_script {
- chk_nginx
- }
- notify_master "/etc/keepalived/scripts/master.sh"
- notify_backup "/etc/keepalived/scripts/backup.sh"
- notify_fault "/etc/keepalived/scripts/fault.sh"
- }
复制代码
创建通知脚本目录和文件:
- sudo mkdir -p /etc/keepalived/scripts
- # 创建master.sh
- sudo tee /etc/keepalived/scripts/master.sh > /dev/null <<EOF
- #!/bin/bash
- echo "Keepalived is now MASTER" | logger -t keepalived
- EOF
- # 创建backup.sh
- sudo tee /etc/keepalived/scripts/backup.sh > /dev/null <<EOF
- #!/bin/bash
- echo "Keepalived is now BACKUP" | logger -t keepalived
- EOF
- # 创建fault.sh
- sudo tee /etc/keepalived/scripts/fault.sh > /dev/null <<EOF
- #!/bin/bash
- echo "Keepalived is in FAULT state" | logger -t keepalived
- EOF
- # 设置脚本可执行权限
- sudo chmod +x /etc/keepalived/scripts/*.sh
复制代码- # 启动Keepalived服务
- sudo systemctl start keepalived
- # 设置Keepalived开机自启
- sudo systemctl enable keepalived
- # 查看Keepalived状态
- sudo systemctl status keepalived
- # 查看虚拟IP
- ip addr show
复制代码
5.2 使用Pacemaker和Corosync实现高可用集群
Pacemaker和Corosync是一个功能强大的高可用集群管理解决方案,适合复杂的负载均衡环境。
- # 安装Pacemaker和Corosync
- sudo yum install pacemaker corosync fence-agents-all -y
- # 启动Pacemaker服务
- sudo systemctl start pacemaker
- # 设置Pacemaker开机自启
- sudo systemctl enable pacemaker
复制代码
编辑/etc/corosync/corosync.conf:
- totem {
- version: 2
- cluster_name: ha_cluster
- transport: udpu
- interface {
- ringnumber: 0
- bindnetaddr: 192.168.1.0
- mcastport: 5405
- }
- }
- nodelist {
- node {
- ring0_addr: 192.168.1.10
- name: node1
- nodeid: 1
- }
- node {
- ring0_addr: 192.168.1.11
- name: node2
- nodeid: 2
- }
- }
- quorum {
- provider: corosync_votequorum
- two_node: 1
- }
- logging {
- to_logfile: yes
- logfile: /var/log/cluster/corosync.log
- to_syslog: yes
- }
复制代码- # 启动Corosync服务
- sudo systemctl start corosync
- # 设置Corosync开机自启
- sudo systemctl enable corosync
- # 查看Corosync状态
- sudo corosync-cfgtool -s
- sudo corosync-cmapctl | grep members
复制代码
使用crm工具配置Pacemaker:
- # 禁用STONITH(在测试环境中)
- sudo crm configure property stonith-enabled=false
- # 配置虚拟IP资源
- sudo crm configure primitive vip ocf:heartbeat:IPaddr2 \
- params ip=192.168.1.100 cidr_netmask=24 \
- op monitor interval=30s
- # 配置Nginx资源
- sudo crm configure primitive nginx lsb:nginx \
- op monitor interval=30s
- # 配置资源组
- sudo crm configure group lb-group vip nginx
- # 配置资源约束
- sudo crm configure colocation lb-group-with-vip inf: lb-group vip
- sudo crm configure order lb-group-after-vip mandatory: vip lb-group
- # 查看配置
- sudo crm configure show
复制代码- # 查看集群状态
- sudo crm status
- # 查看资源状态
- sudo crm resource status
- # 停止资源
- sudo crm resource stop nginx
- # 启动资源
- sudo crm resource start nginx
- # 迁移资源到特定节点
- sudo crm resource migrate nginx node1
- # 清除资源迁移约束
- sudo crm resource unmigrate nginx
复制代码
5.3 使用Heartbeat实现高可用性
Heartbeat是另一个流行的高可用性解决方案,虽然较老但在某些环境中仍然使用。
- # 安装Heartbeat
- sudo yum install heartbeat -y
- # 启动Heartbeat服务
- sudo systemctl start heartbeat
- # 设置Heartbeat开机自启
- sudo systemctl enable heartbeat
复制代码
编辑/etc/ha.d/ha.cf:
- logfile /var/log/ha-log
- logfacility local0
- keepalive 2
- deadtime 30
- warntime 10
- initdead 120
- udpport 694
- ucast eth0 192.168.1.11
- auto_failback on
- node node1.example.com
- node node2.example.com
- ping 192.168.1.1
- respawn hacluster /usr/lib/heartbeat/ipfail
- apiauth ipfail gid=haclient uid=hacluster
复制代码
编辑/etc/ha.d/authkeys:
- auth 1
- 1 sha1 YourSecretKey
复制代码
编辑/etc/ha.d/haresources:
- node1.example.com 192.168.1.100/24/eth0 nginx
复制代码- # 设置authkeys文件权限
- sudo chmod 600 /etc/ha.d/authkeys
- # 启动Heartbeat服务
- sudo systemctl start heartbeat
- # 设置Heartbeat开机自启
- sudo systemctl enable heartbeat
- # 查看Heartbeat状态
- sudo systemctl status heartbeat
- # 查看虚拟IP
- ip addr show
复制代码
6. 性能监控与优化
6.1 负载均衡性能监控
监控负载均衡器的性能对于确保系统稳定运行至关重要。
Nginx提供了状态模块,可以显示Nginx的基本状态信息:
- http {
- server {
- listen 80;
- server_name status.example.com;
- location /nginx_status {
- stub_status on;
- access_log off;
- allow 192.168.1.0/24;
- deny all;
- }
- }
- }
复制代码
访问http://status.example.com/nginx_status将显示类似以下内容:
- Active connections: 291
- server accepts handled requests
- 16630948 16630948 31070465
- Reading: 6 Writing: 179 Waiting: 106
复制代码
HAProxy提供了详细的统计页面:
- listen stats
- bind *:8080
- stats enable
- stats uri /stats
- stats refresh 30s
- stats auth admin:password
- stats hide-version
- stats admin if TRUE
复制代码
访问http://loadbalancer.example.com:8080/stats将显示HAProxy的详细统计信息。
LVS提供了基本的统计信息:
- # 查看LVS连接统计
- sudo ipvsadm -L -n --stats
- # 查看LVS连接率统计
- sudo ipvsadm -L -n --rate
- # 查看LVS持久连接统计
- sudo ipvsadm -L -n --persistent-conn
复制代码
使用系统监控工具监控负载均衡器的资源使用情况:
- # 安装监控工具
- sudo yum install sysstat htop -y
- # 查看CPU使用情况
- top
- htop
- sudo mpstat 1 5
- # 查看内存使用情况
- free -h
- sudo vmstat 1 5
- # 查看网络连接
- sudo netstat -anp
- sudo ss -anp
- # 查看网络流量
- sudo iftop -nNP
- sudo nload
复制代码
6.2 日志分析
日志分析是了解负载均衡器性能和问题的重要手段。
- http {
- log_format main '$remote_addr - $remote_user [$time_local] "$request" '
- '$status $body_bytes_sent "$http_referer" '
- '"$http_user_agent" "$http_x_forwarded_for" '
- 'rt=$request_time uct="$upstream_connect_time" '
- 'uht="$upstream_header_time" urt="$upstream_response_time"';
-
- access_log /var/log/nginx/access.log main;
- error_log /var/log/nginx/error.log warn;
- }
复制代码- global
- log /dev/log local0 info
- log /dev/log local1 notice
- defaults
- log global
- option httplog
- option dontlognull
复制代码
配置rsyslog以处理HAProxy日志:
- # 编辑/etc/rsyslog.d/haproxy.conf
- sudo tee /etc/rsyslog.d/haproxy.conf > /dev/null <<EOF
- $AddUnixListenSocket /var/lib/haproxy/dev/log
- local0.* -/var/log/haproxy/haproxy.log
- local1.* -/var/log/haproxy/haproxy-alert.log
- & ~
- EOF
- # 重启rsyslog服务
- sudo systemctl restart rsyslog
复制代码
使用日志分析工具处理负载均衡器日志:
- # 安装GoAccess
- sudo yum install goaccess -y
- # 分析Nginx访问日志
- sudo goaccess /var/log/nginx/access.log -c
- # 实时分析Nginx访问日志
- sudo goaccess /var/log/nginx/access.log -c --real-time-html
- # 分析HAProxy日志
- sudo goaccess /var/log/haproxy/haproxy.log -c --log-format=HAProxy
复制代码
6.3 性能优化
优化负载均衡器的配置可以显著提高性能。
- user nginx;
- worker_processes auto; # 根据CPU核心数自动设置工作进程数
- worker_rlimit_nofile 100000; # 增加文件描述符限制
- events {
- worker_connections 4096; # 增加每个工作进程的连接数
- multi_accept on; # 允许一个工作进程同时接受多个新连接
- use epoll; # 使用高效的epoll事件模型
- }
- http {
- # 基本优化
- sendfile on;
- tcp_nopush on;
- tcp_nodelay on;
- keepalive_timeout 30;
- keepalive_requests 1000;
- reset_timedout_connection on;
-
- # 缓冲区优化
- client_body_buffer_size 128k;
- client_max_body_size 10m;
- client_header_buffer_size 1k;
- large_client_header_buffers 4 4k;
- output_buffers 1 32k;
- postpone_output 1460;
-
- # Gzip压缩
- gzip on;
- gzip_vary on;
- gzip_proxied any;
- gzip_comp_level 6;
- gzip_buffers 16 8k;
- gzip_http_version 1.1;
- gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
-
- # SSL优化
- ssl_session_cache shared:SSL:10m;
- ssl_session_timeout 10m;
- ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
- ssl_ciphers 'ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256';
- ssl_prefer_server_ciphers on;
- ssl_stapling on;
- ssl_stapling_verify on;
-
- # 上游服务器优化
- upstream backend {
- server backend1.example.com max_fails=3 fail_timeout=30s;
- server backend2.example.com max_fails=3 fail_timeout=30s;
- server backend3.example.com max_fails=3 fail_timeout=30s;
- keepalive 32; # 保持与上游服务器的连接
- }
-
- server {
- listen 80;
- server_name example.com;
-
- location / {
- proxy_pass http://backend;
- proxy_http_version 1.1;
- proxy_set_header Connection "";
- proxy_connect_timeout 5s;
- proxy_send_timeout 60s;
- proxy_read_timeout 60s;
- proxy_buffering on;
- proxy_buffer_size 4k;
- proxy_buffers 8 4k;
- proxy_busy_buffers_size 8k;
- }
- }
- }
复制代码- global
- # 基本设置
- chroot /var/lib/haproxy
- stats socket /var/lib/haproxy/stats level admin
- maxconn 100000
- user haproxy
- group haproxy
- daemon
- nbproc 1 # 根据CPU核心数调整
-
- # 性能优化
- tune.ssl.default-dh-param 2048
- ssl-default-bind-ciphers ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256
- ssl-default-bind-options no-sslv3 no-tlsv10 no-tlsv11
- tune.bufsize 32768
- tune.maxrewrite 1024
- tune.chksize 2048
- defaults
- # 基本设置
- mode http
- log global
- option httplog
- option dontlognull
- option http-server-close
- option forwardfor except 127.0.0.0/8
- option redispatch
- retries 3
-
- # 超时设置
- timeout http-request 10s
- timeout queue 1m
- timeout connect 10s
- timeout client 1m
- timeout server 1m
- timeout http-keep-alive 10s
- timeout check 10s
- maxconn 30000
- frontend main
- bind *:80
- bind *:443 ssl crt /etc/ssl/certs/example.com.pem alpn h2,http/1.1
- http-request track-sc0 src
- http-request track-sc1 hdr_beg(User-Agent) -i bot crawler spider
- default_backend app
- backend app
- balance roundrobin
- cookie SERVERID insert indirect nocache
- option httpchk GET /health
- http-check expect status 200
- server app1 192.168.1.20:80 cookie app1 check maxconn 10000
- server app2 192.168.1.21:80 cookie app2 check maxconn 10000
- server app3 192.168.1.22:80 cookie app3 check maxconn 10000
复制代码- # 调整内核参数以优化LVS性能
- echo "net.ipv4.ip_forward = 1" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.conf.all.send_redirects = 0" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.conf.default.send_redirects = 0" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.conf.eth0.send_redirects = 0" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.conf.all.arp_ignore = 1" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.conf.all.arp_announce = 2" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.conf.all.rp_filter = 0" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.conf.default.rp_filter = 0" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.conf.eth0.rp_filter = 0" | sudo tee -a /etc/sysctl.conf
- # 应用内核参数
- sudo sysctl -p
- # 增加连接跟踪表大小
- echo "net.netfilter.nf_conntrack_max = 1000000" | sudo tee -a /etc/sysctl.conf
- echo "net.netfilter.nf_conntrack_tcp_timeout_established = 300" | sudo tee -a /etc/sysctl.conf
- echo "net.netfilter.nf_conntrack_tcp_timeout_time_wait = 1" | sudo tee -a /etc/sysctl.conf
- echo "net.netfilter.nf_conntrack_tcp_timeout_close_wait = 10" | sudo tee -a /etc/sysctl.conf
- echo "net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 10" | sudo tee -a /etc/sysctl.conf
- # 应用内核参数
- sudo sysctl -p
- # 优化LVS参数
- sudo ipvsadm --set 30 5 60
复制代码- # 增加文件描述符限制
- echo "* soft nofile 100000" | sudo tee -a /etc/security/limits.conf
- echo "* hard nofile 100000" | sudo tee -a /etc/security/limits.conf
- # 调整网络参数
- echo "net.core.rmem_max = 16777216" | sudo tee -a /etc/sysctl.conf
- echo "net.core.wmem_max = 16777216" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.tcp_rmem = 4096 87380 16777216" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.tcp_wmem = 4096 65536 16777216" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.tcp_fin_timeout = 30" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.tcp_keepalive_time = 1200" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.tcp_max_syn_backlog = 8192" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.tcp_syncookies = 1" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.tcp_tw_reuse = 1" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.tcp_tw_recycle = 0" | sudo tee -a /etc/sysctl.conf
- echo "net.ipv4.ip_local_port_range = 1024 65535" | sudo tee -a /etc/sysctl.conf
- # 应用内核参数
- sudo sysctl -p
复制代码
7. 故障排除与维护
7.1 常见问题及解决方案
问题:Nginx/HAProxy/LVS启动失败
解决方案:
- # 检查配置文件语法
- sudo nginx -t
- sudo haproxy -c -f /etc/haproxy/haproxy.cfg
- # 检查端口占用
- sudo netstat -tlnp | grep :80
- sudo ss -tlnp | grep :80
- # 检查日志文件
- sudo tail -f /var/log/nginx/error.log
- sudo tail -f /var/log/haproxy/haproxy.log
- sudo journalctl -u nginx
- sudo journalctl -u haproxy
复制代码
问题:负载均衡器标记后端服务器为不可用
解决方案:
- # 手动测试后端服务器
- curl -I http://backend-server/health
- # 检查防火墙设置
- sudo iptables -L -n
- sudo firewall-cmd --list-all
- # 检查后端服务器日志
- sudo tail -f /var/log/nginx/access.log
- sudo tail -f /var/log/httpd/access_log
- # 检查网络连接
- telnet backend-server 80
- nc -zv backend-server 80
复制代码
问题:用户的请求被分发到不同的后端服务器
解决方案:
- # 检查负载均衡器配置
- sudo grep -A 10 -B 5 "ip_hash\|sticky\|balance source" /etc/nginx/nginx.conf
- sudo grep -A 10 -B 5 "cookie\|balance source\|appsession" /etc/haproxy/haproxy.cfg
- # 检查客户端IP是否变化
- echo $REMOTE_ADDR
- echo $HTTP_X_FORWARDED_FOR
- # 检查Cookie设置
- curl -I -b /dev/null -c /tmp/cookies http://example.com/
- cat /tmp/cookies
复制代码
问题:负载均衡器响应缓慢或高CPU使用率
解决方案:
- # 检查系统资源使用情况
- top
- htop
- free -h
- iostat 1 5
- # 检查网络连接数
- sudo netstat -an | grep :80 | wc -l
- sudo ss -an | grep :80 | wc -l
- # 检查负载均衡器状态
- curl http://localhost/nginx_status
- curl http://localhost:8080/stats
- # 检查日志中的错误
- sudo grep -i error /var/log/nginx/error.log | tail -20
- sudo grep -i error /var/log/haproxy/haproxy.log | tail -20
复制代码
7.2 维护任务
定期维护是确保负载均衡器稳定运行的关键。
- # 创建备份目录
- sudo mkdir -p /backup/nginx /backup/haproxy /backup/lvs
- # 备份Nginx配置
- sudo cp -r /etc/nginx/* /backup/nginx/
- sudo tar -czf /backup/nginx-$(date +%Y%m%d).tar.gz -C /etc nginx
- # 备份HAProxy配置
- sudo cp -r /etc/haproxy/* /backup/haproxy/
- sudo tar -czf /backup/haproxy-$(date +%Y%m%d).tar.gz -C /etc haproxy
- # 备份LVS配置
- sudo ipvsadm-save > /backup/lvs/ipvsadm-$(date +%Y%m%d).conf
- sudo crontab -l > /backup/crontab-$(date +%Y%m%d).txt
复制代码- # 创建Nginx日志轮转配置
- sudo tee /etc/logrotate.d/nginx > /dev/null <<EOF
- /var/log/nginx/*.log {
- daily
- missingok
- rotate 52
- compress
- delaycompress
- notifempty
- create 640 nginx adm
- sharedscripts
- postrotate
- if [ -f /var/run/nginx.pid ]; then
- kill -USR1 `cat /var/run/nginx.pid`
- fi
- endscript
- }
- EOF
- # 创建HAProxy日志轮转配置
- sudo tee /etc/logrotate.d/haproxy > /dev/null <<EOF
- /var/log/haproxy/*.log {
- daily
- missingok
- rotate 52
- compress
- delaycompress
- notifempty
- create 640 haproxy adm
- sharedscripts
- postrotate
- if [ -f /var/run/haproxy.pid ]; then
- kill -USR1 `cat /var/run/haproxy.pid`
- fi
- endscript
- }
- EOF
- # 测试日志轮转
- sudo logrotate -f /etc/logrotate.d/nginx
- sudo logrotate -f /etc/logrotate.d/haproxy
复制代码
创建自动化维护脚本:
- # 创建维护脚本目录
- sudo mkdir -p /usr/local/bin/lb-maintenance
- # 创建主维护脚本
- sudo tee /usr/local/bin/lb-maintenance/daily.sh > /dev/null <<EOF
- #!/bin/bash
- # 每日维护脚本
- LOG_FILE="/var/log/lb-maintenance.log"
- DATE=\$(date +%Y-%m-%d)
- echo "===== Starting daily maintenance at \$(date) =====" >> \$LOG_FILE
- # 备份配置
- echo "Backing up configurations..." >> \$LOG_FILE
- mkdir -p /backup/lb/\$DATE
- cp -r /etc/nginx/* /backup/lb/\$DATE/nginx/
- cp -r /etc/haproxy/* /backup/lb/\$DATE/haproxy/
- ipvsadm-save > /backup/lb/\$DATE/ipvsadm.conf
- # 清理旧日志
- echo "Cleaning old logs..." >> \$LOG_FILE
- find /var/log/nginx -name "*.log.*" -mtime +30 -delete
- find /var/log/haproxy -name "*.log.*" -mtime +30 -delete
- # 检查服务状态
- echo "Checking service status..." >> \$LOG_FILE
- systemctl is-active nginx >> \$LOG_FILE 2>&1
- systemctl is-active haproxy >> \$LOG_FILE 2>&1
- # 检查磁盘空间
- echo "Checking disk space..." >> \$LOG_FILE
- df -h >> \$LOG_FILE 2>&1
- echo "===== Daily maintenance completed at \$(date) =====" >> \$LOG_FILE
- EOF
- # 创建周维护脚本
- sudo tee /usr/local/bin/lb-maintenance/weekly.sh > /dev/null <<EOF
- #!/bin/bash
- # 每周维护脚本
- LOG_FILE="/var/log/lb-maintenance.log"
- DATE=\$(date +%Y-%m-%d)
- echo "===== Starting weekly maintenance at \$(date) =====" >> \$LOG_FILE
- # 更新系统
- echo "Updating system..." >> \$LOG_FILE
- yum update -y >> \$LOG_FILE 2>&1
- # 清理备份
- echo "Cleaning old backups..." >> \$LOG_FILE
- find /backup -name "*.tar.gz" -mtime +60 -delete
- # 检查SSL证书
- echo "Checking SSL certificates..." >> \$LOG_FILE
- for cert in /etc/ssl/certs/*.pem; do
- openssl x509 -enddate -noout -in \$cert >> \$LOG_FILE 2>&1
- done
- # 性能报告
- echo "Generating performance report..." >> \$LOG_FILE
- echo "CPU usage:" >> \$LOG_FILE
- top -b -n 1 | head -20 >> \$LOG_FILE 2>&1
- echo "Memory usage:" >> \$LOG_FILE
- free -h >> \$LOG_FILE 2>&1
- echo "Network connections:" >> \$LOG_FILE
- ss -s >> \$LOG_FILE 2>&1
- echo "===== Weekly maintenance completed at \$(date) =====" >> \$LOG_FILE
- EOF
- # 设置脚本可执行权限
- sudo chmod +x /usr/local/bin/lb-maintenance/*.sh
- # 添加到crontab
- echo "0 2 * * * /usr/local/bin/lb-maintenance/daily.sh" | sudo crontab -
- echo "0 3 * * 0 /usr/local/bin/lb-maintenance/weekly.sh" | sudo crontab -
复制代码
7.3 灾难恢复
制定灾难恢复计划,确保在严重故障时能够快速恢复服务。
- # 创建灾难恢复脚本
- sudo tee /usr/local/bin/lb-maintenance/disaster-recovery.sh > /dev/null <<EOF
- #!/bin/bash
- # 灾难恢复脚本
- LOG_FILE="/var/log/lb-disaster-recovery.log"
- BACKUP_DIR="/backup/lb"
- echo "===== Starting disaster recovery at \$(date) =====" >> \$LOG_FILE
- # 检查服务状态
- echo "Checking service status..." >> \$LOG_FILE
- systemctl is-active nginx >> \$LOG_FILE 2>&1
- systemctl is-active haproxy >> \$LOG_FILE 2>&1
- # 停止服务
- echo "Stopping services..." >> \$LOG_FILE
- systemctl stop nginx >> \$LOG_FILE 2>&1
- systemctl stop haproxy >> \$LOG_FILE 2>&1
- # 恢复最新的配置
- echo "Restoring configurations..." >> \$LOG_FILE
- LATEST_BACKUP=\$(ls -t \$BACKUP_DIR | head -1)
- if [ -n "\$LATEST_BACKUP" ]; then
- cp -r \$BACKUP_DIR/\$LATEST_BACKUP/nginx/* /etc/nginx/
- cp -r \$BACKUP_DIR/\$LATEST_BACKUP/haproxy/* /etc/haproxy/
- ipvsadm-restore < \$BACKUP_DIR/\$LATEST_BACKUP/ipvsadm.conf
- echo "Restored from backup: \$LATEST_BACKUP" >> \$LOG_FILE
- else
- echo "No backup found!" >> \$LOG_FILE
- exit 1
- fi
- # 验证配置
- echo "Validating configurations..." >> \$LOG_FILE
- nginx -t >> \$LOG_FILE 2>&1
- haproxy -c -f /etc/haproxy/haproxy.cfg >> \$LOG_FILE 2>&1
- # 启动服务
- echo "Starting services..." >> \$LOG_FILE
- systemctl start nginx >> \$LOG_FILE 2>&1
- systemctl start haproxy >> \$LOG_FILE 2>&1
- # 检查服务状态
- echo "Checking service status after recovery..." >> \$LOG_FILE
- systemctl is-active nginx >> \$LOG_FILE 2>&1
- systemctl is-active haproxy >> \$LOG_FILE 2>&1
- echo "===== Disaster recovery completed at \$(date) =====" >> \$LOG_FILE
- EOF
- # 设置脚本可执行权限
- sudo chmod +x /usr/local/bin/lb-maintenance/disaster-recovery.sh
复制代码
定期测试灾难恢复流程,确保在真正需要时能够有效执行:
- # 创建测试脚本
- sudo tee /usr/local/bin/lb-maintenance/test-disaster-recovery.sh > /dev/null <<EOF
- #!/bin/bash
- # 测试灾难恢复脚本
- LOG_FILE="/var/log/lb-disaster-recovery-test.log"
- BACKUP_DIR="/backup/lb"
- echo "===== Starting disaster recovery test at \$(date) =====" >> \$LOG_FILE
- # 创建测试配置
- echo "Creating test configurations..." >> \$LOG_FILE
- cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.test
- cp /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.test
- ipvsadm-save > /tmp/ipvsadm.test.conf
- # 故意破坏配置
- echo "Intentionally breaking configurations..." >> \$LOG_FILE
- echo "# Broken configuration" > /etc/nginx/nginx.conf
- echo "# Broken configuration" > /etc/haproxy/haproxy.cfg
- ipvsadm -C
- # 测试服务启动(应该失败)
- echo "Testing service startup with broken configs..." >> \$LOG_FILE
- systemctl stop nginx haproxy >> \$LOG_FILE 2>&1
- systemctl start nginx >> \$LOG_FILE 2>&1
- systemctl start haproxy >> \$LOG_FILE 2>&1
- systemctl is-active nginx >> \$LOG_FILE 2>&1
- systemctl is-active haproxy >> \$LOG_FILE 2>&1
- # 运行灾难恢复
- echo "Running disaster recovery..." >> \$LOG_FILE
- /usr/local/bin/lb-maintenance/disaster-recovery.sh >> \$LOG_FILE 2>&1
- # 检查服务状态
- echo "Checking service status after recovery..." >> \$LOG_FILE
- systemctl is-active nginx >> \$LOG_FILE 2>&1
- systemctl is-active haproxy >> \$LOG_FILE 2>&1
- # 恢复原始配置
- echo "Restoring original configurations..." >> \$LOG_FILE
- cp /etc/nginx/nginx.conf.test /etc/nginx/nginx.conf
- cp /etc/haproxy/haproxy.cfg.test /etc/haproxy/haproxy.cfg
- ipvsadm-restore < /tmp/ipvsadm.test.conf
- rm -f /etc/nginx/nginx.conf.test /etc/haproxy/haproxy.cfg.test /tmp/ipvsadm.test.conf
- # 重启服务
- echo "Restarting services..." >> \$LOG_FILE
- systemctl restart nginx haproxy >> \$LOG_FILE 2>&1
- systemctl is-active nginx >> \$LOG_FILE 2>&1
- systemctl is-active haproxy >> \$LOG_FILE 2>&1
- echo "===== Disaster recovery test completed at \$(date) =====" >> \$LOG_FILE
- EOF
- # 设置脚本可执行权限
- sudo chmod +x /usr/local/bin/lb-maintenance/test-disaster-recovery.sh
- # 添加到crontab(每月运行一次测试)
- echo "0 4 1 * * /usr/local/bin/lb-maintenance/test-disaster-recovery.sh" | sudo crontab -
复制代码
8. 总结与最佳实践
8.1 负载均衡配置最佳实践
1. 选择合适的负载均衡解决方案:Nginx:适合HTTP/HTTPS负载均衡,功能丰富,配置简单HAProxy:专注于负载均衡和高可用性,性能优秀LVS:内核级负载均衡,适合高性能场景
2. Nginx:适合HTTP/HTTPS负载均衡,功能丰富,配置简单
3. HAProxy:专注于负载均衡和高可用性,性能优秀
4. LVS:内核级负载均衡,适合高性能场景
5. 优化负载均衡算法:根据应用特点选择合适的算法(轮询、最少连接、IP哈希等)对于不同性能的服务器,使用加权分配
6. 根据应用特点选择合适的算法(轮询、最少连接、IP哈希等)
7. 对于不同性能的服务器,使用加权分配
8. 实施健康检查:定期检查后端服务器的健康状态自动从负载均衡池中移除不健康的服务器在服务器恢复后自动将其重新加入负载均衡池
9. 定期检查后端服务器的健康状态
10. 自动从负载均衡池中移除不健康的服务器
11. 在服务器恢复后自动将其重新加入负载均衡池
12. 实现高可用性:使用Keepalived或Pacemaker实现负载均衡器的高可用性避免单点故障,确保服务持续可用
13. 使用Keepalived或Pacemaker实现负载均衡器的高可用性
14. 避免单点故障,确保服务持续可用
15. 优化性能:调整系统参数和负载均衡器配置以提高性能使用缓存和压缩减少后端服务器负载监控性能指标,及时发现并解决瓶颈
16. 调整系统参数和负载均衡器配置以提高性能
17. 使用缓存和压缩减少后端服务器负载
18. 监控性能指标,及时发现并解决瓶颈
19. 保障安全:实施SSL/TLS终止,保护数据传输安全配置请求限制和速率控制,防止滥用和DDoS攻击定期更新系统和软件,修复安全漏洞
20. 实施SSL/TLS终止,保护数据传输安全
21. 配置请求限制和速率控制,防止滥用和DDoS攻击
22. 定期更新系统和软件,修复安全漏洞
23. 日志和监控:配置详细的日志记录,便于故障排除使用监控工具实时监控系统状态设置告警机制,及时发现并响应问题
24. 配置详细的日志记录,便于故障排除
25. 使用监控工具实时监控系统状态
26. 设置告警机制,及时发现并响应问题
27. 定期维护:定期备份配置文件实施日志轮转,避免日志文件过大定期测试灾难恢复流程
28. 定期备份配置文件
29. 实施日志轮转,避免日志文件过大
30. 定期测试灾难恢复流程
选择合适的负载均衡解决方案:
• Nginx:适合HTTP/HTTPS负载均衡,功能丰富,配置简单
• HAProxy:专注于负载均衡和高可用性,性能优秀
• LVS:内核级负载均衡,适合高性能场景
优化负载均衡算法:
• 根据应用特点选择合适的算法(轮询、最少连接、IP哈希等)
• 对于不同性能的服务器,使用加权分配
实施健康检查:
• 定期检查后端服务器的健康状态
• 自动从负载均衡池中移除不健康的服务器
• 在服务器恢复后自动将其重新加入负载均衡池
实现高可用性:
• 使用Keepalived或Pacemaker实现负载均衡器的高可用性
• 避免单点故障,确保服务持续可用
优化性能:
• 调整系统参数和负载均衡器配置以提高性能
• 使用缓存和压缩减少后端服务器负载
• 监控性能指标,及时发现并解决瓶颈
保障安全:
• 实施SSL/TLS终止,保护数据传输安全
• 配置请求限制和速率控制,防止滥用和DDoS攻击
• 定期更新系统和软件,修复安全漏洞
日志和监控:
• 配置详细的日志记录,便于故障排除
• 使用监控工具实时监控系统状态
• 设置告警机制,及时发现并响应问题
定期维护:
• 定期备份配置文件
• 实施日志轮转,避免日志文件过大
• 定期测试灾难恢复流程
8.2 未来发展方向
负载均衡技术不断发展,以下是一些未来发展方向:
1. 云原生负载均衡:随着容器化和微服务架构的普及,负载均衡技术也在向云原生方向发展Kubernetes Ingress和Service Mesh(如Istio)提供了更灵活的负载均衡解决方案
2. 随着容器化和微服务架构的普及,负载均衡技术也在向云原生方向发展
3. Kubernetes Ingress和Service Mesh(如Istio)提供了更灵活的负载均衡解决方案
4. 智能负载均衡:基于机器学习的智能负载均衡算法,能够根据实时流量模式和历史数据自动调整负载分配策略预测性扩展,能够预测流量峰值并提前扩展资源
5. 基于机器学习的智能负载均衡算法,能够根据实时流量模式和历史数据自动调整负载分配策略
6. 预测性扩展,能够预测流量峰值并提前扩展资源
7. 边缘计算负载均衡:随着边缘计算的兴起,负载均衡技术也在向边缘扩展在边缘节点上实现负载均衡,减少延迟,提高用户体验
8. 随着边缘计算的兴起,负载均衡技术也在向边缘扩展
9. 在边缘节点上实现负载均衡,减少延迟,提高用户体验
10. 全球服务器负载均衡(GSLB):跨多个地理位置的数据中心实现负载均衡基于用户位置、网络延迟和服务器负载等因素,将用户请求路由到最佳数据中心
11. 跨多个地理位置的数据中心实现负载均衡
12. 基于用户位置、网络延迟和服务器负载等因素,将用户请求路由到最佳数据中心
云原生负载均衡:
• 随着容器化和微服务架构的普及,负载均衡技术也在向云原生方向发展
• Kubernetes Ingress和Service Mesh(如Istio)提供了更灵活的负载均衡解决方案
智能负载均衡:
• 基于机器学习的智能负载均衡算法,能够根据实时流量模式和历史数据自动调整负载分配策略
• 预测性扩展,能够预测流量峰值并提前扩展资源
边缘计算负载均衡:
• 随着边缘计算的兴起,负载均衡技术也在向边缘扩展
• 在边缘节点上实现负载均衡,减少延迟,提高用户体验
全球服务器负载均衡(GSLB):
• 跨多个地理位置的数据中心实现负载均衡
• 基于用户位置、网络延迟和服务器负载等因素,将用户请求路由到最佳数据中心
通过遵循这些最佳实践和关注未来发展方向,可以构建一个高性能、高可用、安全的负载均衡架构,为网站和应用提供稳定可靠的服务。 |
|