LVS(Linux Virtual Server)速通

一.集群和分布式:

集群:同一个业务系统,部署在多台服务器上,集群中,每一台服务器实现的功能没有差别,数据和代码都是一样的
 

分布式:一个业务被拆成多个子业务,或者本身就是不同的业务,部署在多台服务器上。分布式中,每一台服务器实现的功能是有差别的,数据和代码也是不一样的,分布式每台服务器功能加起来,才是完整的业务

分布式是以缩短单个任务的执行时间来提升效率的,而集群则是通过提高单位时间内执行的任务数来提升效率,

对于大型网站,访问用户很多,实现一个群集,在前面部署一个负载均衡服务器,后面几台服务器完成同一业务。如果有用户进行相应业务访问时,负载均衡器根据后端哪台服务器的负载情况,决定由给哪一台去完成响应,并且台服务器垮了,其它的服务器可以顶上来。分布式的每一个节点,都完成不同的业务,如果一个节点垮了,那这个业务可能就会失败

二.LVS 介绍

定义
LVS 是基于 Linux 内核的四层(传输层)负载均衡解决方案,由章文嵩博士开发,用于构建高性能、高可用的服务器集群。

核心组件

  • Director(调度器):接收客户端请求并分发到后端 Real Server。

  • Real Server(真实服务器):实际处理请求的后端服务器集群——真正提供服务

  • VS:Virtual Server: 虚拟服务器——负责调度

  • VIP(虚拟 IP):对外提供服务的虚拟 IP 地址。

  • RIP(真实 IP):后端服务器的真实 IP 地址。

  • CIP:Client IP

工作原理:

VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS

访问流程:CIP VIP == DIP RIP

官网The Linux Virtual Server Project - Linux Server Cluster for Load Balancinghttp://www.linuxvirtualserver.org/ lvs集群体系结构

 LVS的三种工作模式

NAT

Ivs-nat:

本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

RIP和DIP应在同一个IP网络,且应使用私网地址;RS的网关要指向DIP

请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈支持端口映射,可修改请求报文的目标PORT

VS必须是Linux系统,RS可以是任意OS系统

 NAT模式的工作流程

1.客户端发送访问请求,请求数据包中含有请求来源(cip),访问目标地址(VIP)访问目标端口(9000port)

2.VS服务器接收到访问请求做DNAT把请求数据包中的目的地由VIP换成RS的RIP和相应端口

3.RS1相应请求,发送响应数据包,包中的相应保温为数据来源(RIP1)响应目标(CIP)相应端口(9000port)

4.VS服务器接收到响应数据包,改变包中的数据来源(RIP1-->VIP),响应目标端口(9000-->80)

5.VS服务器把修改过报文的响应数据包回传给客户端

6.lvs的NAT模式接收和返回客户端数据包时都要经过lvs的调度机,所以lvs的调度机容易阻塞

图解

客户请求到达vip后进入PREROUTING,在没有ipvs的时候因该进入本机INPUT,当IPVS存在后访问请求在通过PREROUTING后被ipvs结果并作nat转发

因为ipvs的作用点是在PREROUTING和INPUT链之间,所以如果在prerouting中设定规则会干扰ipvs的工作。所以在做lvs时要把iptables的火墙策略全清理掉。

DR(直接路由)

DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行 转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源 IP/PORT,以及目标IP/PORT均保持不变

核心原理
  • 数据包处理

    • 请求阶段:Director 仅修改请求报文的 目标 MAC 地址(不修改 IP),将请求转发给 RS。

    • 响应阶段:RS 直接返回响应给客户端(不经过 Director),源 IP 为 VIP。

  • 关键要求

    • Director 和 RS 必须在 同一物理网络(二层可达)。

    • RS 需配置 VIP 并抑制 ARP 响应,避免地址冲突。

 DR模式数据传输过程

1.客户端发送数据帧给vs调度主机帧中内容为客户端IP+客户端的MAC+VIP+VIP的MAC

2.VS调度主机接收到数据帧后把帧中的VIP的MAC该为RS1的MAC,此时帧中的数据为客户端IP+客户端 的MAC+VIP+RS1的MAC

3.RS1得到2中的数据包做出响应回传数据包,数据包中的内容为VIP+RS1的MAC+客户端IP+客户端IP的 MAC

图解

DR模式的特点:
  1. 转发高效:Director 仅改目标 MAC ,不改 IP ,转发请求快。
  2. 响应直接:RS 处理完直接回客户端,无需经 Director ,延迟低。
  3. 同层限制:Director 和 RS 得在同一物理网络(二层可达) 。
  4. VIP 配置:RS 要配 VIP 且抑制 ARP ,避免地址冲突。
  5. 负载轻量:Director 只负责分请求,RS 直接回客户端,双方压力小。
  6. 易扩展高可用:可灵活加 RS ,一台故障不影响,服务稳。
  7. 端口不改:不支持端口映射(端口不能修改)

TUN——仅了解

转发方式:

不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部 (源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP 是CIP)


TUN模式数据传输过程:

TUN模式特点

1.DIP, VIP, RIP都应该是公网地址

2.RS的网关一般不能指向DIP

3.请求报文要经由Director,但响应不能经由Director

4.不支持端口映射

5.RS的OS须支持隧道功能

LVS三种工作模式对比

模式原理优点缺点
NAT修改数据包的IP/端口支持端口映射,配置简单Director 易成瓶颈
DR(Direct Routing)仅修改 MAC 地址,不修改 IP性能极高(90% 吞吐量)要求 Real Server 与 Director 同局域网
TUN(IP 隧道)通过 IP 隧道封装数据包可跨机房部署配置复杂,隧道开销高


 关键区别

  • NAT/FullNAT:请求和响应均经过Director。

  • DR/TUN:仅请求报文经过Director,响应报文由RS直接返回客户端。

vs-dr:通过封装新的MAC首部实现,通过MAC网络转发

lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信

lvs-nat与lvs-fullnat:请求和响应报文都经由Director

lvs-nat:RIP的网关要指向DIP

LVS调度算法

LVS支持多种调度算法,分为静态和动态两类:

1. 静态算法(不考虑RS负载)
  • RR(轮询):均分请求到各RS。(你一个,我一个)  ——适用场景:Real Server 性能均等

  • WRR(加权轮询):根据RS性能分配权重。(你比我厉害,你两个,我一个) ——适用场景:Real Server 配置不均

  • SH(源地址哈希):同一客户端固定访问同一RS(会话保持)。 ——适用场景:需要会话保持的应用

  • DH:Destination Hashing;目标地址哈希,第一次轮询调度至RS,后续将发往同一个目标地址的请 求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡,如:宽带运营商

2. 动态算法(基于RS负载状态)
  • LC(最少连接):优先选择连接数最少的RS。 ——适用场景:长连接服务(如数据库)

  • WLC(加权最少连接):默认算法,结合权重和连接数。 ——适用场景:Real Server 性能均等,但需动态平衡 “连接数”,避免节点过载。

  • SED:Shortest Expection Delay, 初始连接高权重优先Overhead=(activeconns+1+inactiveconns) x 256/weight 但是,当node1的权重为1,node2的权重为10,经过运算前几次的调度都会被node2承接

  • NQ:Never Queue,第一轮均匀分配,后续SED

  • SED/NQ:优化高权重节点的初始连接分配。 ——适用场景:Real Server 性能均等,但需 “优先让高权重节点承接初始连接”(哪怕连接数稍多 ),或需 “初始流量倾斜”。

  • LBLC:Locality-Based LC,动态的DH算法,使用场景:根据负载状态实现正向代理

  • LBLCR:LBLC with Replication,带复制功能的LBLC,解决LBLC负载不均衡问题,从负载重的复制 到负载轻的RS

  4.15版本内核以后新增调度算法
FO(Weighted Fai Over)调度算法:常用作灰度发布

让用户帮助企业测试其服务器有没有问题,
在此FO算法中,遍历虚拟服务所关联的真实服务器链表,找到还未过载(未设置IP_VS_DEST_F OVERLOAD标志)的且权重最高的真实服务器,进行调度

当服务器承接大量链接,我们可以对此服务器进行过载标记(IP_VS_DEST_F OVERLOAD),那么vs调度 器就不会把链接调度到有过载标记的主机中。

OVF(Overflow-connection)调度算法

基于真实服务器的活动连接数量和权重值实现。将新连接调度到权重值最高的真实服务器,直到其活动 连接数量超过权重值,之后调度到下一个权重值最高的真实服务器,在此OVF算法中,遍历虚拟服务相关 联的真实服务器链表,找到权重值最高的可用真实服务器。一个可用的真实服务器需要同时满足以下条 件:

1.未过载(未设置IP_VS_DEST_F OVERLOAD标志)

2.真实服务器当前的活动连接数量小于其权重值

3.其权重值不为零

lvs命令介绍

lvs软件相关信息

程序包:ipvsadm

Unit File: ipvsadm.service

主程序:/usr/sbin/ipvsadm

规则保存工具:/usr/sbin/ipvsadm-save

规则重载工具:/usr/sbin/ipvsadm-restore

配置文件:/etc/sysconfig/ipvsadm-config

ipvs调度规则文件:/etc/sysconfig/ipvsadm

ipvsadm命令——LVS 集群管理工具

ipvsadm 是 Linux Virtual Server (LVS) 的管理工具,用于配置和监控内核中的 IPVS(IP Virtual Server)模块。主要功能包括:

  • 管理虚拟服务(VS):定义 VIP 和端口。

  • 管理真实服务器(RS):添加、删除、修改后端节点。

  • 设置调度算法:如轮询(rr)、加权最小连接(wlc)等。

  • 查看连接状态:实时监控请求分发情况。

管理集群服务

ipvsadm -A|E -t(tcp)|u(udp)|f(防护墙标签) \

service-address(集群地址) \

[-s scheduler(调度算法)] \

[-p [timeout]] \

[-M netmask] \

[--pepersistence_engine] \

[-b sched-flags]


 

ipvsadm -D -t|u|f service-address 删除

ipvsadm –C 清空

ipvsadm –R 重载

ipvsadm -S [-n] 保存

 

管理集群中的real server

ipvsadm -a|e -t|u|f service-address -r server-address [-g | -i| -m](工作模式) [-w weight](权重)

ipvsadm -d -t|u|f service-address -r server-address  删除RS

ipvsadm -L|l [options]                  查看rs

ipvsadm -Z [-t|u|f service-address]        清楚计数器

lvs集群中的增删改

1.管理集群服务中的增删改

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

-A #添加

-E #修改

-t #tcp服务

-u #udp服务

-s #指定调度算法,默认为WLC

-p #设置持久连接超时,持久连接可以理解为在同一个时间段同一个来源的请求调度到同一Realserver-f #firewall mask 火墙标记,是一个数字

形式 

#增加

[root@DR-server ~]# ipvsadm -A -t 172.25.254.100:80 -s rr

[root@DR-server ~]# ipvsadm -A -f 66 -p 3000

#修改

[root@DR-server ~]# ipvsadm -E -t 172.25.254.100:80 -s wrr -p 3000

#删除

[root@DR-server ~]# ipvsadm -D -t 172.25.254.100:80[root@DR-server ~]# ipvsadm -D -f 66

2.管理集群中RealServer的增删改

-a                     #添加realserver

-e                     #更改realserver-t #tcp协议

-u                      #udp协议

-f                       #火墙 标签

-r                       #realserver地址

-g                      #直连路由模式

-i                       #ipip隧道模式

-m                    #nat模式

-w                    #设定权重

-Z                     #清空计数器

-C                    #清空lvs策略

-L                     #查看lvs策略

-n                   #不做解析

--rate               #输出速率信息

形式

ipvsadm -a|e -t|u|f service-address -r realserver-address [-g|i|m] [-w weight]


 

#添加

[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.30 -m

[root@DR-server ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.40 -m -w 2

#更改

[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -m -w 1

[root@DR-server ~]# ipvsadm -e -t 172.25.254.100:80 -r 192.168.0.30 -i -w 1

#删除

[root@DR-server ~]# ipvsadm -d -t 172.25.254.100:80 -r 192.168.0.30

[root@DR-server ~]# ipvsadm -Ln

[root@DR-server ~]# ipvsadm -Ln --rate

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port                 CPS   InPPS   OutPPS   InBPS   OutBPS

   -> RemoteAddress:Port

TCP 172.25.254.100:80                  0          0                0           0            0   

   -> 192.168.0.30:80                       0          0                0           0            0

   -> 192.168.0.40:80                        0         0                0           0            0


[root@DR-server ~]# ipvsadm -C   ——清空所有策略

[root@DR-server ~]# ipvsadm -Z -t 172.25.254.20:80

[root@DR-server ~]# ipvsadm -Ln --rate

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port                 CPS   InPPS   OutPPS   InBPS   OutBPS

   -> RemoteAddress:Port

TCP 172.25.254.20:80                   0            0             0            0             0

  -> 192.168.0.30:80                       0            0              0           0             0 

   -> 192.168.0.40:80                      0            0               0          0             0

ipvs的备份及恢复

添加的策略:

进行备份和删除:

恢复刚才备份的策略:

将策略进行开机自启动配置

NAT模式集群实验:

实验环境

主机名IPVIP角色
lvs192.168.0.100172.25.254.100调度器(VS)
RS1192.168.0.10,GW192.168.0.100null真实服务器(RS)
RS2192.168.0.20,GW192.168.0.100null真实服务器(RS)
client172.25.254.111测试机

注:

此实验要关闭火墙然后网页里要写内容

systemctl disable --now firewalld.service

echo 20 > /var/www/html/index.html

实验开始:

1.在lvs中启用内核路由功能

]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.d/ip_forward.conf]# sysctl --system

2.在node1中安装ipvsadm

]# yum install ipvsadm -y

 3.在node1中添加调度策略

# ipvsadm -A -t 172.25.254.100:80 -s rr
]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m

4.查看策略

ipvsadm -Ln

 5.保存策略

ipvsadm -Sn

 

 6.删除所有策略

ipvsadm -C

 7.重新加载策略

]# ipvsadm -R < /etc/sysconfig/ipvsadm-config
]# ipvsadm -Ln

 8.以上操作均为临时,如果想开机启动,就得设置

]# systemctl enable --now ipvsadm.service

 9.测试:

for N in {1..6};do curl 172.25.254.100;done

DR实验:

实验环境

主机名IPVIP角色
clientNAT:172.25.254.66null测试主机
routerNAT1:72.25.254.100/24
仅主机:192.168.0.100/24
null路由器
lvs仅主机:192.168.0.200/24
              192.168.0.220/24
lo:192.168.0.220/32调度器
RS1仅主机:192.168.0.10
gatway:192.168.0.100
lo:192.168.0.220/32web服务器1
RS2仅主机:192.168.0.20/24
gatway:192.168.0.100
lo:192.168.0.220/32web服务器2
client主机
NAT-eth0
address=172.25.254.66/24,172.25.254.100route主机
NAT-eth0
address=172.25.254.100/24仅主机-eth1
address1=192.168.0.100/24lvs主机
仅主机-eth0
address1=192.168.0.200/24,192.168.0.100
address2=192.168.0.220/24lo环回接口:
[connection]
type=loopback
interface-name=lo
id=lo
[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32RS1主机
仅主机-eth0
address=192.168.0.10/24,192.168.0.100lo环回接口:
[connection]
type=loopback
interface-name=lo
id=lo
[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32RS2主机
仅主机-eth0
address=192.168.0.20/24,192.168.0.100lo环回接口:
[connection]
type=loopback
interface-name=lo
id=lo[ipv4]
method=manual
address1=127.0.0.1/8
address2=192.168.0.220/32

 route主机中要开启内核路由功能火墙以运行路由策略:

]# echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf
]# sysctl -p

注:该实验需要关闭lvs主机和两台RS主机的火墙,实验环境可以直接关闭lvs主机和两台RS主机的火墙

确保每台主机ping都可以互相通信,以及VIP不对外响应,则实验环境就搭好了。

解决VIP响应问题:

DR模型中各主机上均需要配置VIP,解决地址冲突的方式有三种:
(1)在前端网关做静态绑定
(2)在各RS使用arptables
(3)在各RS修改内核参数,来限制arp响应和通告的级别
限制响应级别:arp_ignore
0:默认值,表示可使用本地任意接口上配置的任意地址进行响应
1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时,才给予响应
限制通告级别:arp_announce
0:默认值,把本机所有接口的所有信息向每个接口的网络进行通告
1:尽量避免将接口信息向非直接连接网络进行通告
2:必须避免将接口信息向非本网络进行通告

 

在lvs中配置策略:

测试: