VXLAN 协议深度解析：从 3 层报文到 2 层隧道的封装与转发

VXLAN 协议深度解析：从 3 层报文到 2 层隧道的封装与转发

在当今云计算和容器化技术蓬勃发展的时代，网络虚拟化已成为构建灵活、可扩展基础设施的关键技术。VXLAN（Virtual Extensible Local Area Network）作为一种主流的网络虚拟化解决方案，通过创新的封装机制，实现了跨物理网络的二层网络扩展。本文将深入剖析 VXLAN 协议的工作原理，从数据包层面揭示其如何将二层以太网帧封装进 UDP/IP 报文进行传输，并结合实际抓包分析，帮助读者全面掌握这一技术的核心原理。

1. VXLAN 技术概述

VXLAN 是一种基于 IP 网络的 overlay 技术，它通过在现有三层网络之上构建虚拟的二层网络，解决了传统 VLAN 技术在扩展性和隔离性方面的限制。与 VLAN 仅支持 4096 个隔离域不同，VXLAN 使用 24 位的 VNI（VXLAN Network Identifier），理论上可支持多达 1600 万个隔离的网络段。

VXLAN 的核心组件包括：

• VTEP（VXLAN Tunnel End Point）：负责 VXLAN 报文的封装和解封装，通常部署在虚拟交换机或物理交换机上
• VNI（VXLAN Network Identifier）：24 位的网络标识符，用于区分不同的虚拟网络
• Underlay 网络：承载 VXLAN 流量的底层 IP 网络

在容器化环境中，VXLAN 常被用于实现跨主机的容器网络通信。例如在 Docker 多主机网络中，VXLAN 技术使得位于不同物理主机上的容器能够像在同一个二层网络中一样直接通信。

2. VXLAN 报文结构解析

理解 VXLAN 协议的关键在于掌握其报文封装结构。一个完整的 VXLAN 报文由多个层次的头信息组成，从内到外依次为：

原始以太网帧 -> VXLAN 头 -> UDP 头 -> 外层 IP 头 -> 外层 MAC 头

让我们通过 Wireshark 抓包，逐层分析每个字段的含义和作用：

2.1 原始以太网帧（Inner Ethernet Frame）

这是被封装的实际通信数据，包含：

• 源/目的 MAC 地址（各 6 字节）
• 以太网类型（2 字节）
• 有效载荷（如 IP 报文）
• FCS（帧校验序列，通常被网卡剥离）

2.2 VXLAN 头部（8 字节）

VXLAN 头部结构如下：

关键字段说明：

• I 标志位：置 1 表示 VNI 字段有效
• VNI：24 位的虚拟网络标识符，用于多租户隔离

2.3 UDP 头部（8 字节）

VXLAN 使用 UDP 协议进行传输，默认目的端口为 4789。UDP 头部包含：

• 源端口（2 字节）：通常由内核动态分配
• 目的端口（2 字节）：4789（IANA 分配的标准端口）
• 长度（2 字节）：UDP 报文总长度
• 校验和（2 字节）：可选字段

2.4 外层 IP 头部（20 字节）

这是承载 VXLAN 隧道的 IP 报文头，包含：

• 源 IP：本地 VTEP 的 IP 地址
• 目的 IP：对端 VTEP 的 IP 地址
• 协议字段：17（表示 UDP）
• TTL：通常设置为 64 或 255

2.5 外层 MAC 头部（14 字节）

这是 Underlay 网络的以太网帧头，包含：

• 源 MAC：本地物理接口的 MAC 地址
• 目的 MAC：下一跳设备的 MAC 地址
• 以太网类型：0x0800（表示 IPv4）

3. VXLAN 通信流程详解

VXLAN 的通信过程涉及封装和解封装两个关键阶段。下面我们通过一个跨主机容器通信的实例，详细分析这一过程。

3.1 封装过程（Ingress）

当容器 A 向容器 B 发送数据包时，VTEP 的封装流程如下：

1. 学习 MAC 地址：源 VTEP 检查本地 MAC 表，确定目的 MAC 对应的远端 VTEP IP
2. 添加 VXLAN 头：生成 8 字节的 VXLAN 头，设置正确的 VNI
3. 封装 UDP 头：

   # 查看 Linux 系统中 VXLAN 接口的配置 $ ip -d link show vxlan0 5: vxlan0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UNKNOWN mode DEFAULT group default link/ether 56:84:7a:fe:97:99 brd ff:ff:ff:ff:ff:ff promiscuity 0 vxlan id 42 local 192.168.1.100 dev eth0 srcport 0 0 dstport 4789 nolearning ageing 300 udpcsum noudp6zerocsumtx noudp6zerocsumrx

4. 添加外层 IP 头：源 IP 为本地 VTEP，目的 IP 为对端 VTEP
5. 添加外层 MAC 头：通过 ARP 解析获取下一跳的 MAC 地址

3.2 解封装过程（Egress）

对端 VTEP 收到报文后的处理流程：

1. 校验 UDP 端口：确认目的端口为 4789
2. 提取 VNI：从 VXLAN 头中获取 VNI，确定目标虚拟网络
3. 移除外层头：剥离 UDP、外层 IP 和 MAC 头
4. 转发原始帧：根据内层目的 MAC 地址转发到对应容器

3.3 转发数据库（FDB）管理

VTEP 通过 FDB（Forwarding Database）维护 MAC 地址与远端 VTEP 的映射关系。在 Linux 中可以通过以下命令查看：

$ bridge fdb show dev vxlan0 00:15:5d:42:13:01 dst 192.168.1.101 self permanent 02:42:ac:11:00:02 dst 192.168.1.101 self

FDB 表项可以通过以下方式学习：

• 静态配置：管理员手动添加
• 动态学习：通过数据平面流量自动学习（需启用 learning 标志）
• 控制平面同步：使用 EVPN 等协议分发

4. VXLAN 在容器网络中的实践应用

现代容器平台如 Docker 和 Kubernetes 广泛使用 VXLAN 实现跨主机网络。下面以 Docker 为例，展示如何配置 VXLAN 网络。

4.1 创建 VXLAN 网络

# 创建自定义的 Docker 网络 $ docker network create --driver overlay --subnet 10.0.0.0/24 --opt encrypted=true my-vxlan-net

4.2 容器连接与通信验证

# 在主机1上运行容器 $ docker run -itd --name container1 --network my-vxlan-net alpine sh # 在主机2上运行容器 $ docker run -itd --name container2 --network my-vxlan-net alpine sh # 测试容器间通信 $ docker exec container1 ping -c 3 container2 PING container2 (10.0.0.3): 56 data bytes 64 bytes from 10.0.0.3: seq=0 ttl=64 time=1.231 ms 64 bytes from 10.0.0.3: seq=1 ttl=64 time=0.683 ms 64 bytes from 10.0.0.3: seq=2 ttl=64 time=0.752 ms

4.3 抓包分析容器通信

使用 tcpdump 捕获 VXLAN 流量：

$ tcpdump -i eth0 -nn -s0 -v port 4789 tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes 15:23:45.123456 IP (tos 0x0, ttl 64, id 12345, offset 0, flags [none], proto UDP (17), length 142) 192.168.1.100.43412 > 192.168.1.101.4789: [udp sum ok] VXLAN, flags [I] (0x08), vni 42 IP (tos 0x0, ttl 64, id 54321, offset 0, flags [DF], proto ICMP (1), length 84) 10.0.0.2 > 10.0.0.3: ICMP echo request, id 16, seq 0, length 64

5. VXLAN 高级特性与优化

5.1 多播与单播模式

VXLAN 支持两种流量转发模式：

5.2 流量负载均衡

通过 UDP 源端口哈希实现 ECMP（等价多路径路由）：

# 查看 Linux 系统的 UDP 端口范围 $ cat /proc/sys/net/ipv4/ip_local_port_range 32768 60999

5.3 性能优化技巧

1. MTU 调整：

   # 设置 VXLAN 接口的 MTU $ ip link set vxlan0 mtu 1450

2. 硬件卸载：支持 VXLAN 硬件卸载的网卡可显著提升性能
3. 加密传输：使用 IPsec 加密 VXLAN 流量

6. 常见问题排查

当 VXLAN 网络出现通信故障时，可以按照以下步骤排查：

1. 检查底层网络连通性

   $ ping <对端VTEP_IP>

2. 验证 VXLAN 接口状态

   $ ip -d link show vxlan0

3. 检查 FDB 表项

   $ bridge fdb show dev vxlan0

4. 抓包分析

   $ tcpdump -i any -nn -v port 4789

在实际项目中，我们曾遇到因 MTU 不匹配导致 VXLAN 报文被丢弃的情况。通过逐步排查各节点的 MTU 设置，最终将 VXLAN 接口的 MTU 调整为 1450 后问题解决。