Kubernetes静态IP配置指南与Calico实践

1. 为什么需要静态IP

在Kubernetes集群中，Pod默认使用动态IP分配机制。这意味着每次Pod重启或重新调度时，它的IP地址都会发生变化。对于大多数无状态应用来说，这完全不是问题。但当你需要运行数据库、消息队列这类有状态服务时，IP地址的频繁变更就会带来一系列麻烦。

想象一下，你的MySQL主从集群中，从库配置的是主库的IP地址。如果主库Pod重启后IP变了，从库就无法继续同步数据。类似的情况也发生在使用IP白名单的应用中。静态IP就是为解决这类问题而生的解决方案。

2. Kubernetes网络基础

2.1 CNI插件工作原理

Kubernetes本身并不直接管理网络，而是通过CNI(Container Network Interface)插件来实现网络功能。当一个新的Pod被创建时：

1. kubelet调用CNI插件
2. CNI插件为Pod分配IP地址
3. CNI插件配置网络路由规则
4. Pod获得网络连接能力

常见的CNI插件包括Calico、Flannel、Weave等，它们各自有不同的网络模型和IP分配机制。

2.2 IPAM机制

IP地址管理(IPAM)是CNI插件的核心组件之一。它负责：

• IP地址池管理
• IP地址分配与回收
• IP地址冲突检测

默认情况下，IPAM使用动态分配策略，这也是Pod IP会变化的原因。要实现静态IP，我们需要干预这个分配过程。

3. 静态IP实现方案对比

3.1 方案一：使用HostNetwork

这是最简单的方案，直接让Pod使用宿主机的网络命名空间：

apiVersion: v1 kind: Pod metadata: name: static-ip-pod spec: hostNetwork: true containers: - name: nginx image: nginx

注意：这种方案有严重的安全隐患，Pod会直接暴露在主机网络上，不建议在生产环境使用。

3.2 方案二：使用StatefulSet

StatefulSet为每个Pod提供稳定的标识符，包括主机名和网络标识：

apiVersion: apps/v1 kind: StatefulSet metadata: name: web spec: serviceName: "nginx" replicas: 2 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: nginx ports: - containerPort: 80

StatefulSet会为每个Pod分配一个稳定的网络标识（如web-0.nginx.default.svc.cluster.local），但IP地址仍然可能变化。

3.3 方案三：使用CNI插件静态IP功能

这是最推荐的方案。以Calico为例：

1. 首先创建IP池：

apiVersion: projectcalico.org/v3 kind: IPPool metadata: name: static-ippool spec: cidr: 192.168.0.0/24 blockSize: 29 nodeSelector: all() disabled: true

2. 然后在Pod注解中指定IP地址：

apiVersion: v1 kind: Pod metadata: name: static-ip-pod annotations: cni.projectcalico.org/ipAddrs: "[\"192.168.0.10\"]" spec: containers: - name: nginx image: nginx

4. Calico静态IP详细配置

4.1 环境准备

确保你的集群已经安装Calico CNI插件。可以通过以下命令检查：

kubectl get pods -n kube-system | grep calico

4.2 创建专用IP池

为了避免IP冲突，建议为静态IP分配创建专用的IP池：

apiVersion: projectcalico.org/v3 kind: IPPool metadata: name: static-ips spec: cidr: 192.168.100.0/24 blockSize: 29 nodeSelector: all() disabled: true

应用配置：

kubectl apply -f static-ip-pool.yaml

4.3 部署使用静态IP的Pod

apiVersion: v1 kind: Pod metadata: name: static-ip-app annotations: cni.projectcalico.org/ipAddrs: "[\"192.168.100.10\"]" spec: containers: - name: app image: nginx ports: - containerPort: 80

验证IP分配：

kubectl exec -it static-ip-app -- ip addr show eth0

5. 高级配置技巧

5.1 预留IP段

为了避免手动分配的IP与自动分配的IP冲突，可以在主IP池中排除静态IP使用的地址段：

apiVersion: projectcalico.org/v3 kind: IPPool metadata: name: default-ipv4-ippool spec: cidr: 192.168.0.0/16 blockSize: 24 nodeSelector: all() disabled: false excludedCIDRs: - 192.168.100.0/24

5.2 多网卡配置

对于需要多个静态IP的Pod，可以使用多网卡配置：

apiVersion: v1 kind: Pod metadata: name: multi-ip-pod annotations: cni.projectcalico.org/ipAddrs: "[\"192.168.100.10\", \"192.168.100.11\"]" spec: containers: - name: app image: nginx

5.3 与Service结合使用

即使Pod使用静态IP，仍然可以通过Service来访问：

apiVersion: v1 kind: Service metadata: name: static-ip-service spec: selector: app: static-ip-app ports: - protocol: TCP port: 80 targetPort: 80

6. 常见问题排查

6.1 IP地址冲突

如果遇到网络连接问题，首先检查IP是否冲突：

kubectl get pods -o wide | grep 192.168.100.10

6.2 Calico节点问题

检查Calico节点状态：

kubectl get nodes kubectl describe node <node-name>

6.3 IP池配置错误

验证IP池配置：

kubectl get ippools -o yaml

6.4 网络策略冲突

检查是否有网络策略阻止了通信：

kubectl get networkpolicies --all-namespaces

7. 生产环境最佳实践

1. 文档记录：维护一个静态IP分配表，记录哪些IP被分配给哪些服务
2. 命名规范：为使用静态IP的Pod使用特定命名前缀，如"static-"
3. 监控告警：设置监控检查静态IP Pod的网络连通性
4. 定期审计：定期检查未使用的静态IP并回收
5. 备份配置：备份Calico的IPPool和网络策略配置

8. 替代方案评估

8.1 使用Service代替静态IP

对于大多数场景，使用ClusterIP Service可能是更好的选择：

apiVersion: v1 kind: Service metadata: name: my-service spec: selector: app: my-app ports: - protocol: TCP port: 80 targetPort: 9376

8.2 使用ExternalName Service

对于外部服务，可以使用ExternalName：

apiVersion: v1 kind: Service metadata: name: my-database spec: type: ExternalName externalName: database.example.com

8.3 使用Headless Service

对于有状态应用，Headless Service提供稳定的网络标识：

apiVersion: v1 kind: Service metadata: name: stateful-service spec: clusterIP: None selector: app: stateful-app ports: - protocol: TCP port: 80 targetPort: 9376

9. 性能考量

静态IP配置会对网络性能产生轻微影响：

1. IPAM开销：静态IP分配需要额外的IPAM处理
2. 路由表大小：大量静态IP会增大节点路由表
3. 故障恢复：节点故障时，静态IP Pod的恢复时间可能略长

建议单个节点上不要配置超过50个静态IP Pod。

10. 安全注意事项

1. 网络隔离：为静态IP Pod配置严格的NetworkPolicy
2. 审计日志：记录所有静态IP分配和变更操作
3. 权限控制：限制可以创建静态IP Pod的用户和ServiceAccount
4. IP伪装：考虑禁用IP伪装以提高安全性：

apiVersion: projectcalico.org/v3 kind: FelixConfiguration metadata: name: default spec: ipinipEnabled: false