IT架构之网络虚拟化

此处我们只讨论虚拟网络

背景：公司架构为kvm+ceph+(linux bridge+frr) vxlan架构，我们分为计算节点、网络节点和存储节点

目地：最近对公司内部应用根据部门和应用类型进行网络隔离，形成类似于云计算多租户隔离。

配置：

1、在各机上配置各虚拟网络的虚拟交换机和vxlan大二层网络,一个网桥和一个vlxan接口对应一个虚拟网络，如：other虚拟网络——br-other虚拟交换机——vxlan30

kvm物理机1（计算节点）：

添加other虚拟网络交换机和vxlan接口

ip link add br-other type bridge

ip link set dev br-other up

ip link add vxlan30 type vxlan id 30 dstport 5789 nolearning dev enp88s0f3 #vxlan id 为30，nolearning 不学习mac地址，通过frr 来学习mac，消除东西流量瓶颈，减少BUM包，

ip link set dev vxlan30 up

ip link set dev vxlan30 master br-other

把各虚拟机网络接口配置到br-other 虚拟交换机即可以添加到other虚拟网络

2、配置frr为各虚拟机提供vxlan网络的MAC地址学习功能，并使vxlan自动连接，消除东西流量瓶颈和单节点故障;frr 我分为spine和leaf节点，spine我设置了2台用于高可用（虚拟机搭建），所有的计算节点都是leaf节点

1）spine配置:

router bgp 6000

bgp router-id 10.112.112.254

bgp bestpath as-path multipath-relax

neighbor fabric peer-group

neighbor fabric remote-as external

neighbor 10.112.112.2 peer-group fabric #leaf1 ，把所有的计算节点都添加进来了。 ip 计算节点的ip 同时也时各虚拟机之间vxlan通讯ip

neighbor 10.112.112.3 peer-group fabric #leaf2

!

address-family l2vpn evpn

neighbor fabric activate

exit-address-family

！

2）leaf节点即计算节点1配置：

router bgp 6002

bgp router-id 10.112.112.3

bgp bestpath as-path multipath-relax

neighbor fabric peer-group

neighbor fabric remote-as external

neighbor 10.112.112.252 peer-group fabric #spine 1

neighbor 10.112.112.254 peer-group fabric #spine 2

!

address-family l2vpn evpn

neighbor fabric activate

advertise-all-vni

exit-address-family

!

3、网络节点配置，虚拟机南北流量即外网流量全部集中在网络节点。可以用keepalived做高用

在网络节点上创建多个namespace，每个虚拟网络一个namespace，起到网络隔离作用

ip netns add other #添加other虚拟网络，同时提供此网络的网关路由和防火墙功能。

ip link add br-other type bridge

ip link set dev br-other up

#虚拟机内部接口

ip link add vxlan30 type vxlan id 30 dstport 5789 nolearning dev enp88s0f3

ip link set dev vxlan30 up

ip link set dev vxlan30 master br-other

ip link add n2o type veth peer name o2n netns other

ip link set dev n2o up

ip link set dev n2o master br-other

ip link exec other ip link set lo up

ip link exec other ip link set o2n up

ip link exec other ip addr add 192.168.30.1/24 dev o2n #为other虚拟网络的网关

#虚拟机外网访问接口

ip link add br-ex type bridge #添加一个外网访问虚拟交换机，

ip link set dev xxxx master br-ex #把连接外网物理接口接入到此交换机

ip link set dev br-ex up

ip link add w2o type veth peer name o2w netns other

ip link set dev w2o up

ip link set dev w2o master br-ex

ip netns exec other ip link set dev o2w up

ip netns exec other ip addr add 123.123.123.123/26 dev o2w #添加外网访问公网IP

ip netns exec other ip route add default via 123.123.123.1 dev o2w #添加默认路由

4、配置iptables ,提供防火墙和SNAT,DNAT功功能，简单配置：

ip netns exec other iptables -A FORWARD -s 192.168.30.0/24 -j ACCEPT

ip netns exec other iptables -t nat -A POSTROUTING -s 192.168.30.0/24 -o o2w -j MASQUERADE

结束，以上针对other虚拟网络，从计算节点到网络节点配置完成。