标签：
学习 Neutron 系列文章：
（2）Neutron OpenvSwitch + VLAN 虚拟网络
（3）Neutron OpenvSwitch + GRE/VxLAN 虚拟网络
（4）Neutron OVS OpenFlow 流表 和 L2 Population
（9）Neutron FWaas 和 Nova Security Group
（10）Neutron VPNaas
防火墙是依照特定的规则来控制进出它的网络流量的网络安全系统。一个典型的场景是在一个受信任的内网和不受信任的外网比如 Internet 之间建立一个屏障。防火墙可以是电脑上运行的软件，也可以是独立的硬件设备。
按照防火墙的位置，可以分为：
主防火墙的特点：
内部网络和外部网络之间的所有网络数据流都必须经过防火墙。防火墙适用于用户网络系统的边界，属于用户网络边界的安全保护设备。
只有符合安全策略的数据流才能通过防火墙。防火墙是一个类似于桥接或路由器的、多端口的（网络接口>=2）转发设备，它跨接于多个分离的物理网段之间，并在报文转发过程之中完成对报文的审查工作。
应用层防火墙具备更细致的防护能力。下一代防火墙具备应用层分析的能力，能够基于不同的应用特征，实现应用层的攻击过滤，在具备传统防火墙、IPS、防毒等功能的同时，还能够对用户和内容进行识别管理，兼具了应用层的高性能和智能联动两大特性，能够更好的针对应用层攻击进行防护。
防火墙的主要概念：
（资料来源）
正常情况下，二层数据帧的源IP 地址就是发出数据的机器的 IP 地址，对方计算机接收到以后，向该 IP 地址发出回复数据帧：
（该例子中，node1 发往 node2 的帧的 IP 地址就是 node1 的地址，因此 node2 能够通过 ARP 获取 node1 的 MAC，并将回复将发回到它）
如果源计算机的数据帧的源 IP 地址不是它自己的IP地址而是一个不存在的地址或者另外一台机器的地址，目的计算机接受到数据帧后，它就会一直不停的发出 ARP 广播，最终也无法获取到MAC地址，或者发送返回帧到另一台的计算机。这就是所谓的（源） IP 地址欺骗。
（该例子中，node1 将它发往 node2 的数据帧的源IP设置为 node3 的IP，导致 node2 的回复发到了node3）
如果大量的计算机使用另外一台计算机的 IP 作为源 IP 向很多的计算机发出 ping 命令，那么那一台计算机将会收到很多的 ping 回复。这将导致它的网络带宽被塞满而不能对外提供网络服务。
（以上资料来源）
常见的防止IP地址欺骗的方法：
Neutron 安全组针对 IP 地址欺骗，特别设置了相应的防火墙规则。
首先说说 bridge。这篇文章 详细解释了 bridge 的工作原理。简单地说，brige 是 linux 上的一个虚机（逻辑）设备，它依赖于从设备，并将从设备虚拟化为端口（port），从设备的 IP 及 MAC 都不再可用，且被设置为接收任何包，最终由 bridge 设备来决定数据包的去向：接收到本机、转发、丢弃。
上一篇文章 介绍了 iptables 是如何处理三层网络包的。显然，普通的 Linux 内核 IP 栈代码和 netfilter 无法处理经过网桥的数据包，因为网桥是属于网络二层，对于 IP 栈来说是透明的。因此，Linux 内核和 iptables 增加了处理经过二层网桥的数据包的功能。下面是增加了网桥处理能力的 netfilter 的数据包处理过程：
对 （1）和 （2）来说，接下来该数据帧被 filter 的 FORWARD 链处理。对（3）来说，它会被 filter 的 INPUT 链处理。发生这种情况时，该 bridge 其实是被用作一个路由器（一个对比例子是现实世界中的带路由的交换机设备）。包含 IP 包的以太帧的目的 MAC 地址是桥的MAC地址，但是目的 IP 地址不是桥的IP地址。 这篇文章 ebtables/iptables interaction on a Linux-based bridge 详细分析了其处理过程。
要在 Linux bridge 上做防火墙（firewall packets as they are being bridged，或者说在 linux bridge 上应用 iptables 规则），必须满足以下条件：
Linux 内核支持 bridge (CONFIG_BRIDGE=m or CONFIG_BRIDGE=y).
Linux 内核支持 bridge/netfilter (CONFIG_BRIDGE_NETFILTER=y).
Linux 内核需要包含 Netfilter physdev match 支持 (CONFIG_IP_NF_MATCH_PHYSDEV=m or CONFIG_IP_NF_MATCH_PHYSDEV=y). 它在 2.6 版本的内核中开始作为标准模块。
你的 iptables 工具需要支持 physdev match，以及支持在一条规则中使用多个 ‘-m physdev‘. iptables 从 1.3.6 版本开始支持。
你需要安装 bridge-utils 包。
需要注意的，各个 Linux 发行版并不是都默认启用了 netfilter for bridge，比如 Ubuntu 默认启用了， 而 RedHat 默认没启用。Neutron 会执行下面的命令来启用它：
sysctl -w net.bridge.bridge-nf-call-arptables=1 sysctl -w net.bridge.bridge-nf-call-iptables=1
从Linux 2.6 内核版本上，iptables 1.3.6 版本以后就能够过滤 Linux bridge 上的网络包了。它使用如下参数：
| 参数 | 说明 |
| -m physdev | 匹配桥端口的进入和出去的设备。这只在内核版本 2.5.44 以上有效 （This module matches on the bridge port input and output devices enslaved to a bridge device. This module is a part of the infrastructure that enables a transparent bridging IP firewall and is only useful for kernel versions above version 2.5.44.） |
| --physdev-in [!] name | Name of a bridge port via which a packet is received。（收到数据包的 bridge port 的名字，只对 INPUT, FORWARD and PREROUTING 链有效）。可以添加 ”+“ 来做头部部分匹配。如果数据包不是从桥设备接收到的，则匹配不成功。 |
| --physdev-out [!] name | Name of a bridge port via which a packet is going to be sent.（数据包要发到的 bridge port name，只对 FORWARD, OUTPUT and POSTROUTING 有效） |
| [!] --physdev-is-in | Matches if the packet has entered through a bridge interface （在数据包是通过一个桥interface进入的时候会匹配成功） |
| [!] --physdev-is-out | Matches if the packet will leave through a bridge interface. （在数据包将要通过一个桥的interface出去时匹配成功） |
| [!] --physdev-is-bridged | Matches if the packet is being bridged and therefore is not being routed （在数据包是正被桥接的而不是正被路由时匹配成功。它只对 FORWARD and POSTROUTING 有效。） |
举例（来源）：
在一台 linux 机器上创建 linux bridge br0，连接 eth0 和 eth1.其中 eth0 是内网端口，eth1和 eth2是外网端口。
# brctl addbr br0
# brctl addif br0 eth0
# brctl addif br0 eth1
# ifconfig br0 netmask 255.255.255.0 192.168.32.1 up
实际上，在将 eth1 的 IP 设置给 br0 以后，该机器可以通过 br0/eth1 访问外网（这篇文章 详细地阐述了该原理），这样，该 linux 机器是同时作为一台路由器和一台终端机：
可以创建如下的 iptables 规则来实现经过 br0 的网络包：
#允许本机通过访问外网，但是将进来的 udp，tcp 和 icmp 的网络包写日志（INPUT 规则的 physdev-in 肯定是 eth1 了） iptables -A INPUT -p udp -m physdev --physdev-in eth1 -j LOG iptables -A INPUT -p tcp -m physdev --physdev-in eth1 -j LOG iptables -A INPUT -p icmp -m physdev --physdev-in eth1 -j LOG # 允许 ssh, smtp and http 到 br0(INPUT!) iptables -A INPUT -p tcp --dport 22 -m physdev --physdev-in eth1 -j ACCEPT iptables -A INPUT -p tcp --dport 25 -m physdev --physdev-in eth1 -j ACCEPT iptables -A INPUT -p tcp --dport 80 -m physdev --physdev-in eth1 -j ACCEPT # 拒绝到 br0 的别的网络包 iptables -A INPUT -p tcp --syn -m physdev --physdev-in eth1 -J REJECT # 允许通过 tcp 端口 22（ssh），25 （smtp），80（http）到内网 iptables -A FORWARD -p tcp --dport 22 -m physdev --physdev-in eth1 --physdev-out eth0 -j ACCEPT iptables -A FORWARD -p tcp --dport 25 -m physdev --physdev-in eth1 --physdev-out eth0 -j ACCEPT iptables -A FORWARD -p tcp --dport 80 -m physdev --physdev-in eth1 --physdev-out eth0 -j ACCEPT # 禁止 tcp 端口 6667 （IRC） iptables -A FORWARD -p tcp --dport 6667 -m physdev --physdev-in eth1 -j REJECT # 禁止其它连接到内网 iptables -A FORWARD -p tcp --syn -m physdev --physdev-in eth1 --physdev-out eth0 -j REJECT
在 iptables 中，如果去匹配多个 IP 地址的话，就会写入多条 iptables 的规则（这些 IP 都是无规律性的），当如果需要匹配几百甚至上千个 IP 地址的话，那么性能就会受到严重的影响。使用 ipset 的话，这种情况可以有很大的改善，其最主要是的在结构和规则的查找上面做了很大的改善。当出现上面的情况的时候，ipset 对性能就始终稳定在一个相对值上。根据提供的测试结果表明，当规则在300-1500之间的时候其对性能的影响基本是水平线。所以当你的防火墙规则过多的时候不妨试试看。
安装：http://ipset.netfilter.org/ 下载然后安装。
使用：
(1). 首先 ipset 里面好多的命令是和 iptables 一样的，比如 -F ，-X， -A， -nL等等。
(2). 用户如果什么都没有添加的话，这个时候 ipset list 就会发现都是空的。
(3) 这个时候我们试着添加一个 set，如：ipset -N test_policy ipmap --network 192.168.100.1/24。该命令：
(4) 自定义 set 创建好了后就需要在上面添加一些IP了，如：
（5）这个时候你ipset -nL就会看到该 set 以及它的 members：
root@compute1:/home/s1# ipset list Name: test_policy Type: bitmap:ip Revision: 2 Header: range 192.168.100.0-192.168.100.255 Size in memory: 160 References: 0 Members: 192.168.100.1 192.168.100.2 192.168.100.3 192.168.100.4
（6）把它加到 iptables 链里面，比如说加到 FORWARD 链里面。比如要拒绝该 ipset 中计算机的访问，则添加规则 iptables -A FORWARD -m set --match-set test_policy src -j DROP。其中：
为了虚机和网络安全，Neutron 提供安全组和 FWaas（firewall-as-a-service）。两者的概念非常类似。一个安全组定义了哪些进入的网络流量能被转发给虚机。安全组包含一组防火墙策略，称为安全组规则（Security Group Rule）。可以定义n个安全组，每个安全组可以有n个规则，可以给每个实例绑定n个安全组。FWaas 则作用于虚拟路由器上，对进出租户网络的网络流量进行过滤。OpenStack 的相关的组件为：
| Nova Security Group | Neutron Security Group | Neutron FWaas | |
| 作用 | 控制进入虚机的网络包 | 控制进出虚机的网络包 | 控制进出租户网络的网络包。对不经过 Virutal Router 的网络包不起作用。 |
| 防火墙节点 | Nova 计算节点 | Nova 计算节点（L2 Agent 节点） | L3 Agent 节点上该 firewall 所在的租户的所有 router 的 namespace 中 |
| IPV6 支持 | 支持。通过配置项 use_ipv6 来指定是否使用 IPV6，默认值为 false。 | 判断 /proc/sys/net/ipv6/conf/default/disable_ipv6 文件的内容。如果是 ”0“，表示支持 ipv6，否则不支持。如果支持的话，则同时往 iptables 和 ip6tables 中添加链和规则。 | 支持，同时往 iptables 和 ip6tables 中添加链和规则，但是似乎没有判断系统是否支持 IPV6. |
| 控制粒度 | 虚机 | Neutron port | 租户的所有 virtual router 的所有 Interface |
| 控制实施者 | Nova 计算节点的 IP 栈 | Nova 计算节点的 qbr 桥 | router 的 namespace 的 IP 栈 |
| 控制的网络流量方向 | ingress only （进入虚机的网络包） | ingress 和 egress （进出虚机的网络包） | ingress 和 egress （进出租户网络的网络包） |
| 匹配的数据项 | 协议、源 IP 网段、目的端口号 | 协议、端口、网段、方向 | 协议、源端口、目的端口、源 IP 网段、目的 IP、方向 |
| 匹配的结果行为 | 允许（allow） | 允许（allow） | 允许（allow）和拒绝（deny） |
| 使用 | 启动虚机时指定安全组，不指定的话使用默认安全组。虚机启动后，对所使用的安全组的变更会实时应用到虚机。可以向虚机添加和删除安全组。 | 动态（随时，启动虚机时和启动后）使用 neutron port-update 命令更新指定 port 的安全组。 | 动态（随时）应用到租户的所有虚拟路由器。 |
| 没有显式配置安全组时的默认行为 | 使用默认安全组（Default Security Group ），它允许使用同一个安全组的虚机访问该虚机 | 禁止该机器的网络访问，除了允许它访问 DHCP 服务 | 没有默认防火墙，防火墙没有默认规则。配置了 firewall 但是没添加规则的话，禁止所有网络进出数据网络。 |
| 允许的数目 | 多个，Security Group 数目（默认10）和 Security Group Rules 数目（默认100）受租户的 quota 限制 | 最多一个，不允许多个。 | |
| CLI |
#列表，增加，删除 虚机的安全组 add-secgroup: Add a Security Group to a server #操作安全组 #启动虚机时指定安全组 nova boot --flavor FLAVOR_ID --image IMAGE_ID --security-groups SEC_GROUP |
#操作安全组 neutron security-group-create #创建 port 时指定安全组： #显示 port 的安全组 #删除 port 的安全组 #使用带安全组的 port 启动虚机 |
#防火墙操作 firewall-create |
| 配置 | 见下文 | ||
| 底层实现 | 见下文 | ||
我们知道，每个网桥（bridge）都有若干个端口（port）连接到它。从一个 port 进来的数据包都根据其目的 MAC 地址会被转发到其他端口，或者被丢弃。同样地，nova-compute 节点（计算节点）也充当两个角色：数据网络的转发器（bridge）（它使用 qbr bridge 将外部访问虚机的流量转发到虚机。当然了，在进入 qbr 桥之前，OVS 需要对 traffic 做一些操作）和 终端机（这个节点往往会配置多块网卡，一块用于数据网络，一块用于管理网络，这样，别的计算机通过管理网络来访问该计算机，比如配置 nova-compute 等）。跟上面例子区别的是，qbr 网桥并没有设置 IP 地址，因此需要别的网卡。而 qbr 桥是一个简单的网桥，它一头连接的是虚机网卡 eth0 的 tap 设备（比如 tap59cfa0b8-2f），另一头连接 veth pari 的一端（比如qvb59cfa0b8-2f），该 veth 设备的另一端是 OVS 上的端口 qvo59cfa0b8-2f。可见，qbr bridge 连接了虚机的网卡和 OVS 桥。使用 qbr 后，进入 qvo 的网络包都将被 qbr 转发到 tap 设备，而离开 tap 设备的网络包都将被转发到 qvo 上。 Neutron 安全组就是作用在 qbr 桥上。
至于为什么不将虚机的网卡直接连接到 OVS 桥 br-int，官方说法是：“理想地，TAP 设备最好能直接挂在 br-int 上。不幸的是，因为 OpenStack Security Group 的实现方式，这种挂载是不可能实现的。OpenStack 使用 TAP 设备上的 iptables 规则来实现 Security Group，而 open vswitch 不支持在直接连到其网桥上的 TAP 设备上使用 iptables。因此，不得不增加 Linux bridge qbr 来将 TAP 设备连到 OVS bridge 上。”。简单地说，OpenStack 需要在 qbr 桥上使用 iptables 过滤进出虚机的数据包，而 br-int 上无法做到这一点。
| 节点 | 配置文件 | 配置项 | 说明 |
| controller | /etc/nova/nova.conf | security_group_api = neutron | 使得 nova secgroup* 命令使用的是 neutron 安全组的 API |
| /etc/neutron/plugins/ml2/ml2_conf.ini | enable_security_group = True firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver |
启用 Neutron 安全组并指定驱动 | |
| nova-compute | /etc/nova/nova.conf | firewall_driver = nova.virt.firewall.NoopFirewallDriver | 禁用 nova 安全组 |
| /etc/neutron/plugins/ml2/ml2_conf.ini | enable_security_group = True enable_ipset = True firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver |
启用 Neutron 安全组并指定驱动 | |
| network | /etc/neutron/plugins/ml2/ml2_conf.ini | enable_security_group = True enable_ipset = True firewall_driver = neutron.agent.linux.iptables_firewall.OVSHybridIptablesFirewallDriver |
启用 Neutron 安全组并指定驱动 |
neutron 也提供两种安全组的实现：IptablesFirewallDriver 和 OVSHybridIptablesFirewallDriver
默认值是 neutron.agent.firewall.NoopFirewallDriver，表示不使用 neutron security group。
列表 安全组：
Command: [‘sudo‘, ‘/usr/bin/neutron-rootwrap‘, ‘/etc/neutron/rootwrap.conf‘, ‘iptables-restore‘, ‘-c‘] Exit code: 2 Stdout: ‘‘ Stderr: "iptables-restore v1.4.21: interface name `406e066f-5d2a-4df9-b763-2bff230738cb‘ must be shorter than IFNAMSIZ (15)\nError occurred at line: 96\nTry `iptables-restore -h‘ or ‘iptables-restore --help‘ for more information.\n" 2015-07-13 23:30:54.312 9389 ERROR neutron.agent.linux.iptables_manager [req-63695db6-6bdf-4ec0-8186-55218a076ab5 None] IPTablesManager.apply failed to apply the following set of iptables rules。
下面的分析是基于 OVSHybridIptablesFirewallDriver 的。
理论上，qbr 桥只负责在虚机和 br-int 之间转发网络帧，因此 bridge 代码应该是用 filter 表的 FORWARD 链来处理这些网络帧。但是，基于还没有被找到的原因，Neutron 还是对 filter 表的 INPUT 链进行了处理。根据上面基础知识部分的描述，只有当 qbr 承担路由器功能时（达到的网络帧的目的 MAC 是它自己但是目的 IP 地址不是它自己时）才会调用 LOCAL_IN hook，从而走到 filter 的 INPUT 链。但是很明显，目前的 Neutron 中 qbr 只是 bridge，不承担 router 任务。这篇文章 也认为大多数经过 qbr 进出虚机的网络包会被 FORWARD 链处理，还是有网络包会被 INPUT 或者 OUTPUT 链处理。幸运的是，INPUT 和 OUTPUT 链的规则和 FORWARD 链的规则完全相同。这一块还会继续摸索，有大牛知晓还请不吝告知。
Neutron L2 Agent 承担使用 iptables 维护链和规则的任务。它为虚机的每块网卡的 tap 设备建立 i（进）、o（出） 和 s（防IP欺骗）链和规则，来实现：
来看看 Neutron 为了实现这些功能添加的 iptables 链：
-N neutron-filter-top -N neutron-openvswi-FORWARD #neutorn 定义的 FORWARD 链 -N neutron-openvswi-INPUT #Neutron 定义的 INPUT 链 -N neutron-openvswi-OUTPUT #Neutron 定义的 OUTPUT 链 -N neutron-openvswi-i6e3f2eda-3 #处理进入该虚机的网络包 -N neutron-openvswi-local -N neutron-openvswi-o6e3f2eda-3 #处理出该虚机的网络包 -N neutron-openvswi-s6e3f2eda-3 #处理出该虚机的网络包的防IP欺骗 -N neutron-openvswi-sg-chain -N neutron-openvswi-sg-fallback -A INPUT -j neutron-openvswi-INPUT #将 INPUT 链转到 neutron 的 INPUT 链 -A FORWARD -j neutron-filter-top -A FORWARD -j neutron-openvswi-FORWARD #将 FORWARD 链转到 neutorn 的 forward 链 -A OUTPUT -j neutron-filter-top -A OUTPUT -j neutron-openvswi-OUTPUT #将 OUTPUT 链转到 neutron 的 output 链 -A neutron-filter-top -j neutron-openvswi-local
这些链之间的关系：
先补充两个iptabels 的知识点：
-A neutron-openvswi-FORWARD -m physdev --physdev-out tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-sg-chain #处理进入虚机的数据包
-A neutron-openvswi-FORWARD -m physdev --physdev-in tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-sg-chain #处理出虚机的数据包
-A neutron-openvswi-INPUT -m physdev --physdev-in tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-o6e3f2eda-3 #处理出虚机的数据包
#处理进虚机的包
-A neutron-openvswi-i6e3f2eda-3 -m state --state INVALID -j DROP #丢弃无效连接
-A neutron-openvswi-i6e3f2eda-3 -m state --state RELATED,ESTABLISHED -j RETURN #允许已建立的连接
-A neutron-openvswi-i6e3f2eda-3 -s 90.1.180.3/32 -p udp -m udp --sport 67 --dport 68 -j RETURN #允许 DHCP 服务器 91.1.180.3 的返回包
-A neutron-openvswi-i6e3f2eda-3 -s 91.1.180.2/32 -p udp -m udp --sport 67 --dport 68 -j RETURN #允许 DHCP 服务器 91.1.180.2 的返回包
-A neutron-openvswi-i6e3f2eda-3 -j neutron-openvswi-sg-fallback #其余包交给 fallback 链处理
#处理出虚机的包
-A neutron-openvswi-o6e3f2eda-3 -p udp -m udp --sport 68 --dport 67 -j RETURN #允许 DHCP 访问
-A neutron-openvswi-o6e3f2eda-3 -j neutron-openvswi-s6e3f2eda-3 #防止 IP 欺骗
-A neutron-openvswi-o6e3f2eda-3 -p udp -m udp --sport 67 --dport 68 -j DROP #不允许对外提供 DHCP 服务
-A neutron-openvswi-o6e3f2eda-3 -m state --state INVALID -j DROP #禁止无效连接
-A neutron-openvswi-o6e3f2eda-3 -m state --state RELATED,ESTABLISHED -j RETURN #允许已建立的连接
-A neutron-openvswi-o6e3f2eda-3 -j neutron-openvswi-sg-fallback #其余交给 fallback 链处理
#防 IP 欺骗规则：防止该虚机被利用来做 IP 欺骗攻击。
-A neutron-openvswi-s6e3f2eda-3 -s 91.1.180.14/32 -m mac --mac-source FA:16:3E:F3:1E:C0 -j RETURN #允许从虚机发出的MAC 和IP 同虚机的 MAC 和 IP 的包
-A neutron-openvswi-s6e3f2eda-3 -j DROP #禁止其余包
-A neutron-openvswi-sg-chain -m physdev --physdev-out tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-i6e3f2eda-3 #处理进入虚机的包
-A neutron-openvswi-sg-chain -m physdev --physdev-in tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-o6e3f2eda-3 #处理出虚机的包
-A neutron-openvswi-sg-chain -j ACCEPT
-A neutron-openvswi-sg-fallback -j DROP #丢弃其它包
可见，此时，虚机的网络访问能力 = 基本网络能力（DHCP访问、允许已建立的连接、防 IP 欺骗）。也就是说虚机此时是无法网络访问和被网络访问，比如 ping，ssh 都无法连接。
（1）创建如下的安全组规则
s1@controller:~$ neutron port-update --security-group 0aff643b-7b34-4384-b482-f37eccef5b90 6e3f2eda-3230-45e8-9be5-f382af5b83ea Updated port: 6e3f2eda-3230-45e8-9be5-f382af5b83ea
（3）看看此时的 iptables filter 表的规则
-A neutron-openvswi-FORWARD -m physdev --physdev-out tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-sg-chain -A neutron-openvswi-FORWARD -m physdev --physdev-in tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-sg-chain -A neutron-openvswi-INPUT -m physdev --physdev-in tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-o6e3f2eda-3
#适用于进入虚机的网络包 -A neutron-openvswi-i6e3f2eda-3 -m state --state INVALID -j DROP -A neutron-openvswi-i6e3f2eda-3 -m state --state RELATED,ESTABLISHED -j RETURN -A neutron-openvswi-i6e3f2eda-3 -s 90.1.180.3/32 -p udp -m udp --sport 67 --dport 68 -j RETURN #DHCP server 1 -A neutron-openvswi-i6e3f2eda-3 -s 91.1.180.2/32 -p udp -m udp --sport 67 --dport 68 -j RETURN #DHCP Server 2 -A neutron-openvswi-i6e3f2eda-3 -s 15.5.0.0/16 -p tcp -m tcp --dport 110 -j RETURN #第 6 条自定义rule -A neutron-openvswi-i6e3f2eda-3 -p tcp -m tcp --dport 80 -j RETURN #第 4 条自定义 rule -A neutron-openvswi-i6e3f2eda-3 -s 100.1.100.0/24 -p udp -m udp --dport 53 -j RETURN #第 7 条自定义 rule -A neutron-openvswi-i6e3f2eda-3 -p icmp -j RETURN #第 2 条自定义 rule -A neutron-openvswi-i6e3f2eda-3 -j neutron-openvswi-sg-fallback #处理不满足以上 rule 的包，默认是丢弃
#处理出虚机的网络包 -A neutron-openvswi-o6e3f2eda-3 -p udp -m udp --sport 68 --dport 67 -j RETURN #允许访问 DHCP server -A neutron-openvswi-o6e3f2eda-3 -j neutron-openvswi-s6e3f2eda-3 #转防 IP 欺骗链 -A neutron-openvswi-o6e3f2eda-3 -p udp -m udp --sport 67 --dport 68 -j DROP #禁止提供 DHCP 服务 -A neutron-openvswi-o6e3f2eda-3 -m state --state INVALID -j DROP #禁止无效连接 -A neutron-openvswi-o6e3f2eda-3 -m state --state RELATED,ESTABLISHED -j RETURN #允许已建立连接 -A neutron-openvswi-o6e3f2eda-3 -p tcp -m tcp --dport 22 -j RETURN #自定义第 3 条规则 -A neutron-openvswi-o6e3f2eda-3 -p icmp -j RETURN #自定义第 1 条规则 -A neutron-openvswi-o6e3f2eda-3 -p tcp -m tcp --dport 80 -j RETURN #自定义第 5 条规则 -A neutron-openvswi-o6e3f2eda-3 -j neutron-openvswi-sg-fallback #处理不满足以上规则的数据包
#防 IP 欺骗规则 -A neutron-openvswi-s6e3f2eda-3 -s 91.1.180.14/32 -m mac --mac-source FA:16:3E:F3:1E:C0 -j RETURN -A neutron-openvswi-s6e3f2eda-3 -j DROP
#继续链转发 -A neutron-openvswi-sg-chain -m physdev --physdev-out tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-i6e3f2eda-3 #处理经过 qbr 进入虚机的网络包 -A neutron-openvswi-sg-chain -m physdev --physdev-in tap6e3f2eda-32 --physdev-is-bridged -j neutron-openvswi-o6e3f2eda-3 #处理经过 qbr 桥出虚机的包 -A neutron-openvswi-sg-chain -j ACCEPT #接受不经过 qbr 桥的网络包 -A neutron-openvswi-sg-fallback -j DROP #丢弃
结论：
此时，虚机的网络访问能力 = 基本网络能力（DHCP访问、允许已建立的连接、防 IP 欺骗）+ 用户自定义的规则允许的网络能力。
根据 官方文档 描述，每当有新的port被创建后，L2 Agent 会增加新的 ipset set 到 iptable 链之中（在我的测试中，如果没有后面的条件，ipset 是不会被创建的）；如果该 port 所属的安全组有与别的组共享的规则，那么别的安全组的成员就会被加入到该组中。
neutron 的 security-group-rule-create CLI 支持以两种形式指定允许（被）访问的对象：
--remote-ip-prefix REMOTE_IP_PREFIX CIDR to match on.
--remote-group-id REMOTE_GROUP Remote security group name or ID to apply rule.
比如下面的命令指定 remote security group 为 “default” security group：
s1@controller:~$ neutron security-group-rule-create --direction ingress --ethertype IPv4 --protocol tcp --port-range-min 22 --port-range-max 22 --remote-group-id f5377a66-803d-481b-b4c3-a6631e8ab456 0aff643b-7b34-4384-b482-f37eccef5b90 Created a new security_group_rule: +-------------------+--------------------------------------+ | Field | Value | +-------------------+--------------------------------------+ | direction | ingress | | ethertype | IPv4 | | id | 3340b429-22dc-4176-b5c0-01a4f449e812 | | port_range_max | 22 | | port_range_min | 22 | | protocol | tcp | | remote_group_id | f5377a66-803d-481b-b4c3-a6631e8ab456 | | remote_ip_prefix | | | security_group_id | 0aff643b-7b34-4384-b482-f37eccef5b90 | | tenant_id | 74c8ada23a3449f888d9e19b76d13aab | +-------------------+--------------------------------------+
这时候在 port 所在的计算节点上，有个新的 ipset set 被创建了。其命名规则为 protocol + remote-group-id 的一部分：
root@compute1:/home/s1# ipset list Name: IPv4f5377a66-803d-481b-b Type: hash:ip Revision: 2 Header: family inet hashsize 1024 maxelem 65536 Size in memory: 16536 References: 1 Members: 91.1.180.5 81.1.180.13
其 members 是应用了该规则的所有 port 的 IP：
s1@controller:~$ neutron port-list -c security_groups -c id -c mac_address -c fixed_ips -c device_id | grep f5377a66-803d-481b-b4c3-a6631e8ab456 | [u‘f5377a66-803d-481b-b4c3-a6631e8ab456‘] | 402fe6b1-7670-4b6b-84a3-097beed64015 | fa:16:3e:45:6b:8b | {"subnet_id": "13888749-12b3-462e-9afe-c527bd0a297e", "ip_address": "91.1.180.5"} | | | [u‘f5377a66-803d-481b-b4c3-a6631e8ab456‘] | 617d20fb-a635-4a03-95b1-bc15093fe32f | fa:16:3e:d8:29:9e | {"subnet_id": "4ec65731-35a5-4637-a59b-a9f2932099f1", "ip_address": "81.1.180.13"} |
然后该 port 所在的计算节点上的 iptables 中增加了一项：
-A neutron-openvswi-i6e3f2eda-3 -p tcp -m tcp --dport 22 -m set --match-set IPv4f5377a66-803d-481b-b src -j RETURN
这意味着该虚机允许上述 ipset chain 的members 访问。使用 “src” 是因为那条 rule 的方向是 “ingress”。
如果不使用 ipset 的话（设置 enable_ipset = False），iptables 规则为：
-A neutron-openvswi-i6e3f2eda-3 -s 91.1.180.5/32 -p tcp -m tcp --dport 22 -j RETURN -A neutron-openvswi-i6e3f2eda-3 -s 81.1.180.13/32 -p tcp -m tcp --dport 22 -j RETURN
这就可以看出使用 ipset 的价值：
root@compute1:/home/s1# ping 192.168.1.104 PING 192.168.1.104 (192.168.1.104) 56(84) bytes of data. 64 bytes from 192.168.1.104: icmp_seq=1 ttl=63 time=8.76 ms 64 bytes from 192.168.1.104: icmp_seq=2 ttl=63 time=2.41 ms 64 bytes from 192.168.1.104: icmp_seq=3 ttl=63 time=2.07 ms 64 bytes from 192.168.1.104: icmp_seq=4 ttl=63 time=1.23 ms
这种数据包来回共 4 次，seq 1 ~ 4。可以看到，达到 qbr 的网络包已经经过了 DNAT。
09:29:28.718256 fa:16:3e:90:e5:50 > fa:16:3e:f3:1e:c0, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 63, id 49778, offset 0, flags [DF], proto ICMP (1), length 84) 192.168.1.15 > 91.1.180.14: ICMP echo request, id 15849, seq 3, length 64 09:29:28.718670 fa:16:3e:f3:1e:c0 > fa:16:3e:90:e5:50, ethertype IPv4 (0x0800), length 98: (tos 0x0, ttl 64, id 53018, offset 0, flags [none], proto ICMP (1), length 84) 91.1.180.14 > 192.168.1.15: ICMP echo reply, id 15849, seq 3, length 64
（1）被 Forward 链处理的包进出各4个
（2）被 neutron-openvswi-i6e3f2eda-3 处理的进入虚机的 4 个包：第一各包被匹配到符合要求的 icmp 协议类型，以后三个是匹配到连接状态是 ESTABLISHED。
（3）被 neutron-openvswi-o6e3f2eda-3 处理出虚机的 4 各网络包：4 各皆通过 IP Spoofing 链的处理，然后被匹配到连接状态是 ESTABLISHED （连接应该是第一次有 icmp 包进来时被建立好的）
（4）没有经过 qbr 的网络包被 INPUT 链处理
（1）4个从虚机出去的包
（2）4个进入到虚机的包
注：以下材料引用自 这里，与最新的实现可能有些出入，仅供参考。
（1）neutron server 和 ML2 Agent
（2）neutron server 在 DB 操作后通过 RPC 调用 ML2 Agent
（3）当 ML2 Agent 检测到有新的虚机的 port 被 plug 到 OVS 后，它增加该 tap 设备的 iptables 链和规则
（4）当 ML2 Agent 监测到有虚机的 port 已经被从 OVS plug out 时，它删除对应的 tap 设备的 iptables 链和规则
（5）当安全组有更新的时候，Neutron Server 通过 RPC 通知 ML2 Agent 去更新 iptables rules
（6）当有安全组成员（policy）变更的时候，Neutron Server 通过 RPC 通知 ML2 Agent 去更新 iptables rules
Neutron 理解 (8): Neutron 是如何实现虚机防火墙的 [How Neutron Implements Security Group]
标签：
原文地址：http://www.cnblogs.com/sammyliu/p/4658746.html
