Flannel简介
Flannel是为Kubernetes设计的一个基于CNI的网络插件，其目的是让集群中创建的所有容器都具有唯一的IP地址。一般情况下，每个节点中的Docker管理进程会负责其所在节点容器的IP分配，这样节点内部的容器可以互相访问，但是不同节点之间的容器无法通信。
Flannel的出现就是解决了上述不同节点间容器无法通信的问题，通过为集群中所有节点重新规划IP地址及其使用规则，从而使得不同节点上的容器都能够获取同一个内网且不重复的IP地址，并让不同节点上的容器直接通过内网IP通信。
Flannel架构原理
Flannel会在每一个节点上运行名为flanneld代理，其负责为该节点预先分配一个子网，并为Pod分配IP地址。Flannel使用Kubernetes或etcd来存储网络配置、分配的子网和主机公共IP等信息。数据包则通过VXLAN、UDP或host-gw这些类型的后端机制进行转发。
Flannel 服务启动后，首先读取配置信息及其子网列表，再选择一个可用的子网去注册。Flannel 使用etcd存储配置信息及子网分配内容，同时也存储了每个节点的ip地址。借助于etcd的watch机制监控子网配置信息所有的变化，并且根据它来维护一个路由表。
一条报文从一个容器发送到另外一个容器需要经历如下的过程：
- 报文直接使用目标容器的ip访问，默认通过容器内部的eth0发送出去；
- 报文通过veth pair 被发送到 vethxxx；
- vethxxx再连接到虚拟交换机Docker0，报文通过虚拟网桥Docker0发送出去；
- 查找路由表，外部容器ip的报文都会转到flannel0虚拟网卡，这是一个P2P的虚拟网卡，然后报文就被转到监听在另一端的flanneld；
- Flannel通过Etcd服务维护了一张各节点间的路由表，这里保存了各个节点主机的子网网段信息。把原来的报文UDP封装一层，通过配置的iface发送出去；
- 报文通过节点之间的网络找到目标节点；
- 报文继续往上送，到达传输层，交给监听的8285端口的flanneld服务处理；
- 数据被解包，然后直接发送给flannel0虚拟网卡；
- 查找路由表， 发现对应容器的报文并交给Docker0；
- Docker0找到对应的容器并发送报文过去。
Fannel实战
Flannel支持多种后端
VxLan
host gw：Host Gateway
通过ifconfig可以看到flannel.1：ip地址是10.244.0.0，用来封装隧道协议报文的。mtu 1450，叠加隧道封装会有额外开销。
另外还有个cni的接口：ip地址是10.244.0.1
- VxLan
-
VxLan
扩展的四层隧道协议，通过二层帧进行传送；先封装vxlan首部，再封装udp首部，再之外是ip首部，最外是以太网首部。这些额外的开销会导致性能比较低，但是能管理独立的网络。
VxLan - Directrouting
源容器和目标容器都在同一个节点，不用隧道。
-
host gw
Host Gateway，容器将报文发给虚拟接口，虚拟接口查询本机路由表，通过宿主机网关发送出去。
这种方式性能也不错，跟Calico没啥大的差别，但是有个缺陷就是各个节点的网络需要在同一个三层网络中。
host gw - UDP
普通的udp方式转发，性能更差
安装及配置
1.只用到amd64，3个副本的daemonset在三个不同的节点上
2.配置文件
Flannel的配置参数：
Network: flannel使用的CIDR格式的网络地址，用于为Pod配置网络功能，这是全局的网络地址，为每个节点配置一个子网：
10.244.0.0/16 ：最多只能是256个节点
master: 10.244.0.0/24
node01: 10.244.1.0/24
node02: 10.244.2.0/24
node03: 10.244.3.0/24
...
node255: 10.244.255.0/24
子网长度SubnetLen：把network切分子网供各个节点使用时，使用多长的掩码进行切分，默认为24；
最小SubnetMin：如10.244.0.0/24；
最大SubnetMax：如10.244.255.0/24；
Backend：vxlan, host-gw, udp
容器通信抓包：tcpdump -i cni0 -nn icmp/tcpdump -i flannel.1 -nn
报文从cni0进来，在flannel1封装成vxlan报文，再通过物理网卡出去。
tcpdump -i ens32 -nn 172.20.0.66
配置flannel
cd manifest
mkdir flannel
cd flannel
vim net-con.json
kubectl edit configmap kube-flannel-cfg -n kube-system
在Backend的Type下加一个"Directrouting": true
ip route show //查看路由，发现没有生效
查找原因
需要加个逗号，无语了......
只能下载执行https://github.com/coreos/flannel/blob/master/Documentation/kube-flannel.yml
先rm net-con.json，再修改下载的kube-flannel.yaml文件，把Directrouting加上。然后拆了重新装，kubectl delete -f kube-flannel.yaml
kubectl apply -f kube-flannel.yaml
直接从一个容器ping另外一个后抓包，直接通过物理网卡通信，物理网卡桥接网络，性能比较好。
改成host-gw，支持directrouting，host-gw各个节点必须在同一个网段，跨网段是不行的。
路由的效果也是一样的，也是vxlan的directrouting
