需求

容器化dns app比如bind，保留客户端地址，k8s服务对外一个地址,need lb service

可能的方案讨论

• service type cluster ip方式
  默认保留客户端ip；只能集群内部访问。

• 对clusterip 设置static route从外网访问，方案不好

• service type nodeport方式
  默认不保留。但service.spec.externalTrafficPolicy=local就可以了；前面加lb可以做到对外一个ip地址，但问题多多。

• service type loadbalancer方式
  默认不保留客户端IP地址。
  云厂商如google/aws支持保留客户端地址，但采用metallb（onpremis）的方式暂时不支持。

  • metallb

    1. lay2 arp
       目前不支持保留客户端ip。保留客户端的方式，正在开发中，时间不可估。
       metallb本身暂时不支持proxy protocol协议，bind也暂时不支持proxy protocol协议。所以proxy protocol方式也不可以。
    2. BGP 支持保留客户端ip
       需要BGP路由器。软件BGP路由器可行吗？

• ingress nginx，nodeport方式（onpremis）

  1. proxy protocol
     not support udp
     can deveploment upd ，but also need nginx udp protocol dev
  2. proxy bind ip透明方式 or dsr
     需要 container/pod后端和nginx端需要设置路由等
     需要先熟悉基本的ingress nginx 然后探索方便的方法进行container端的网络设置？有吗？

• 其他ingress方式如haproxy，envoy，traefik 目前都不支持upd负载均衡。

• 一种基于ecmp的方法
  https://github.com/Mirantis/k8s-externalipcontroller/blob/master/doc/ecmp-load-balancing.md
  有必要探索

todo

• 先走通ingress nginx
• 采用nodeport，因为我们只是单机集群，多个机器的k8s就不好使了。
• 采用kubectl forward proxy方式 有什么缺点呢？
• 探索最后一种基于ecmp的方法同时进行metalb的开发。

analysis

some solutions，efailovr=eternalfailover ifailover=internalfailover ，same as loadbalance eloadbalance=elb

1. nginx ingress（nodeport） + dns service(no elb，no efailover， no considering ingress nignx’s lb feature;);
2. keepalive-vip + nginx ingress（nodeport） + dns service , only efailover，nignx ingree add lb feature ;
3. keepalive-vip + dns service(nodeport) ,no elb,only efailover;
4. metalb bgp + nginx ingress（loadbalance type） +dns service (have elb and efailover，and ingress add lb feature);
5. metalb bgp + dns service(few compotent compared with above,have elb + efailover)
6. metalb layer2 + dns service(few compotent compared with above,have efailover，no elb )
7. metalb layer2 + nginx ingress（loadbalance type） +dns service (have efailover but ingress add lb feature);
8. k8s-externalipcontroller ?need explore later

we need presever client ip,need elb feature,so i think those three solutions are promising.
2,but ingress nginx need config upd proxy bind.
5,look simple ,but need bgp things
7,use layer2,but now have not impl preserver ip.