/docs/MyDocs

High-Availability

=================

 - For HA, a multi-master cluster should be set. As master nodes take care for routing traffic, the network should be configured in the

 way all traffic to the OpenShift cluster end up on one of the currently alive master nodes. There is a few standard ways:

    * The external load-balancer (for instance HAProxy) can be configured which would route traffic to the master nodes. The HA of load-balancer

    should be already achieved by other means. 

    * The IPFailover pod may maintain a virtual IP on the master nodes migrating it to alive node (the pod with keepalived will be running on all

    master nodes and decide where the IP goes). For load-balancing, multiple virtual IPs can be maintained by IPFailover service. Then, the DNS

    could be configured to resolve the OpenShift subdomain in round-robin fashion. With current version, unfortunatelly, this does not work as

    all IPs are always assigned to the same node (fix is available in ose, but not in origin):

        https://github.com/openshift/origin/commit/11034c6fc7fbe50d6cf9442c47749acf77407a87

    Theoretically, this can be circumvented by running HAProxy on all masters which will rebalance the traffic...

    * Also, keep alived may be configured on the baremetal to avoid this problem,

 - The pod-reschedulling strategy should be set (if possible! not for databases) to rolling (i.e. during the updates first create a new pod and, then, 

 destroy the existing one) instead of recreate (when first old pod is destroyed)

 - However, this is not enough if HA is critical. It takes OpenShift some time to detect that node is crashed and re-schedule pods elsewhere. 

 The rescheduling from dead nodes is controlled by 'openshift_master_pod_eviction_timeout' paramter.

    * While we can run multiple Apache pods to avoid interruption of the service, only a single instance of MySQL is allowed to run.

    * Some databases, including MySQL, it seems possible to run in read-only mode. So, we can run multiple reader nodes in parallel with read/write. 

    This may help to provide at least partial service during the outages.

 

 

IPFailover

==========

 - Commands

    oc adm ipfailover ipfailover --virtual-ips="141.52.64.15,141.52.64.17" --create             - creates IPFailover 'sa' which is allowed to run privileged containers and start ipfailover pods

                                                                                                with keepalived service which will manage the specified list of IPs

        -i eth1                                                                                 - instructs on which host interface the keepalived will listen

        --replicas=2 --selector="master=1"                                                      - instructs where to run the ipfailover pods (and how many of them)

        --watch-port 8443                                                                       - consider OpenShift node dead if the specified TCP port is not responding

 

 - Problems

    * IPs are assinged with '/32', so there should be already non-virtual IP from the proper net assigned to each node.

    * There are also some strange problems with missing virtual IPs due to pods continously switching between master and slave modes (which may not start immideately). It seems this

    is triggered when 'keepalived' and generated 'VirtualIPs' are using the same interface. This basically prevents us from running OpenShift cluster on 192.168.26.x/141.52.64.x 

    network.