K8s – Step by Step (Teil 1)

In diesem und den folgenden Posts wird ein einfacher Einstieg „auf Reiseflughöhe“ in einen eigenen Kubernetes-Cluster und weiteren Themen, wie Ansible, Image Registry und Helm Chartmuseum, Container, CI/CD usw. zum „Nachbauen“ dokumentiert.

Motivation

Warum einen „eigenen“ Kubernetes-Cluster aufbauen, wenn es doch so einfach gehen kann:

Imho, weil:

Wenn Du etwas verstehen willst, dann mach es „from scratch“
Das „heimische RZ“ bietet meist ausreichende Hardware für ein einfaches Setup
Aufbau von zusätzlichem Wissen, welches rund um ein selbst zusammengestelltes, automatisiertes Setup aufgebaut werden kann
Macht Laune 🙂
…

Vorwissen

Auch wenn die folgenden Schritte auch als „Abtipp“ bzw. „Kopier ich mal aus GitHub“ funktionieren, ist Grundlagen-Wissen mehr als sinnvoll/hilfreich:

Genutzte Installationsquellen

https://github.com/kubernetes-sigs/kubespray	GitHub
https://github.com/git67/k8s-step-by-step	GitHub
CentOS-8 – AppStream	CentOS Linux Repository
CentOS-8 – Base	CentOS Linux Repository
Docker CE Stable	CentOS Linux Repository
Extra Packages for Enterprise Linux 8 EPEL	EPEL Linux Repository
Extra Packages for Enterprise Linux Modular 8	EPEL Linux Repository
CentOS-8 – Extras	CentOS Linux Repository
kubernetes	Google Linux Repository

Umgebung/Sizing

Die folgende Grafik veranschaulicht das geplante Setup als funktionale Architekturübersicht.

Das Setup wird auf Virtualbox basierenden VM’s ausgeführt, grundsätzlich ist die Anleitung auch auf andere Plattformen übertragbar.

Die Sizing ist für einfache funktionale Test nicht repräsentativ und kann an die eigenen Bedürfnisse bzw. die vorhandene HW angepasst werden. Um relevante Use-Cases zu verproben, habe ich mich für ein relativ opulent ausgestattetes Setup entschieden. Kleinere Ausbaustufen wie z.B. Minikube (https://kubernetes.io/de/docs/setup/minikube/) oder eine kleinere Anzahl an Nodes ist natürlich auch möglich. Die im Weiteren genutzten IP-Adressen/Hostnamen/FQDN sind nur exemplarisch und können die jeweiligen Gegebenheiten angepasst werden.

Die geplante Installation erstellt einen Multi-Node Cluster mit folgenden Eigenschaften:

k8s-Release 1.19.x
3 Master Nodes
- Control Plane Cluster
3 Worker Nodes
- Laufzeitnodes für Pods
Container-Runtime: docker bzw. crio
- https://kubernetes.io/blog/2020/12/02/dont-panic-kubernetes-and-docker/
- https://cri-o.io/
etcd
- Key/Value Store für die Cluster-Konfiguration und Abbildung des Raft Consensus Algorithm
  - https://raft.github.io/
calico CNI-Plugin
- https://www.projectcalico.org/

Was fehlt noch bzw. wird in den nächsten Teilen bearbeitet:

Loadbalancing API-Server
- http://www.haproxy.org/
Private Container-Image Registry
- https://goharbor.io/
Helm
- https://helm.sh/
…

Anbei eine Übersicht über die geplante Ziel-Architektur:

- 7 VM
- 2 Netze
- Internetzugang

Hostname / FQDN	OS / Package Group	CPU/MEM	Nutzung	Hinweis
infra / infra.hs.local	CentOS 7.8 / Minimal Install	2/8	– Administration – DNS – Image Registry – Helmchart Museum – Ansible Control Node	/var/lib/docker als separates LV mit XFS (min. 20GB)
k8s-m1 / k8s-m1.hs.local	CentOS 8.2 / Minimal Install	2/8	– Kubernetes Master Node	/var/lib/docker als separates LV mit XFS (min. 10GB)
k8s-m2 / k8s-m2.hs.local	CentOS 8.2 / Minimal Install	2/8	– Kubernetes Master Node	/var/lib/docker als separates LV mit XFS (min. 10GB)
k8s-m3 / k8s-m3.hs.local	CentOS 8.2 / Minimal Install	2/8	– Kubernetes Master Node	/var/lib/docker als separates LV mit XFS (min. 10GB)
k8s-n1 / k8s-n1.hs.local	CentOS 8.2 / Minimal Install	2/16	– Kubernetes Node	/var/lib/docker als separates LV mit XFS (min. 10GB)
k8s-n2 / k8s-n2.hs.local	CentOS 8.2 / Minimal Install	2/16	– Kubernetes Node	/var/lib/docker als separates LV mit XFS (min. 10GB)
k8s-n3 / k8s-n3.hs.local	CentOS 8.2 / Minimal Install	2/16	– Kubernetes Node	/var/lib/docker als separates LV mit XFS (min. 10GB)

Ablauf Aufbau des Kubernetes Cluster in 3 Schritten

Weiter mit den Reitern …

Pre Steps

Setup und Vorbereitung des Infrastruktursystemes (FQDN: infra.hs.local)

Da das Infrastruktursystem in weiteren Ausbaustufen der Umgebung ein exponierte Rolle spielen wird bzw. die Installation einen hohen Automatisationsgrad haben sollte, ist etwas Vorbereitung und Aufwand durchaus gerechtfertigt.

Was wird benötigt bzw. sollte konfiguriert vorhanden sein:

DNS
- Namensauflösung aller involvierten System
Installation diverser Packages für spätere Nutzung
Ansible/Ansible-User
- Wird für die optionale Vorbereitung der Clusternodes verwendet
- Wird für die Installation des Clueter via kubespray benötigt

Check

Überprüfung der Konfiguration des DNS
- Namensauflösung aller involvierter Hosts (hier exemplarisch mit Domain hs.local)

root@infra:~ > dig  @infra.hs.local hs.local axfr | egrep "infra|k8s"

…

infra.hs.local.         86400   IN      A       192.168.56.30

k8s-m1.hs.local.        86400   IN      A       192.168.56.51

k8s-m2.hs.local.        86400   IN      A       192.168.56.52

k8s-m3.hs.local.        86400   IN      A       192.168.56.53

k8s-n1.hs.local.        86400   IN      A       192.168.56.61

k8s-n2.hs.local.        86400   IN      A       192.168.56.62

k8s-n3.hs.local.        86400   IN      A       192.168.56.63

…

Vorbereitung Ansible Control Node



root@infra:~ > yum install -y epel-release && \
               yum install -y git ansible python-pip python-devel openssl-devel gcc libffi-devel bash-completion && \
               pip install --upgrade pip

root@infra:~ >  adduser -m ansible && \
                echo 'ansible ALL=(ALL) NOPASSWD: ALL' > /etc/sudoers.d/ansible

root@infra:~ > ansible --version
ansible 2.9.6
...

root@infra:~ > su - ansible

ansible@infra:~ > ssh-keygen -t rsa -b 4096 -f ~/.ssh/id_rsa -N ''

Installation kubectl
- Für die spätere Kommunikation/Administration des k8s-Cluster wird der benötige API-Client „kubectl“ installiert
  - https://kubernetes.io/de/docs/tasks/tools/install-kubectl/

root@infra:~ >cat < /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg EOF root@infra:~ > yum install -y kubectl

root@infra:~ > kubectl version -o json
{
  "clientVersion": {
  "major": "1",
  "minor": "19",
  "gitVersion": "v1.19.4",
  "gitCommit": "d360454c9bcd1634cf4cc52d1867af5491dc9c5f",
  "gitTreeState": "clean",
  "buildDate": "2020-11-11T13:17:17Z",
  "goVersion": "go1.15.2",
  "compiler": "gc",
  "platform": "linux/amd64"
  }
}

Installation

Die Installation des Kubernetes Cluster wird im Wesentlichen automatisiert durch Ansible Playbooks übernommen.

Hierbei kommt im Besonderen das Kubespray-Projekt zum Einsatz. Kubespray stellt ein parametrisierbares Set an Tools und Playbooks zum Setup für unterschiedliche Kubernetes-Umgebungen zur Verfügung.

An dieser Stelle spiegeln sich die Erfahrungen/Best Practices der K8s-Community. Kubespray ist ein offizielles CNCF Projekt und unter Apache License 2.0.

https://kubespray.io/#/
https://kubernetes.io/docs/setup/production-environment/tools/kubespray/
https://github.com/kubernetes-sigs/kubespray
https://landscape.cncf.io/selected=kubespray

Desweiteren kommen individuelle Playbooks, welches für diese Blog-Reihe geschrieben wurden, zu Einsatz.

https://github.com/git67/k8s-step-by-step

Tipp:

Vor Beginn der Installation sollten Snapshots des aktuellen Systemzustandes der VMs der zukünftigen Kubernetes Cluster Nodes erstellt werden, um im Falle eines Installationsfehler auf den Ausgangszustand zurückzukehren.

Bereitstellung der benötigenten Ansible Playbooks

root@infra:~ > su - ansible

ansible@infra:~ > mkdir -p ~/ansible/projects; cd $_

ansible@infra:~/ansible/projects > git clone https://github.com/git67/k8s-step-by-step

ansible@infra:~/ansible/projects > git clone https://github.com/kubernetes-sigs/kubespray

ansible@infra:~/ansible/projects > ls -F
k8s-step-by-step/ kubespray/
…

k8s-step-by-step
- Ansible Environment auf allen Cluster Nodes erzeugen
- siehe README/* für die Funktion der Playbooks

ansible@infra:~/ansible/projects > cd k8s-step-by-step

ansible@infra:~/ansible/projects/k8s-step-by-step > vi inventories/hosts   #Hinweis: hier ist nur bei abweichenden Hostnamen eine Anpassung vorzunehmen
[master]
k8s-m1
k8s-m2
k8s-m3

[nodes]
k8s-n1
k8s-n2
k8s-n3

[cluster:children]
master
nodes

[all:vars]
ansible_ssh_common_args='-o UserKnownHostsFile=/dev/null -o GSSAPIAuthentication=no -o StrictHostKeyChecking=no'


ansible@infra:~/ansible/projects/k8s-step-by-step > source .env         #Ausführungs-Aliase setzen

ansible@infra:~/ansible/projects/k8s-step-by-step > _ri p_base_configure_ansible.yml       #Ansible Umgebung auf allen Cluster Nodes erzeugen
SSH password:                            #Hier das Root-Passwort der Cluster Nodes angeben
...
PLAY RECAP ************************************************************************************************************************
k8s-m1 : ok=14 changed=2 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-m2 : ok=14 changed=2 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-m3 : ok=14 changed=2 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-n1 : ok=14 changed=2 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-n2 : ok=14 changed=2 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-n3 : ok=14 changed=2 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0

ansible@infra:~/ansible/projects/k8s-step-by-step > _ra p_base_preconfigure_4_k8s.yml      #Vorbereitung für K8s-Installation (firewalld, etc.)
...
PLAY RECAP ************************************************************************************************************************
k8s-m1 : ok=31 changed=9 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-m2 : ok=31 changed=9 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-m3 : ok=31 changed=9 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-n1 : ok=31 changed=9 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-n2 : ok=31 changed=9 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0
k8s-n3 : ok=31 changed=9 unreachable=0 failed=0 skipped=1 rescued=0 ignored=0

kubespray
- Erstellung Ansible Inventory File
  - Das Inventory wird mit dem enthaltenen Inventory-Builder erzeugt und entsprechend angepasst
  - Selbstverständlich kann das Inventory auch manuell erzeugt werden bzw. durch einen anderen Mechanismus

ansible@infra:~/ansible/projects > cd kubespray/

ansible@infra:~/ansible/projects/kubespray > sudo pip3 install -r requirements.txt            #Installation benötigter Python Packages

ansible@infra:~/ansible/projects/kubespray > cp -rfp inventory/sample inventory/k8s-cluster   #Vorbereitung Ansible Inventory-Erstellung

ansible@infra:~/ansible/projects/kubespray > declare -a IPS=(192.168.56.51 192.168.56.52 192.168.56.53 192.168.56.61 192.168.56.62 192.168.56.63)       #Liste mit allen IP der Cluster Nodes, beginnend mit den Master Nodes

ansible@infra:~/ansible/projects/kubespray > CONFIG_FILE=inventory/k8s-cluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}     #Erzeugung Ansible Inventory -> inventory/k8s-cluster/hosts.yaml

ansible@infra:~/ansible/projects/kubespray > vi inventory/k8s-cluster/hosts.yaml     #Anpassung des generierten Ansible Inventory auf den gewünschten Zustand
all:
  hosts:
    k8s-m1:
      ansible_host: 192.168.56.51
      ip: 192.168.56.51
      access_ip: 192.168.56.51
    k8s-m2:
      ansible_host: 192.168.56.52
      ip: 192.168.56.52
      access_ip: 192.168.56.52
    k8s-m3:
      ansible_host: 192.168.56.53
      ip: 192.168.56.53
      access_ip: 192.168.56.53
    k8s-n1:
      ansible_host: 192.168.56.61
      ip: 192.168.56.61
      access_ip: 192.168.56.61
    k8s-n2:
      ansible_host: 192.168.56.62
      ip: 192.168.56.62
      access_ip: 192.168.56.62
    k8s-n3:
      ansible_host: 192.168.56.63
      ip: 192.168.56.63
      access_ip: 192.168.56.63
  children:
    kube-master:
      hosts:
        k8s-m1:
        k8s-m2:
        k8s-m3:
    kube-node:
      hosts:
        k8s-n1:
        k8s-n2:
        k8s-n3:
    etcd:
      hosts:
        k8s-m1:
        k8s-m2:
        k8s-m3:
  k8s-cluster:
    children:
      kube-master:
      kube-node:
  calico-rr:
    hosts: {}

Optional:
- Anpassung Installationskonfiguration für die Nutzung von Crio als Containerruntime

ansible@infra:~ > cd ~/ansible/projects/kubespray/inventory/k8s-cluster/
ansible@infra:~/ansible/projects/kubespray/inventory/k8s-cluster >sed -ie 's/^container_manager: docker/container_manager: crio/' ./group_vars/k8s-cluster/k8s-cluster.yml
ansible@infra:~/ansible/projects/kubespray/inventory/k8s-cluster >sed -ie 's/^etcd_deployment_type: docker/etcd_deployment_type: host/' ./group_vars/etcd.yml

kubespray
- Installation Cluster

ansible@infra:~/ansible/projects/kubespray > ansible-playbook cluster.yml -i inventory/k8s-cluster/hosts.yaml --become      #das kann jetzt etwas dauern :) ~15min
...
PLAY RECAP ************************************************************************************************************************
k8s-m1 : ok=567 changed=129 unreachable=0 failed=0 skipped=1057 rescued=0 ignored=1
k8s-m2 : ok=487 changed=115 unreachable=0 failed=0 skipped=912 rescued=0 ignored=1
k8s-m3 : ok=489 changed=116 unreachable=0 failed=0 skipped=910 rescued=0 ignored=1
k8s-n1 : ok=364 changed=83 unreachable=0 failed=0 skipped=555 rescued=0 ignored=1
k8s-n2 : ok=364 changed=83 unreachable=0 failed=0 skipped=554 rescued=0 ignored=1
k8s-n3 : ok=365 changed=83 unreachable=0 failed=0 skipped=553 rescued=0 ignored=1
localhost : ok=1 changed=0 unreachable=0 failed=0 skipped=0 rescued=0 ignored=0

Fertig !?

Post Steps

Überprüfung der Installation
- Auf einem der Master Nodes (k8s-m[1-3])
  - Node Status
  - Pod Status
  - etcd Status

root@k8s-m1:~ >kubectl cluster-info
Kubernetes master is running at https://192.168.56.51:6443

root@k8s-m1:~ > kubectl get nodes
NAME STATUS ROLES AGE VERSION
k8s-m1 Ready master 25h v1.19.4
k8s-m2 Ready master 25h v1.19.4
k8s-m3 Ready master 25h v1.19.4
k8s-n1 Ready  25h v1.19.4
k8s-n2 Ready  25h v1.19.4
k8s-n3 Ready  25h v1.19.4

root@k8s-m1:~ > kubectl get pods --field-selector=status.phase=Running --all-namespaces
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-kube-controllers-8b5ff5d58-cnj5h 1/1 Running 2 25h
kube-system calico-node-6bf7w 1/1 Running 2 25h
kube-system calico-node-8cgc5 1/1 Running 2 25h
kube-system calico-node-jjpmv 1/1 Running 2 25h
kube-system calico-node-ps62d 1/1 Running 2 25h
kube-system calico-node-smbw6 1/1 Running 2 25h
kube-system calico-node-zff4x 1/1 Running 2 25h
kube-system coredns-85967d65-hsn6g 1/1 Running 2 25h
kube-system coredns-85967d65-tn2bw 1/1 Running 2 25h
kube-system dns-autoscaler-5b7b5c9b6f-h24ql 1/1 Running 2 25h
kube-system kube-apiserver-k8s-m1 1/1 Running 2 25h
kube-system kube-apiserver-k8s-m2 1/1 Running 2 25h
kube-system kube-apiserver-k8s-m3 1/1 Running 2 25h
kube-system kube-controller-manager-k8s-m1 1/1 Running 2 25h
kube-system kube-controller-manager-k8s-m2 1/1 Running 2 25h
kube-system kube-controller-manager-k8s-m3 1/1 Running 2 25h
kube-system kube-proxy-2q8jn 1/1 Running 2 25h
kube-system kube-proxy-9q55h 1/1 Running 2 25h
kube-system kube-proxy-d89ww 1/1 Running 2 25h
kube-system kube-proxy-hsff9 1/1 Running 2 25h
kube-system kube-proxy-n22mt 1/1 Running 2 25h
kube-system kube-proxy-xd267 1/1 Running 2 25h
kube-system kube-scheduler-k8s-m1 1/1 Running 2 25h
kube-system kube-scheduler-k8s-m2 1/1 Running 2 25h
kube-system kube-scheduler-k8s-m3 1/1 Running 2 25h
kube-system nginx-proxy-k8s-n1 1/1 Running 2 25h
kube-system nginx-proxy-k8s-n2 1/1 Running 2 25h
kube-system nginx-proxy-k8s-n3 1/1 Running 2 25h
kube-system nodelocaldns-456vt 1/1 Running 2 25h
kube-system nodelocaldns-4s5zk 1/1 Running 2 25h
kube-system nodelocaldns-98t8r 1/1 Running 2 25h
kube-system nodelocaldns-c7tz8 1/1 Running 2 25h
kube-system nodelocaldns-rnt2r 1/1 Running 2 25h
kube-system nodelocaldns-z8pkn 1/1 Running 2 25h

root@k8s-m1:~ > ETCDCTL_API=3 etcdctl --endpoints=https://127.0.0.1:2379 --cacert=/etc/ssl/etcd/ssl/ca.pem --cert=/etc/ssl/etcd/ssl/member-k8s-m1.pem --key=/etc/ssl/etcd/ssl/member-k8s-m1-key.pem member list
2289a5b9cc697cd3, started, etcd3, https://192.168.56.53:2380, https://192.168.56.53:2379, false
28872a43b51a649f, started, etcd1, https://192.168.56.51:2380, https://192.168.56.51:2379, false
c05acfb186aa7a80, started, etcd2, https://192.168.56.52:2380, https://192.168.56.52:2379, false

root@k8s-m1:~ >for ENDPOINT in k8s-m1 k8s-m2 k8s-m3; do ETCDCTL_API=3;etcdctl --endpoints=https://${ENDPOINT}:2379 --cacert=/etc/ssl/etcd/ssl/ca.pem --cert=/etc/ssl/etcd/ssl/member-${ENDPOINT}.pem --key=/etc/ssl/etcd/ssl/member-${ENDPOINT}-key.pem endpoint health; done
https://k8s-m1:2379 is healthy: successfully committed proposal: took = 10.157177ms
https://k8s-m2:2379 is healthy: successfully committed proposal: took = 6.551268ms
https://k8s-m3:2379 is healthy: successfully committed proposal: took = 7.434769ms
…

Einrichtung Remote API-Client auf Infrastruktursystem
Bash Completion

root@infra:~ >mkdir ~/.kube

root@infra:~ >scp -root@k8s-m1:~/.kube/config ~/.kube/

root@infra:~ >kubectl get nodes -o wide  # siehe Information zur genutzten Containerruntime
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k8s-m1 Ready master 28d v1.19.4 192.168.56.51  CentOS Linux 8 4.18.0-240.1.1.el8_3.x86_64 cri-o://1.19.1
k8s-m2 Ready master 28d v1.19.4 192.168.56.52  CentOS Linux 8 4.18.0-240.1.1.el8_3.x86_64 cri-o://1.19.1
k8s-m3 Ready master 28d v1.19.4 192.168.56.53  CentOS Linux 8 4.18.0-240.1.1.el8_3.x86_64 cri-o://1.19.1
k8s-n1 Ready  28d v1.19.4 192.168.56.61  CentOS Linux 8 4.18.0-240.1.1.el8_3.x86_64 cri-o://1.19.1
k8s-n2 Ready  28d v1.19.4 192.168.56.62  CentOS Linux 8 4.18.0-240.1.1.el8_3.x86_64 cri-o://1.19.1
k8s-n3 Ready  28d v1.19.4 192.168.56.63  CentOS Linux 8 4.18.0-240.1.1.el8_3.x86_64 cri-o://1.19.1
root@infra:~ >echo "source <(kubectl completion bash)" >> ~/.bashrc

root@infra:~ >kubectl completion bash >/etc/bash_completion.d/kubectl

root@infra:~ >exec bash

Check API-Server Remote
- 1. Shellfenster

root@infra:~ > kubectl proxy
Starting to serve on 127.0.0.1:8001

- 2. Shellfenster

root@infra:~ >curl http://localhost:8001/version
{
"major": "1",
"minor": "19",
"gitVersion": "v1.19.4",
"gitCommit": "d360454c9bcd1634cf4cc52d1867af5491dc9c5f",
"gitTreeState": "clean",
"buildDate": "2020-11-11T13:09:17Z",
"goVersion": "go1.15.2",
"compiler": "gc",
"platform": "linux/amd64"
}

K8s – Step by Step (Teil 1)

Motivation

Vorwissen

Genutzte Installationsquellen

Umgebung/Sizing

Ablauf Aufbau des Kubernetes Cluster in 3 Schritten

Fertig !?

Fertig !

etomer home

Lösungen

Themen