Ceph-Cluster unter Ubuntu mit cephadm aufbauen

Ceph ist das verteilte Speichersystem hinter den meisten ernsthaften Open-Source-Private-Clouds: Es bündelt die Festplatten vieler Server zu einem einzigen, selbstheilenden Cluster, der Block-, Objekt- und Dateispeicher zugleich bereitstellt. Unter Ubuntu 24.04 ist cephadm der unterstützte Weg zur Bereitstellung — es bootstrappt und verwaltet den Cluster als Container über systemd, ohne brüchige, handgestrickte Paketinstallationen.

Diese Anleitung baut einen kleinen, aber echten Ceph-Cluster von Grund auf: Hosts vorbereiten, den ersten Monitor mit cephadm bootstrappen, OSDs aus Rohfestplatten hinzufügen, die Cluster-Health prüfen und den ersten Storage-Pool anlegen. Sie spiegelt, wie clouditiv Ceph als Speicher-Rückgrat unter OpenStack betreibt.

Voraussetzungen

Sie benötigen drei Ubuntu-24.04-Hosts (einer reicht zum Lernen, drei liefern echte Replikation), jeweils mit mindestens einer leeren, unpartitionierten Festplatte für ein OSD zusätzlich zur Systemplatte. Außerdem brauchen Sie zeitsynchronisierte Uhren (chrony), passwortloses SSH vom Bootstrap-Knoten zu den anderen als root und mindestens 4 GiB RAM pro Knoten. Wählen Sie ein privates Management-Netz — die Beispiele nutzen 10.10.10.0/24.

Schritt 1: Jeden Host vorbereiten

Installieren Sie auf allen Knoten die Voraussetzungen und stellen Sie die Zeitsynchronisation sicher — Ceph verträgt keinen Zeitversatz zwischen Monitoren:

sudo apt update
sudo apt install -y chrony lvm2 podman
sudo systemctl enable --now chrony

Stellen Sie sicher, dass jeder Host die anderen über den Namen auflösen kann. Ohne internes DNS ergänzen Sie Einträge in /etc/hosts:

sudo tee -a /etc/hosts <<'EOF'
10.10.10.11 ceph-1
10.10.10.12 ceph-2
10.10.10.13 ceph-3
EOF

Schritt 2: cephadm auf dem Bootstrap-Knoten installieren

Installieren Sie auf dem ersten Knoten (ceph-1) das cephadm-Werkzeug. Das Distributionspaket genügt:

sudo apt install -y cephadm ceph-common

Prüfen Sie die Verfügbarkeit:

cephadm version

Schritt 3: Den Cluster bootstrappen

Das Bootstrapping erstellt den ersten Monitor und Manager, erzeugt Schlüssel und startet das Dashboard. Geben Sie die IP des Bootstrap-Knotens an:

sudo cephadm bootstrap --mon-ip 10.10.10.11

Am Ende gibt cephadm die Dashboard-URL und ein einmaliges Admin-Passwort aus — notieren Sie sie. Ab hier führen Sie Ceph-Befehle in der cephadm-Shell aus, die den Admin-Keyring eingebunden hat:

sudo cephadm shell -- ceph -s

Erwarten Sie zunächst ein HEALTH_WARN (zu wenige OSDs); das ist normal, bevor Sie Festplatten hinzufügen.

Schritt 4: Die weiteren Hosts in den Cluster aufnehmen

cephadm verwaltet entfernte Knoten per SSH mit seinem eigenen Schlüssel. Kopieren Sie den öffentlichen Cluster-Schlüssel auf jeden neuen Host und registrieren Sie sie:

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-2
ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-3
sudo cephadm shell -- ceph orch host add ceph-2 10.10.10.12
sudo cephadm shell -- ceph orch host add ceph-3 10.10.10.13

Listen Sie die Hosts auf, die der Orchestrator nun kennt:

sudo cephadm shell -- ceph orch host ls

Schritt 5: OSDs hinzufügen (Ihr Speicher)

Ein OSD (Object Storage Daemon) verwaltet eine Festplatte. Sehen Sie zuerst, welche Geräte Ceph clusterweit als verfügbar betrachtet:

sudo cephadm shell -- ceph orch device ls

Am einfachsten lassen Sie Ceph automatisch jede verfügbare Festplatte übernehmen:

sudo cephadm shell -- ceph orch apply osd --all-available-devices

Um stattdessen eine bestimmte Festplatte von Hand hinzuzufügen, geben Sie Host und Gerätepfad an:

sudo cephadm shell -- ceph orch daemon add osd ceph-2:/dev/sdb

Schritt 6: Cluster-Health verifizieren

Geben Sie den OSDs eine Minute zum Hochkommen und prüfen Sie dann den Status. Ein gesunder Drei-Knoten-Cluster meldet HEALTH_OK:

sudo cephadm shell -- ceph -s
sudo cephadm shell -- ceph osd tree

Die erwartete Ausgabe eines gesunden Clusters sieht so aus:

  cluster:
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph-1,ceph-2,ceph-3
mgr: ceph-1(active)
osd: 3 osds: 3 up, 3 in

Schritt 7: Den ersten Pool anlegen

Daten liegen in Pools. Erstellen Sie einen replizierten RBD-Pool (drei Kopien) und initialisieren Sie ihn für die Nutzung als Block-Device:

sudo cephadm shell -- ceph osd pool create rbd 64 64
sudo cephadm shell -- ceph osd pool application enable rbd rbd
sudo cephadm shell -- rbd pool init rbd

Bestätigen Sie, dass der Pool existiert, und prüfen Sie die Auslastung:

sudo cephadm shell -- ceph osd pool ls
sudo cephadm shell -- ceph df

Fehlerbehebung und Stolperfallen

• Hängt bei HEALTH_WARN „too few OSDs“ — Sie haben weniger OSDs als die Replikationsgröße des Pools (Standard 3). Fügen Sie Festplatten hinzu oder senken Sie die Größe im Labor.
• Gerät erscheint als nicht verfügbar — die Festplatte hat eine Partitionstabelle oder alte LVM-Signatur. Löschen Sie sie mit ceph orch device zap ceph-2 /dev/sdb --force.
• Clock skew detected — chrony ist auf einem Knoten nicht synchron; Ceph-Monitore erfordern enge Zeitübereinstimmung.
• SSH-Fehler beim Hinzufügen von Hosts — der öffentliche Cluster-Schlüssel steht nicht in den authorized_keys des Ziels; wiederholen Sie den ssh-copy-id-Schritt.

Wie es weitergeht

Mit einem gesunden Cluster und einem RBD-Pool besteht die Belohnung darin, diesen ausfallsicheren Speicher an virtuelle Maschinen anzubinden. Es geht weiter mit Ceph RBD als KVM/libvirt-VM-Storage. Auf dem Weg zu einer vollständigen Cloud unterlegen dieselben Pools Cinder-Block-Volumes in OpenStack.

Fazit

Sie haben mit cephadm einen selbstheilenden Ceph-Cluster gebootstrappt, OSDs hinzugefügt, HEALTH_OK erreicht und einen Pool für echte Workloads angelegt. Ceph ist genau das Speicher-Rückgrat, das clouditiv unter OpenStack betreibt — repliziert, skalierbar und von Grund auf fehlertolerant. Ceph in der Produktion zu betreiben bedeutet Kapazitätsplanung, Failure-Domain-Design und 24/7-Monitoring; wenn Sie diese Ausfallsicherheit lieber nutzen als betreiben möchten: clouditiv betreibt eine souveräne, ISO-27001-/BSI-C5-konforme Private Cloud auf Ubuntu 24.04 + OpenStack 2025.2 mit Ceph-Storage und Ihren Daten in Deutschland. Sehen Sie sich unsere On-Premise-Cloud-Lösung an.