Egyetlen virtualizációs szerver egyszerű és olcsó, de ha meghibásodik egy alaplap vagy egy tápegység, minden rajta futó gép leáll, amíg valaki ki nem cseréli az alkatrészt. A Proxmox HA klaszter erre ad választ: ha egy node kiesik, a rajta futó virtuális gépek és konténerek néhány percen belül automatikusan elindulnak egy másik node-on, emberi beavatkozás nélkül.
Ebben a cikkben a Proxmox VE 9 alapján összefoglaljuk, mi kell egy működő HA klaszterhez, hogyan dől el, melyik node „él”, és milyen kompromisszumokkal jár egy kisebb cégnél a két- vagy háromszerveres felépítés.
Klaszter és HA: nem ugyanaz
Egy Proxmox VE klaszter több node közös kezelését jelenti: egy felületről látod az összes szervert, a konfiguráció minden node-on szinkronban van (a /etc/pve fájlrendszerben), és a gépeket node-ok között költöztetheted. A HA (high availability, magas rendelkezésre állás) erre épül: a klaszter figyeli a HA-ba felvett gépeket, és ha a node-juk kiesik, máshol újraindítja őket.
Fontos: a HA nem élő tükrözés. Egy kieső node gépei újraindulnak, vagyis a memóriájuk tartalma elvész, és a Proxmox dokumentációja szerint a hiba észlelése és az átállás jellemzően nagyjából két percig tart. Egy webszervernek vagy egy belső alkalmazásnak ez bőven elég; ami ennél szigorúbb elvárás, azt alkalmazásszinten kell megoldani (például adatbázis-replikációval).
Quorum: miért kell legalább három szavazat?
A klaszter node-jai a Corosync nevű szoftverrel kommunikálnak, és minden node egy szavazatot kap. A klaszter csak akkor hoz döntést (indít el egy gépet, módosít konfigurációt), ha a szavazatok többsége – a quorum – elérhető.
Ez védi ki a legveszélyesebb helyzetet: ha két node csak egymást nem látja (például elszakad köztük a hálózat), de mindkettő fut, nem indíthatják el egyszerre ugyanazt a gépet ugyanarról a lemezről. Ez adatsérüléshez vezetne. Három node-nál az a fél, amelyik legalább két szavazatot lát, folytatja; az egyedül maradt node nem csinál semmit.
| Node-ok száma | Quorum | Ennyi node eshet ki |
|---|---|---|
| 2 | 2 | 0 |
| 2 + QDevice | 2 (3 szavazatból) | 1 |
| 3 | 2 | 1 |
| 4 | 3 | 1 |
| 5 | 3 | 2 |
Ezért kell a HA-hoz legalább három szavazat, és ezért nem ér többet a négy node a háromnál a hibatűrés szempontjából.
Fencing: mi történik a kieső node-dal?
Mielőtt a klaszter máshol elindítja egy kiesett node gépeit, biztosnak kell lennie abban, hogy azok a régi helyükön már biztosan nem futnak. Ezt hívják fencingnek. A Proxmox VE ezt watchdoggal oldja meg: minden HA-gépet futtató node folyamatosan „eteti” a watchdogot, amíg látja a quorumot. Ha elveszíti, a watchdog nagyjából 60 másodperc után újraindítja a node-ot. Ha nincs hardveres watchdog, a Linux beépített softdog modulja működik helyette.
Milyen tároló kell?
A HA-hoz a gépek lemezének egy másik node-ról is elérhetőnek kell lennie. Három gyakori megoldás:
| Megoldás | Hogyan működik? | Előny | Hátrány |
|---|---|---|---|
| Ceph (hiperkonvergens) | A node-ok saját lemezeiből elosztott, replikált tároló | Nincs külön storage-doboz, nincs adatvesztés node-kiesésnél | Legalább 3 node, gyors (10 Gbit/s vagy gyorsabb) hálózat, több lemez |
| Közös hálózati tároló (NFS, iSCSI) | Egy külön storage-eszköz, amelyet minden node elér | Egyszerű, ismerős | A storage maga is egyetlen hibapont, ha nem redundáns |
| ZFS-replikáció | A node-ok helyi ZFS-kötetei között időzített másolás | Olcsó, nem kell közös tároló | Aszinkron: a legutóbbi szinkron óta írt adat elveszhet |
A ZFS-replikáció kisebb környezetben vonzó, de tudni kell róla, hogy kieséskor a gép a legutóbbi replikált állapotból indul újra. Ha a replikáció 15 percenként fut, legfeljebb 15 percnyi adat veszhet el. Egy fájlszervernél vagy egy webszervernél ez gyakran elfogadható, egy számlázó adatbázisnál kevésbé.
A közös tároló egyébként nem helyettesíti a mentést: ha valaki töröl egy fájlt, a replikáció ezt is szépen átmásolja. A lemezek redundanciájáról a RAID szintekről szóló cikkünkben írtunk.
Hálózat
A Corosyncnak nem sávszélesség, hanem alacsony és stabil késleltetés kell: a dokumentáció 5 ms alatti értéket kér. Mi ezt javasoljuk:
- külön hálózati port a Corosyncnak, 1 Gbit/s elég,
- egy második Corosync-link egy másik fizikai hálózaton, tartaléknak,
- Ceph esetén külön, gyors hálózat a tárolóforgalomnak, hogy egy nagy mentés vagy költöztetés ne fojtsa meg a klaszterkommunikációt.
Ha a Corosync ugyanazon a porton osztozik a mentési forgalommal, egy éjszakai mentés alatt a node-ok elveszíthetik egymást, és a HA feleslegesen újraindíthat gépeket.
Két szerver és egy QDevice
Sok kisebb cégnél három szerver túlzásnak tűnik. A Proxmox erre a QDevice-t kínálja: egy külső, kis gépen (akár egy Raspberry Pin vagy egy meglévő Linux-szerveren) futó szolgáltatást, amely a harmadik szavazatot adja, de virtuális gépeket nem futtat.
# A külső gépen (Debian):
apt install corosync-qnetd
# Mindkét Proxmox node-on:
apt install corosync-qdevice
# Az egyik node-on:
pvecm qdevice setup 192.168.10.5
Két node-nál a tároló a kérdés: a Ceph legalább három node-ot kíván, így marad a ZFS-replikáció vagy egy közös tároló. A ZFS-replikációs változat a legolcsóbb valódi HA, amit építeni lehet – a fenti adatvesztési kompromisszummal.
A klaszter létrehozása és a HA beállítása
A klasztert az első node-on hozod létre, a többit hozzáadod. Érdemes előbb a hálózatot és a névfeloldást (/etc/hosts) rendbe tenni, és az időszinkronizációt ellenőrizni.
# Az első node-on, külön Corosync-hálózattal:
pvecm create cegklaszter --link0 10.10.10.1
# A többi node-on:
pvecm add 10.10.10.1 --link0 10.10.10.2
# Állapot:
pvecm status
Ezután a gépeket felveheted a HA-ba, a webes felületen (a Datacenter nézet HA menüpontjában) vagy parancssorból:
ha-manager add vm:100 --state started
ha-manager add ct:200 --state started
ha-manager status
A Proxmox VE 9-ben a régi HA-csoportok helyett affinitási szabályok szabályozzák, hol futhatnak a gépek: a node affinity megmondja, mely node-okon, a resource affinity pedig azt, hogy bizonyos gépek együtt vagy épp külön node-on fussanak. Két redundáns tartományvezérlőt vagy DNS-szervert például érdemes „külön” szabállyal elválasztani, hogy egy node kiesése ne vigye el mindkettőt. Az újdonságokról a Proxmox VE 9 megjelenéséről szóló cikkünkben írtunk.
Karbantartás
Egy node frissítése előtt kapcsold karbantartási módba; ilyenkor a HA-gépek élő költöztetéssel átkerülnek a többi node-ra, utána pedig visszajönnek:
ha-manager crm-command node-maintenance enable pve2
# frissítés, újraindítás
ha-manager crm-command node-maintenance disable pve2
Mikor éri meg a HA klaszter?
- Megéri, ha egy szerver napos kiesése komoly kárt okoz, és nincs olyan szervizszerződés, amely órákon belül alkatrészt hoz.
- Megéri, ha sok gépet futtatsz, és a frissítéseket állásidő nélkül szeretnéd elvégezni.
- Nem feltétlenül éri meg, ha egy-két kevésbé kritikus géped van; ott egy jó mentés és egy kipróbált visszaállítási terv gyakran olcsóbb és egyszerűbb.
Arról, hogy miért a Proxmox VE-t tartjuk a legjobb választásnak kisebb cégeknek, ebben a cikkben írtunk. Proxmox-klaszterek tervezésében, kiépítésében és üzemeltetésében segítünk; erről az Infrastruktúra és üzemeltetés oldalon olvashatsz.