Proxmox HA klaszter: magas rendelkezésre állás kisebb cégeknek

Egyetlen virtualizációs szerver egyszerű és olcsó, de ha meghibásodik egy alaplap vagy egy tápegység, minden rajta futó gép leáll, amíg valaki ki nem cseréli az alkatrészt. A Proxmox HA klaszter erre ad választ: ha egy node kiesik, a rajta futó virtuális gépek és konténerek néhány percen belül automatikusan elindulnak egy másik node-on, emberi beavatkozás nélkül.

Ebben a cikkben a Proxmox VE 9 alapján összefoglaljuk, mi kell egy működő HA klaszterhez, hogyan dől el, melyik node „él”, és milyen kompromisszumokkal jár egy kisebb cégnél a két- vagy háromszerveres felépítés.

Klaszter és HA: nem ugyanaz

Egy Proxmox VE klaszter több node közös kezelését jelenti: egy felületről látod az összes szervert, a konfiguráció minden node-on szinkronban van (a /etc/pve fájlrendszerben), és a gépeket node-ok között költöztetheted. A HA (high availability, magas rendelkezésre állás) erre épül: a klaszter figyeli a HA-ba felvett gépeket, és ha a node-juk kiesik, máshol újraindítja őket.

Fontos: a HA nem élő tükrözés. Egy kieső node gépei újraindulnak, vagyis a memóriájuk tartalma elvész, és a Proxmox dokumentációja szerint a hiba észlelése és az átállás jellemzően nagyjából két percig tart. Egy webszervernek vagy egy belső alkalmazásnak ez bőven elég; ami ennél szigorúbb elvárás, azt alkalmazásszinten kell megoldani (például adatbázis-replikációval).

Quorum: miért kell legalább három szavazat?

A klaszter node-jai a Corosync nevű szoftverrel kommunikálnak, és minden node egy szavazatot kap. A klaszter csak akkor hoz döntést (indít el egy gépet, módosít konfigurációt), ha a szavazatok többsége – a quorum – elérhető.

Ez védi ki a legveszélyesebb helyzetet: ha két node csak egymást nem látja (például elszakad köztük a hálózat), de mindkettő fut, nem indíthatják el egyszerre ugyanazt a gépet ugyanarról a lemezről. Ez adatsérüléshez vezetne. Három node-nál az a fél, amelyik legalább két szavazatot lát, folytatja; az egyedül maradt node nem csinál semmit.

Node-ok száma Quorum Ennyi node eshet ki
2 2 0
2 + QDevice 2 (3 szavazatból) 1
3 2 1
4 3 1
5 3 2

Ezért kell a HA-hoz legalább három szavazat, és ezért nem ér többet a négy node a háromnál a hibatűrés szempontjából.

Fencing: mi történik a kieső node-dal?

Mielőtt a klaszter máshol elindítja egy kiesett node gépeit, biztosnak kell lennie abban, hogy azok a régi helyükön már biztosan nem futnak. Ezt hívják fencingnek. A Proxmox VE ezt watchdoggal oldja meg: minden HA-gépet futtató node folyamatosan „eteti” a watchdogot, amíg látja a quorumot. Ha elveszíti, a watchdog nagyjából 60 másodperc után újraindítja a node-ot. Ha nincs hardveres watchdog, a Linux beépített softdog modulja működik helyette.

Milyen tároló kell?

A HA-hoz a gépek lemezének egy másik node-ról is elérhetőnek kell lennie. Három gyakori megoldás:

Megoldás Hogyan működik? Előny Hátrány
Ceph (hiperkonvergens) A node-ok saját lemezeiből elosztott, replikált tároló Nincs külön storage-doboz, nincs adatvesztés node-kiesésnél Legalább 3 node, gyors (10 Gbit/s vagy gyorsabb) hálózat, több lemez
Közös hálózati tároló (NFS, iSCSI) Egy külön storage-eszköz, amelyet minden node elér Egyszerű, ismerős A storage maga is egyetlen hibapont, ha nem redundáns
ZFS-replikáció A node-ok helyi ZFS-kötetei között időzített másolás Olcsó, nem kell közös tároló Aszinkron: a legutóbbi szinkron óta írt adat elveszhet

A ZFS-replikáció kisebb környezetben vonzó, de tudni kell róla, hogy kieséskor a gép a legutóbbi replikált állapotból indul újra. Ha a replikáció 15 percenként fut, legfeljebb 15 percnyi adat veszhet el. Egy fájlszervernél vagy egy webszervernél ez gyakran elfogadható, egy számlázó adatbázisnál kevésbé.

A közös tároló egyébként nem helyettesíti a mentést: ha valaki töröl egy fájlt, a replikáció ezt is szépen átmásolja. A lemezek redundanciájáról a RAID szintekről szóló cikkünkben írtunk.

Hálózat

A Corosyncnak nem sávszélesség, hanem alacsony és stabil késleltetés kell: a dokumentáció 5 ms alatti értéket kér. Mi ezt javasoljuk:

  • külön hálózati port a Corosyncnak, 1 Gbit/s elég,
  • egy második Corosync-link egy másik fizikai hálózaton, tartaléknak,
  • Ceph esetén külön, gyors hálózat a tárolóforgalomnak, hogy egy nagy mentés vagy költöztetés ne fojtsa meg a klaszterkommunikációt.

Ha a Corosync ugyanazon a porton osztozik a mentési forgalommal, egy éjszakai mentés alatt a node-ok elveszíthetik egymást, és a HA feleslegesen újraindíthat gépeket.

Két szerver és egy QDevice

Sok kisebb cégnél három szerver túlzásnak tűnik. A Proxmox erre a QDevice-t kínálja: egy külső, kis gépen (akár egy Raspberry Pin vagy egy meglévő Linux-szerveren) futó szolgáltatást, amely a harmadik szavazatot adja, de virtuális gépeket nem futtat.

# A külső gépen (Debian):
apt install corosync-qnetd

# Mindkét Proxmox node-on:
apt install corosync-qdevice

# Az egyik node-on:
pvecm qdevice setup 192.168.10.5

Két node-nál a tároló a kérdés: a Ceph legalább három node-ot kíván, így marad a ZFS-replikáció vagy egy közös tároló. A ZFS-replikációs változat a legolcsóbb valódi HA, amit építeni lehet – a fenti adatvesztési kompromisszummal.

A klaszter létrehozása és a HA beállítása

A klasztert az első node-on hozod létre, a többit hozzáadod. Érdemes előbb a hálózatot és a névfeloldást (/etc/hosts) rendbe tenni, és az időszinkronizációt ellenőrizni.

# Az első node-on, külön Corosync-hálózattal:
pvecm create cegklaszter --link0 10.10.10.1

# A többi node-on:
pvecm add 10.10.10.1 --link0 10.10.10.2

# Állapot:
pvecm status

Ezután a gépeket felveheted a HA-ba, a webes felületen (a Datacenter nézet HA menüpontjában) vagy parancssorból:

ha-manager add vm:100 --state started
ha-manager add ct:200 --state started
ha-manager status

A Proxmox VE 9-ben a régi HA-csoportok helyett affinitási szabályok szabályozzák, hol futhatnak a gépek: a node affinity megmondja, mely node-okon, a resource affinity pedig azt, hogy bizonyos gépek együtt vagy épp külön node-on fussanak. Két redundáns tartományvezérlőt vagy DNS-szervert például érdemes „külön” szabállyal elválasztani, hogy egy node kiesése ne vigye el mindkettőt. Az újdonságokról a Proxmox VE 9 megjelenéséről szóló cikkünkben írtunk.

Karbantartás

Egy node frissítése előtt kapcsold karbantartási módba; ilyenkor a HA-gépek élő költöztetéssel átkerülnek a többi node-ra, utána pedig visszajönnek:

ha-manager crm-command node-maintenance enable pve2
# frissítés, újraindítás
ha-manager crm-command node-maintenance disable pve2

Mikor éri meg a HA klaszter?

  • Megéri, ha egy szerver napos kiesése komoly kárt okoz, és nincs olyan szervizszerződés, amely órákon belül alkatrészt hoz.
  • Megéri, ha sok gépet futtatsz, és a frissítéseket állásidő nélkül szeretnéd elvégezni.
  • Nem feltétlenül éri meg, ha egy-két kevésbé kritikus géped van; ott egy jó mentés és egy kipróbált visszaállítási terv gyakran olcsóbb és egyszerűbb.

Arról, hogy miért a Proxmox VE-t tartjuk a legjobb választásnak kisebb cégeknek, ebben a cikkben írtunk. Proxmox-klaszterek tervezésében, kiépítésében és üzemeltetésében segítünk; erről az Infrastruktúra és üzemeltetés oldalon olvashatsz.

Beszéljünk a projektedről

Írd le röviden, miben segíthetünk, és a lehető leghamarabb válaszolunk.

Kapcsolatfelvétel