Proxmox tároló: ZFS, LVM-thin, Ceph vagy NFS – melyiket válaszd?

Egy új Proxmox-szerver telepítésekor az egyik első és később legnehezebben megváltoztatható döntés a Proxmox tároló kiválasztása. A telepítő felajánlja az ext4-et LVM-thinnel, a ZFS-t és a Btrfs-t, klaszterben pedig ott a Ceph és a külső NFS- vagy iSCSI-tároló is. Mindegyik működik, de mást tud a snapshotok, az élő migráció és a magas rendelkezésre állás (HA) terén, és nagyon eltérő hardvert igényel.

Ebben a cikkben a május 21-én megjelent Proxmox VE 9.2 alapján (Debian 13.5, ZFS 2.4, új telepítésnél alapértelmezetten Ceph 20.2 „Tentacle”) összehasonlítjuk a leggyakoribb tárolótípusokat, és megmutatjuk, mit javaslunk egy-, két- és háromszerveres környezetbe.

LVM-thin: az egyszerű alapértelmezés

Ha a telepítőben ext4-et vagy XFS-t választasz, a Proxmox a rendszerlemez maradékán egy local-lvm nevű LVM-thin tárolót hoz létre. A virtuális gépek lemezei ezen logikai kötetek, vékony kiosztással (thin provisioning): egy 100 GB-os virtuális lemez csak annyi helyet foglal, amennyit a gép ténylegesen írt.

  • Előny: gyors, kevés memóriát és CPU-t kér, támogatja a snapshotokat.
  • Hátrány: önmagában nincs redundanciája, ezért a lemezhibák ellen alatta hardveres RAID kell. Nem megosztott, és a Proxmox replikációs funkciója sem működik vele.

Akkor jó választás, ha egyetlen szerverről van szó, amelyben már van megbízható, akkus gyorsítótárú RAID-vezérlő.

ZFS: helyi tároló sok extrával

A ZFS egyszerre kötetkezelő és fájlrendszer: maga kezeli a lemezeket, ellenőrzőösszeggel védi az adatokat, tömörít, és pillanatok alatt készít snapshotot. A Proxmox telepítője közvetlenül ZFS-re is telepít, tükörben (mirror, RAID 1/10) vagy RAID-Z-ben.

A RAID-Z szintek a RAID 5 és 6 megfelelői (az alapokról a RAID szintekről szóló cikkünkben írtunk), de virtuális gépek alá ritkán ezt választjuk. A Proxmox dokumentációja szerint egy RAID-Z vdev IOPS-ben nagyjából egyetlen lemezként viselkedik, a tükrözött vdevek viszont kedvezőbbek VM-terhelésre. Négy lemezből ezért általában két tükörpárt (RAID 10) építünk.

Néhány dolog, amire figyelni kell:

  • Memória. A ZFS gyorsítótára, az ARC a RAM-ból dolgozik. A Proxmox VE 8.1 óta a telepítő az ARC-ot a memória 10%-ára, legfeljebb 16 GiB-ra korlátozza; ökölszabályként legalább 2 GiB plusz tárolt terabájtonként 1 GiB kell neki. Ezzel a virtuális gépek memóriájának tervezésekor számolni kell.
  • Hardver. ZFS alá nem való saját gyorsítótárat kezelő RAID-vezérlő; HBA vagy „IT módba” állított vezérlő kell, a dokumentáció ECC memóriát javasol.
  • SSD-k. Tapasztalatunk szerint a ZFS írásmintája az olcsó, fogyasztói SSD-ket gyorsan koptatja, és szinkron írásnál lassúak; szerverbe áramkimaradás elleni védelemmel (PLP) rendelkező, vállalati SSD-t teszünk.

A ZFS legnagyobb előnye klaszterben a tárolóreplikáció: a Proxmox időzítve (alapértelmezetten 15 percenként, de akár percenként) átmásolja a gépek lemezének változásait egy másik node azonos nevű ZFS-poolba. Így a gép gyorsan migrálható, és a HA is újra tudja indítani a másik node-on – a legutóbbi replikáció óta írt adatok elvesztésével.

Ceph: elosztott tároló három vagy több node-ra

A Ceph a node-ok helyi lemezeiből (OSD-k) épít egyetlen, megosztott és replikált tárolót. Alapértelmezetten minden adat három példányban, három különböző node-on van, így egy teljes szerver kiesése sem okoz adatvesztést, és a HA azonnal, a legfrissebb állapotból indítja újra a gépeket.

Ennek ára van. A Proxmox Ceph-útmutatója szerint:

  • legalább három, lehetőleg azonos szerver kell, és összesen legalább 12 OSD javasolt, egyenletesen elosztva,
  • a Ceph-forgalomnak legalább 10 Gbit/s-os, dedikált hálózat kell, nagy teljesítményű rendszereknél 25 Gbit/s,
  • OSD-nként legalább 8 GiB memória javasolt a jó teljesítményhez, és minden Ceph-szolgáltatásnak legalább egy CPU-mag,
  • RAID-vezérlő helyett itt is HBA kell, kis rendszerekben SSD-k a gyorsabb helyreállításért.

A háromszoros replikáció miatt a nyers kapacitásnak csak nagyjából harmada használható. Három-öt node esetén switch nélkül, full-mesh hálózattal is összeköthetők a gépek.

Megosztott NFS és iSCSI

Ha már van egy külön storage-eszközöd (NAS vagy SAN), a Proxmox NFS-en, CIFS-en vagy iSCSI-n is elérheti. A tároló minden node-ról látszik, így az élő migráció és a HA egyszerű.

  • NFS: a lemezek qcow2 fájlok, snapshot is készíthető, de a dokumentáció szerint a belső qcow2-snapshot hálózati tárolón lassú, nagy lemeznél akár perceket vagy órákat vehet igénybe.
  • iSCSI vagy Fibre Channel LVM-mel: blokkszintű, megosztott tároló. A snapshot régóta hiányzott róla; a Proxmox VE 9.0 óta „snapshot as volume chain” módban már lehetséges, de még technológiai előzetesként.
  • ZFS over iSCSI: megosztott és snapshotolható, de csak bizonyos, ZFS-t futtató tárolókkal működik.

A külső tároló hátránya, hogy ha nem redundáns, ő maga lesz az egyetlen hibapont: ha leáll, minden gép leáll.

Melyik Proxmox tároló mit tud?

  LVM-thin ZFS (helyi) Ceph RBD NFS iSCSI + LVM
Megosztott nem nem igen igen igen
Snapshot igen igen igen igen (qcow2) technológiai előzetes
Élő migráció lemezmásolással, lassú replikációval gyors azonnali azonnali azonnali
HA gyakorlatilag nem replikációval, adatvesztéssel igen igen igen
Replikáció nem igen beépített (3 példány) a tárolón múlik a tárolón múlik
RAM/CPU-igény alacsony közepes (ARC) magas alacsony alacsony
Legalább 1 node 1 node 3 node 1 node + storage 1 node + storage
Tipikus felhasználás egy szerver hardveres RAID-del 1–2 node, kis klaszter 3+ node HA meglévő NAS meglévő SAN

Mit javaslunk?

Egy szerver: ZFS-tükör két vállalati SSD-vel, nagyobb helyigénynél négy lemezből RAID 10. Ha a gépben már jó hardveres RAID van, az LVM-thin is rendben van. Bármelyiket választod, a mentés legyen külön gépen: a RAID és a snapshot nem mentés.

Két szerver: mindkét node-on azonos nevű ZFS-pool, a fontos gépekre tárolóreplikáció, a quorumhoz pedig egy harmadik gépen futó QDevice. Ez olcsó, de aszinkron: elfogadhatónak kell lennie, hogy egy kieséskor néhány percnyi adat elveszhet. A részleteket a Proxmox HA klaszterről szóló cikkünkben írtuk le. Két node-ra Cephet nem építünk.

Három vagy több szerver: ha megvan a 10/25 Gbit/s-os hálózat, node-onként több vállalati SSD és elég memória, a Ceph adja a legjobb rendelkezésre állást. Ha a hardver ehhez kevés, a ZFS-replikáció vagy egy redundáns külső tároló a reálisabb.

A tárolót később nehéz cserélni: a gépeket át kell költöztetni, ami állásidővel és sok adatmozgatással jár. Ezért érdemes az elején a következő három-öt év igényeivel számolni. Ha még Proxmox VE 8-on vagy, ne feledd, hogy a támogatása a tervek szerint 2026 augusztusában ér véget; a 9-es főverzió újdonságairól a Proxmox VE 9.0 megjelenésekor írtunk.

Proxmox-szerverek és -klaszterek tervezésében, a tároló kiválasztásában és kiépítésében segítünk; erről az Infrastruktúra és üzemeltetés oldalon olvashatsz.

Beszéljünk a projektedről

Írd le röviden, miben segíthetünk, és a lehető leghamarabb válaszolunk.

Kapcsolatfelvétel