Egy új Proxmox-szerver telepítésekor az egyik első és később legnehezebben megváltoztatható döntés a Proxmox tároló kiválasztása. A telepítő felajánlja az ext4-et LVM-thinnel, a ZFS-t és a Btrfs-t, klaszterben pedig ott a Ceph és a külső NFS- vagy iSCSI-tároló is. Mindegyik működik, de mást tud a snapshotok, az élő migráció és a magas rendelkezésre állás (HA) terén, és nagyon eltérő hardvert igényel.
Ebben a cikkben a május 21-én megjelent Proxmox VE 9.2 alapján (Debian 13.5, ZFS 2.4, új telepítésnél alapértelmezetten Ceph 20.2 „Tentacle”) összehasonlítjuk a leggyakoribb tárolótípusokat, és megmutatjuk, mit javaslunk egy-, két- és háromszerveres környezetbe.
LVM-thin: az egyszerű alapértelmezés
Ha a telepítőben ext4-et vagy XFS-t választasz, a Proxmox a rendszerlemez maradékán egy local-lvm nevű LVM-thin tárolót hoz létre. A virtuális gépek lemezei ezen logikai kötetek, vékony kiosztással (thin provisioning): egy 100 GB-os virtuális lemez csak annyi helyet foglal, amennyit a gép ténylegesen írt.
- Előny: gyors, kevés memóriát és CPU-t kér, támogatja a snapshotokat.
- Hátrány: önmagában nincs redundanciája, ezért a lemezhibák ellen alatta hardveres RAID kell. Nem megosztott, és a Proxmox replikációs funkciója sem működik vele.
Akkor jó választás, ha egyetlen szerverről van szó, amelyben már van megbízható, akkus gyorsítótárú RAID-vezérlő.
ZFS: helyi tároló sok extrával
A ZFS egyszerre kötetkezelő és fájlrendszer: maga kezeli a lemezeket, ellenőrzőösszeggel védi az adatokat, tömörít, és pillanatok alatt készít snapshotot. A Proxmox telepítője közvetlenül ZFS-re is telepít, tükörben (mirror, RAID 1/10) vagy RAID-Z-ben.
A RAID-Z szintek a RAID 5 és 6 megfelelői (az alapokról a RAID szintekről szóló cikkünkben írtunk), de virtuális gépek alá ritkán ezt választjuk. A Proxmox dokumentációja szerint egy RAID-Z vdev IOPS-ben nagyjából egyetlen lemezként viselkedik, a tükrözött vdevek viszont kedvezőbbek VM-terhelésre. Négy lemezből ezért általában két tükörpárt (RAID 10) építünk.
Néhány dolog, amire figyelni kell:
- Memória. A ZFS gyorsítótára, az ARC a RAM-ból dolgozik. A Proxmox VE 8.1 óta a telepítő az ARC-ot a memória 10%-ára, legfeljebb 16 GiB-ra korlátozza; ökölszabályként legalább 2 GiB plusz tárolt terabájtonként 1 GiB kell neki. Ezzel a virtuális gépek memóriájának tervezésekor számolni kell.
- Hardver. ZFS alá nem való saját gyorsítótárat kezelő RAID-vezérlő; HBA vagy „IT módba” állított vezérlő kell, a dokumentáció ECC memóriát javasol.
- SSD-k. Tapasztalatunk szerint a ZFS írásmintája az olcsó, fogyasztói SSD-ket gyorsan koptatja, és szinkron írásnál lassúak; szerverbe áramkimaradás elleni védelemmel (PLP) rendelkező, vállalati SSD-t teszünk.
A ZFS legnagyobb előnye klaszterben a tárolóreplikáció: a Proxmox időzítve (alapértelmezetten 15 percenként, de akár percenként) átmásolja a gépek lemezének változásait egy másik node azonos nevű ZFS-poolba. Így a gép gyorsan migrálható, és a HA is újra tudja indítani a másik node-on – a legutóbbi replikáció óta írt adatok elvesztésével.
Ceph: elosztott tároló három vagy több node-ra
A Ceph a node-ok helyi lemezeiből (OSD-k) épít egyetlen, megosztott és replikált tárolót. Alapértelmezetten minden adat három példányban, három különböző node-on van, így egy teljes szerver kiesése sem okoz adatvesztést, és a HA azonnal, a legfrissebb állapotból indítja újra a gépeket.
Ennek ára van. A Proxmox Ceph-útmutatója szerint:
- legalább három, lehetőleg azonos szerver kell, és összesen legalább 12 OSD javasolt, egyenletesen elosztva,
- a Ceph-forgalomnak legalább 10 Gbit/s-os, dedikált hálózat kell, nagy teljesítményű rendszereknél 25 Gbit/s,
- OSD-nként legalább 8 GiB memória javasolt a jó teljesítményhez, és minden Ceph-szolgáltatásnak legalább egy CPU-mag,
- RAID-vezérlő helyett itt is HBA kell, kis rendszerekben SSD-k a gyorsabb helyreállításért.
A háromszoros replikáció miatt a nyers kapacitásnak csak nagyjából harmada használható. Három-öt node esetén switch nélkül, full-mesh hálózattal is összeköthetők a gépek.
Megosztott NFS és iSCSI
Ha már van egy külön storage-eszközöd (NAS vagy SAN), a Proxmox NFS-en, CIFS-en vagy iSCSI-n is elérheti. A tároló minden node-ról látszik, így az élő migráció és a HA egyszerű.
- NFS: a lemezek qcow2 fájlok, snapshot is készíthető, de a dokumentáció szerint a belső qcow2-snapshot hálózati tárolón lassú, nagy lemeznél akár perceket vagy órákat vehet igénybe.
- iSCSI vagy Fibre Channel LVM-mel: blokkszintű, megosztott tároló. A snapshot régóta hiányzott róla; a Proxmox VE 9.0 óta „snapshot as volume chain” módban már lehetséges, de még technológiai előzetesként.
- ZFS over iSCSI: megosztott és snapshotolható, de csak bizonyos, ZFS-t futtató tárolókkal működik.
A külső tároló hátránya, hogy ha nem redundáns, ő maga lesz az egyetlen hibapont: ha leáll, minden gép leáll.
Melyik Proxmox tároló mit tud?
| LVM-thin | ZFS (helyi) | Ceph RBD | NFS | iSCSI + LVM | |
|---|---|---|---|---|---|
| Megosztott | nem | nem | igen | igen | igen |
| Snapshot | igen | igen | igen | igen (qcow2) | technológiai előzetes |
| Élő migráció | lemezmásolással, lassú | replikációval gyors | azonnali | azonnali | azonnali |
| HA | gyakorlatilag nem | replikációval, adatvesztéssel | igen | igen | igen |
| Replikáció | nem | igen | beépített (3 példány) | a tárolón múlik | a tárolón múlik |
| RAM/CPU-igény | alacsony | közepes (ARC) | magas | alacsony | alacsony |
| Legalább | 1 node | 1 node | 3 node | 1 node + storage | 1 node + storage |
| Tipikus felhasználás | egy szerver hardveres RAID-del | 1–2 node, kis klaszter | 3+ node HA | meglévő NAS | meglévő SAN |
Mit javaslunk?
Egy szerver: ZFS-tükör két vállalati SSD-vel, nagyobb helyigénynél négy lemezből RAID 10. Ha a gépben már jó hardveres RAID van, az LVM-thin is rendben van. Bármelyiket választod, a mentés legyen külön gépen: a RAID és a snapshot nem mentés.
Két szerver: mindkét node-on azonos nevű ZFS-pool, a fontos gépekre tárolóreplikáció, a quorumhoz pedig egy harmadik gépen futó QDevice. Ez olcsó, de aszinkron: elfogadhatónak kell lennie, hogy egy kieséskor néhány percnyi adat elveszhet. A részleteket a Proxmox HA klaszterről szóló cikkünkben írtuk le. Két node-ra Cephet nem építünk.
Három vagy több szerver: ha megvan a 10/25 Gbit/s-os hálózat, node-onként több vállalati SSD és elég memória, a Ceph adja a legjobb rendelkezésre állást. Ha a hardver ehhez kevés, a ZFS-replikáció vagy egy redundáns külső tároló a reálisabb.
A tárolót később nehéz cserélni: a gépeket át kell költöztetni, ami állásidővel és sok adatmozgatással jár. Ezért érdemes az elején a következő három-öt év igényeivel számolni. Ha még Proxmox VE 8-on vagy, ne feledd, hogy a támogatása a tervek szerint 2026 augusztusában ér véget; a 9-es főverzió újdonságairól a Proxmox VE 9.0 megjelenésekor írtunk.
Proxmox-szerverek és -klaszterek tervezésében, a tároló kiválasztásában és kiépítésében segítünk; erről az Infrastruktúra és üzemeltetés oldalon olvashatsz.