Az orvosi szóhasználatból átvett kifejezés az informatikában nem boncolást jelent: a postmortem jelentése az IT-üzemeltetésben egy incidens utáni írásos elemzés, amely leírja, mi történt, milyen hatása volt, miért következett be, és mit változtatunk, hogy ne ismétlődjön meg. Angolul incident review vagy post-incident review (PIR) néven is találkozhatsz vele. Nem a hibaelhárítás közben készül, hanem utána, nyugodt körülmények között – és nem bűnbakot keres, hanem javítható pontokat.
A nagy szolgáltatók rendszeresen nyilvánosságra hozzák a postmortemjeiket, és többről írtunk is már. Ebben a cikkben azt nézzük meg, hogyan írj postmortemet egy kisebb csapatnál, a saját rendszereidről.
Mi a postmortem jelentése a gyakorlatban?
Egy jó postmortem három kérdésre válaszol:
- Mi történt, és kit érintett? Tények, idővonal, hatás.
- Miért történhetett meg? Kiváltó ok és közrejátszó tényezők.
- Mit teszünk ellene? Konkrét feladatok felelőssel és határidővel.
Ha a harmadik rész hiányzik, a dokumentum csak egy történet. Ha az első kettő hiányos, a feladatok megalapozatlanok.
Hibáztatás nélküli kultúra
A Google SRE-könyvének postmortemekről szóló fejezete szerint a hibáztatás nélküli (blameless) postmortem a közrejátszó okokat azonosítja anélkül, hogy egy személyt vagy csapatot okolna, és abból indul ki, hogy mindenki jó szándékkal, a rendelkezésére álló információk alapján cselekedett. Ennek gyakorlati oka van: ha a kollégák attól tartanak, hogy a dokumentumból felelősségre vonás lesz, elhallgatják a részleteket, és éppen azok vesznek el, amelyekből tanulni lehetne.
A különbség a megfogalmazásban látszik. „A kolléga rossz szervert indított újra” helyett: „A két szerver neve egy karakterben tért el, és az újraindítás előtt nem volt megerősítő lépés.” Az első egy embert hibáztat, a második egy javítható folyamatot mutat meg. Ha valaki hibázni tudott, azt a rendszer engedte – ezen kell változtatni.
Mikor írj postmortemet?
Nem minden riasztás után kell. A küszöböket érdemes előre rögzíteni, hogy ne az incidens után kelljen vitatkozni róla. A Google SRE-könyve ezeket a tipikus eseteket sorolja fel:
- a felhasználók számára látható leállás vagy lassulás egy meghatározott küszöb felett;
- bármilyen adatvesztés;
- ügyeletes beavatkozás (visszaállás korábbi verzióra, forgalom átirányítása);
- egy küszöbnél hosszabb helyreállítási idő;
- a monitorozás hibája, vagyis amikor az incidenst ember vette észre, nem a riasztás.
Kis cégnél jó kiindulópont: minden ügyfelet érintő, 30 percnél hosszabb kiesés, minden adatvesztés és minden biztonsági incidens után. A „majdnem baj” eseteket – például egy mentést, amelyről kiderül, hogy hetek óta nem fut – szintén érdemes leírni; ezek a legolcsóbb tanulságok.
A postmortem felépítése
| Szakasz | Mi kerül bele? |
|---|---|
| Összefoglaló | 3–5 mondat: mi történt, mikor, meddig, mi volt az ok, mi a fő teendő |
| Hatás | Érintett szolgáltatások és ügyfelek, időtartam, adatvesztés, SLA-hatás |
| Idővonal | Időpontok egy időzónában: első jel, észlelés, beavatkozások, helyreállás |
| Kiváltó ok és közrejátszó tényezők | A közvetlen technikai ok, és minden körülmény, amely lehetővé tette vagy súlyosbította |
| Mi működött jól? | Ami gyorsította az észlelést vagy a helyreállást |
| Mi nem működött? | Hol vesztettünk időt, mi hiányzott |
| Teendők | Konkrét feladatok felelőssel, határidővel, prioritással |
Néhány gyakorlati tanács:
- Idővonal: egyetlen, megjelölt időzónát használj. A riasztások, chatüzenetek és naplók időbélyegeiből állítsd össze, ne emlékezetből. Az első jel és az észlelés közötti idő gyakran többet mond, mint maga a hiba.
- Kiváltó ok: ritkán van csak egy. Az „5 miért” módszer jó kiindulás, de a valós incidensekben jellemzően több tényező találkozik: egy hiba a kódban, egy hiányzó teszt, egy riasztás, amely nem szólt.
- Teendők: a „jobban figyelünk” nem teendő. Egy teendő akkor jó, ha ellenőrizhető: „Riasztás, ha a napi mentés 26 órán át nem fut le – felelős: X, határidő: augusztus 14.” A teendőket a meglévő jegykezelőben vezesd, ne csak a dokumentumban, különben elfelejtődnek.
Rövid magyar sablon
# Postmortem: [rövid cím] – [dátum]
Állapot: vázlat / átnézve / lezárva
Szerző: ... Résztvevők: ...
## Összefoglaló
## Hatás
- Érintett szolgáltatás(ok):
- Időtartam: [kezdet] – [vége] (CEST)
- Érintett ügyfelek, felhasználók:
- Adatvesztés:
## Idővonal
| Időpont | Esemény |
|---------|---------|
## Kiváltó ok és közrejátszó tényezők
## Mi működött jól?
## Mi nem működött?
## Teendők
| Teendő | Felelős | Határidő | Jegy |
|--------|---------|----------|------|
Az átnézés legyen kötelező lépés. A Google SRE-könyve szerint egy át nem nézett postmortem olyan, mintha meg sem íródott volna. Kis csapatnál ez lehet egy félórás megbeszélés az incidens utáni héten, ahol a teendők felelősei is ott vannak.
Mit tanulhatunk a nyilvános postmortemekből?
A nagy szolgáltatók nyilvános elemzései jó mintát adnak arra, hogyan néz ki egy alapos postmortem.
CrowdStrike, 2024. július. A hibás Falcon-frissítés után a cég öt nappal később előzetes elemzést adott ki, augusztus 6-án pedig a részletes okelemzést. Ez jó példa arra, hogy az első változat lehet hiányos, ha jelzi, mi várható még. Az okelemzés szerint az új sablontípus 21 bemeneti mezőt definiált, az ügynök viszont csak 20-at adott át; a tartalomértelmező nem ellenőrizte a határokat, és a kiadás előtti ellenőrző sem fogta meg a hibát. Egyetlen hiba helyett több közrejátszó tényező együtt.
AWS, 2025. október. Az us-east-1 leállásáról szóló összefoglaló percre pontos idővonalat ad, és nem áll meg a közvetlen oknál, a DynamoDB DNS-automatikájának versenyhelyzeténél: leírja, hogyan gyűrűzött tovább a hiba az EC2-be és a Network Load Balancerbe. A teendők konkrétak: a DNS-automatikát világszerte kikapcsolták a javításig, az NLB-nél pedig korlátozzák, mennyi kapacitást vehetnek ki az állapotellenőrzési hibák. Személyt sehol nem nevez meg.
Cloudflare, 2025. november. A Cloudflare-leállásról szóló elemzés még aznap megjelent, idővonal-táblázattal, kódrészlettel és bocsánatkéréssel. A legfontosabb rész a teendők listája: a saját generált konfigurációs fájljaikat ugyanúgy ellenőrzik, mint a felhasználói bemenetet, és több globális vészkapcsolót (kill switch) építenek be. Ez nemcsak az adott hibát zárja ki, hanem egy egész hibaosztályt.
Közös bennük, hogy tényszerűek, nem mentegetőznek, és a teendők rendszerszintűek.
Gyakori hibák
- Túl későn készül el. Két hét után a részletek már elvesztek; az első vázlat lehetőleg néhány napon belül legyen kész.
- A teendőknek nincs felelőse, ezért nem valósulnak meg.
- Csak a technikai okot keresi, a folyamatot (értesítés, eszkaláció, dokumentáció, hozzáférések) nem.
- Senki nem olvassa. Tedd a postmortemeket közös, kereshető helyre (wiki vagy Git-tároló), és egy hasonló incidensnél nézd meg, mi lett a korábbi teendőkkel.
Egy postmortem akkor éri meg a ráfordított időt, ha a következő incidens rövidebb lesz, vagy el sem következik. Ha az incidenskezelési folyamat, a monitorozás vagy az ügyeleti rend kialakításában kell segítség, nézd meg a Felhő és DevOps szolgáltatásainkat.