Július 19-én, pénteken hajnalban világszerte gépek millióin jelent meg a kék halál (BSOD): a CrowdStrike Falcon nevű végpontvédelmi szoftverének egy hibás frissítése miatt a Windows-gépek összeomlottak, és újraindítás után is újra és újra összeomlottak. Légitársaságok, kórházak, bankok, tévécsatornák és boltok álltak le. A Microsoft becslése szerint 8,5 millió Windows-eszköz volt érintett, ami az összes Windows-gép kevesebb mint egy százaléka – mégis ez lett az egyik legnagyobb informatikai leállás, amit eddig láttunk.
Egy hét telt el, a legtöbb gép már újra működik, és a CrowdStrike közzétette az előzetes eseményelemzését. Ebben a cikkben összefoglaljuk, mi történt, és mit tanulhat belőle minden üzemeltető – akkor is, ha nem használ CrowdStrike-ot.
Mi történt?
A CrowdStrike közlése szerint július 19-én 04:09-kor (UTC, magyar idő szerint 06:09-kor) kiadtak egy úgynevezett tartalomfrissítést a Windowsos Falcon-ügynökhöz. Ez nem programfrissítés volt, hanem egy konfigurációs fájl (a „Channel File 291”, a lemezen C-00000291*.sys néven), amely az ügynöknek új támadási mintákról ad információt. A fájl hibás tartalma miatt az ügynök kernelben futó része érvénytelen memóriaterületet olvasott, és ez a teljes rendszert összeomlasztotta.
A CrowdStrike 05:27-kor (UTC) visszavonta a frissítést, de addigra minden gép, amely 7.11-es vagy újabb ügynökkel ebben a 78 percben online volt, megkapta. A Linuxos és macOS-es gépeket a hiba nem érintette.
A július 24-i előzetes elemzés szerint:
- az ilyen tartalomfrissítéseket egy automatikus ellenőrző (Content Validator) vizsgálja kiadás előtt, és ennek egy hibája miatt csúszott át a hibás fájl;
- a tartalomfrissítések egyszerre mentek ki minden ügyfélhez, és rájuk nem vonatkoztak az ügyfelek által beállítható verziókésleltetési szabályok (amelyekkel például az ügynök egy korábbi verzióját lehet futtatni);
- a CrowdStrike a jövőre lépcsőzetes kiadást ígér (először egy kis „kanári” csoportnak, aztán fokozatosan mindenkinek), több tesztet, jobb hibakezelést, és azt, hogy az ügyfelek maguk dönthessék el, mikor és hol települjenek a tartalomfrissítések.
A részletes okelemzés még nem jelent meg.
Miért tartott ilyen sokáig a helyreállítás?
A hibás fájlt percek alatt visszavonták, a gépeket mégis napokig javították. Az ok egyszerű: egy olyan gépre, amely a rendszerindítás közben omlik össze, nem lehet távolról frissítést küldeni. A javítás gépenként kézi munka volt:
- A gépet csökkentett módban (Safe Mode) vagy a Windows helyreállítási környezetében (WinRE) kell elindítani.
-
Törölni kell a hibás fájlt:
del C:\Windows\System32\drivers\CrowdStrike\C-00000291*.sys - Újraindítás.
Ez egy irodai gépnél tíz perc, de ha a gép lemeze BitLockerrel titkosított, csak a helyreállítási kulccsal lehet hozzáférni. Sok helyen a kulcsok egy olyan rendszerben voltak, amely maga is leállt. A szerverteremben vagy távoli adatközpontban álló gépeknél konzol-hozzáférés kellett, a felhős Windows-gépeknél pedig a rendszerlemezt le kellett választani, egy másik géphez csatolni, ott törölni a fájlt, majd visszacsatolni – az AWS, a Microsoft Azure és a Google Cloud is lépésenkénti útmutatót adott ki erre. A Microsoft egy pendrive-ról indítható helyreállító eszközt is közzétett.
Tanulságok üzemeltetőknek
1. Lépcsőzetes kiadás – a saját frissítéseidnél is
A CrowdStrike hibája az volt, hogy egy változás egyszerre jutott el mindenhová. Ugyanez a kockázat a saját környezetedben is megvan: egy Windows-frissítés, egy új tűzfalszabály vagy egy konfigurációváltozás, amely egyszerre megy ki minden gépre. Oszd a gépeket csoportokba (teszt, néhány kevésbé kritikus éles gép, majd a többi), és a csoportok között hagyj időt a hibák előjövetelére. Szoftverbeszerzésnél pedig kérdezd meg a gyártót: hogyan adja ki a frissítéseit, és te mennyire szólhatsz bele?
2. Hozzáférés a gépekhez, amikor a hálózat nem segít
Ahol volt működő konzol-hozzáférés, ott a javítás percekig tartott. Fizikai szervereknél ez IPMI, iDRAC vagy iLO, virtuális gépeknél a hipervizor konzolja (például a Proxmox VE webes konzolja), a felhőben a soros konzol. Nézd meg, hogy minden kritikus géphez van-e ilyen hozzáférésed, működik-e, és tudod-e a jelszavát.
3. A BitLocker-kulcsok legyenek elérhetők
A helyreállítási kulcsokat úgy tárold, hogy akkor is hozzáférj, ha a Windows-környezeted nagy része áll: például egy jelszókezelőben, amely nem ugyanazon az infrastruktúrán fut, a legkritikusabb szervereknél akár kinyomtatva egy széfben. Egy gép kulcsazonosítóját és helyreállítási jelszavát így kérdezheted le:
manage-bde -protectors -get C:
4. Mentés és pillanatkép, kipróbált visszaállítással
Akinek volt július 19. 04:09 előtti pillanatképe a virtuális gépeiről, annak elég volt visszaállni rá. Ehhez rendszeres pillanatkép vagy mentés kell, és egy kipróbált eljárás arra, hogyan állítasz vissza egyszerre sok gépet. A visszaállítás sorrendjét is érdemes előre eldönteni: először a tartományvezérlők és a hálózati alapszolgáltatások, utána az üzleti alkalmazások.
5. Ne fusson minden ugyanazon
Ahol a mentőszerver, az adminisztrátori munkaállomások és a jelszókezelő is ugyanazzal a Windows-környezettel és ugyanazzal a végpontvédelemmel futott, ott a helyreállítás eszközei is leálltak. A helyreállításhoz szükséges rendszereknek – mentés, konzol-hozzáférés, dokumentáció, jelszavak – érdemes egy független platformon is elérhetőnek lenniük; egy Linuxos mentőszerver vagy egy külön telephelyen tárolt mentés éppen ilyenkor ér sokat.
6. Tudd gyorsan, mi áll
A leállás első óráiban sokan azt sem tudták pontosan, mely gépeik érintettek. Egy működő monitorozás, például egy Zabbix-rendszer, percek alatt megmutatja, mely gépek nem válaszolnak, és ez alapján lehet rangsorolni. Az ügyfelek felé szóló állapotoldal és a belső kommunikáció se azon az infrastruktúrán fusson, amely éppen leállt.
7. Számolj a beszállítói kockázattal
A kernelszinten futó szoftverek (végpontvédelem, mentőügynökök, titkosítás, monitorozó ügynökök) a rendszer legérzékenyebb részéhez férnek hozzá, és egy hibájuk az egész gépet leállíthatja. A márciusi xz-backdoor egy másik oldalról mutatta meg ugyanezt: amit a beszállítóidtól kapsz, az a te kockázatod is. Nem kell lemondani róluk, de tudnod kell, mi fut a gépeiden, és mi történik, ha az egyik hibázik.
Mi a teendő most?
Ha a gépeid már helyreálltak, a következő napokban érdemes leülni, és végiggondolni, mi működött és mi nem. Hol vártatok a BitLocker-kulcsokra? Hol nem volt konzol-hozzáférés? Mennyi ideig tartott, amíg kiderült, mi áll? A válaszokból egy rövid, írásos helyreállítási terv lesz, amely a következő – nem feltétlenül CrowdStrike okozta – leállásnál órákat spórol. A leállások üzleti hatásairól egy korábbi cikkünkben írtunk.
Helyreállítási tervek, mentési és konzol-hozzáférési megoldások kialakításában és a szerverek üzemeltetésében is segítünk; erről az Infrastruktúra és üzemeltetés oldalon olvashatsz.