- november 18-án délben a weboldalak egy jelentős része egyszerre kezdett hibaoldalt mutatni: a Cloudflare leállás miatt a szolgáltató hálózatán keresztül kiszolgált oldalak órákig 5xx-es hibát adtak. A Cloudflare a világ egyik legnagyobb CDN- és proxyszolgáltatója, ezért a hiba nemcsak nagy, ismert szolgáltatásokat érintett, hanem rengeteg kisvállalati weboldalt és webáruházat is, amelyek a Cloudflare ingyenes vagy olcsó csomagjával védik és gyorsítják magukat.
Egy hónappal ezelőtt az AWS us-east-1 régiójának leállásáról írtunk, ahol a régiós felépítés volt a fő kérdés. Most egy másik függőségről lesz szó: arról, mi történik, ha a weboldalad és a látogatóid közé beépített szolgáltató áll le, és mit készíthetsz elő erre az esetre.
Mi történt november 18-án?
A Cloudflare még aznap este részletes összefoglalót tett közzé. Eszerint egy belső adatbázis (ClickHouse) jogosultságainak módosítása után egy lekérdezés duplikált sorokat adott vissza, így a botfelismeréshez (Bot Management) használt, automatikusan generált konfigurációs fájl mérete nagyjából megduplázódott. Ez a fájl néhány percenként szétterjed a teljes hálózaton. A proxyszoftver legfeljebb 200 elemet tudott kezelni belőle; a túlméretes fájltól összeomlott, és 5xx-es hibát adott minden rajta átmenő kérésre.
A főbb időpontok magyar idő szerint (CET):
| Időpont | Esemény |
|---|---|
| 12:20 | Megkezdődnek a hibák a Cloudflare hálózatán |
| 15:30 | A forgalom nagy része ismét rendben átmegy |
| 18:06 | Minden rendszer helyreáll |
A hibát nem támadás okozta. A helyzetet nehezítette, hogy a hibás fájl ötpercenként újragenerálódott, és attól függően, hogy az adatbázis melyik része állította elő, jó vagy rossz lett – ezért a hálózat egy ideig hol működött, hol nem. A Cloudflare független helyen futó státuszoldala véletlenül épp ugyanekkor szintén elérhetetlenné vált, ami eleinte azt a gyanút keltette, hogy összehangolt támadás zajlik.
A CDN-en és a proxyn kívül érintett volt a Turnstile (a Cloudflare CAPTCHA-alternatívája), a Workers KV, a Cloudflare Access, és a felhasználók többsége be sem tudott lépni a vezérlőpultba (dashboard). Ez utóbbi különösen kellemetlen volt: aki menet közben akart volna változtatni a beállításain, az nem tudott.
Mitől függ a weboldalad?
A Cloudflare tipikusan három szerepet tölt be egyszerre, és érdemes tudni, melyiket használod:
| Szerep | Mit csinál? | Mi történik, ha leáll? |
|---|---|---|
| Autoritatív DNS | Megmondja, milyen IP-címen érhető el a domained | Új látogatók nem találják meg az oldalt |
| Proxy és CDN („narancssárga felhő”) | A forgalom a Cloudflare szerverein megy át, gyorsítótárazás, tűzfal, DDoS-védelem | Az oldal hibát ad, pedig a saját szervered működik |
| Kiegészítő szolgáltatások | Turnstile, Access, Workers, e-mail-továbbítás | Bejelentkezés, űrlapok, belső alkalmazások állnak le |
November 18-án a proxy volt a szűk keresztmetszet: a saját szerverek többnyire hibátlanul futottak, csak a forgalom nem jutott el hozzájuk. A proxyzás lényegéről – mi az, ami a szerver elé kerül, és miért – a reverse proxyról szóló cikkünkben írtunk, a DNS működéséről pedig a tárhelymárkánk, az aWh tudásbázisában.
Milyen tartalékmegoldásaid vannak?
1. Átkapcsolás „csak DNS” módra
A legkézenfekvőbb vészmegoldás: a rekordokat proxyzottról „DNS only” módra (szürke felhő) állítod, így a Cloudflare csak a szervered valódi IP-címét adja ki, és a forgalom közvetlenül hozzád megy. Ez akkor működik, ha előre felkészültél rá:
- A szerver fogadja a közvetlen forgalmat. Ha a tűzfalad csak a Cloudflare IP-tartományait engedi be (ami egyébként jó gyakorlat), legyen kész egy szabály, amellyel gyorsan megnyithatod.
- Böngészőben is érvényes tanúsítvány van a szerveren. A Cloudflare Origin CA tanúsítványát a böngészők nem fogadják el; közvetlen forgalomhoz Let’s Encrypt vagy más nyilvános tanúsítvány kell.
- A szerver bírja a terhelést gyorsítótár nélkül. Egy forgalmas oldalnál a CDN a kérések nagy részét elnyeli.
- Tudod, hogy ezzel felfeded a szerver IP-címét. A leállás után érdemes visszakapcsolni a proxyt, és megfontolni, hogy közvetlenül támadható-e a szerver.
A proxyzott rekordok TTL-je 300 másodperc, így az átkapcsolás néhány perc alatt érvényesül.
2. Hozzáférés a vezérlőpult nélkül
Mivel a dashboardba sokan nem tudtak belépni, az átkapcsolást érdemes előre egy szkripttel automatizálni egy szűk jogosultságú API-tokennel (csak az adott zóna DNS-szerkesztése). Egy rekord proxyzásának kikapcsolása a Cloudflare API-n keresztül:
curl -X PATCH \
"https://api.cloudflare.com/client/v4/zones/$ZONE_ID/dns_records/$RECORD_ID" \
-H "Authorization: Bearer $CF_API_TOKEN" \
-H "Content-Type: application/json" \
--data '{"proxied": false}'
Arra persze nincs garancia, hogy egy nagy leálláskor az API elérhető lesz, de esélyesebb, mint egy olyan belépés, amely maga is Cloudflare-szolgáltatásokra épül.
3. A DNS külön szolgáltatónál
Ha a domained autoritatív DNS-e is a Cloudflare-nél van, minden tartalékmegoldásod a Cloudflare-en múlik. Ha a DNS egy másik szolgáltatónál van, és a Cloudflare-t csak CNAME-mel kötöd be (ezt a Cloudflare a Business és Enterprise csomagokban kínálja), akkor a saját DNS-szolgáltatódnál egy rekord átírásával megkerülheted. Kisebb oldalaknál ez a többletköltség ritkán éri meg, de egy olyan webáruháznál, ahol egy délután kiesés komoly bevételkiesés, érdemes kiszámolni.
4. Több CDN
A nagy szolgáltatók két CDN-t használnak párhuzamosan, és DNS-szinten osztják el köztük a forgalmat. Ez kis- és középvállalatoknak általában túlzás: két szolgáltató beállításait kell szinkronban tartani, és a gyorsítótárazás is bonyolultabb.
5. A kiegészítő szolgáltatások hibatűrése
Ha a bejelentkezési oldaladon Turnstile van, gondold végig, mi legyen, ha a Turnstile nem válaszol: blokkolod a belépést, vagy átengeded, és más módon (például szigorúbb kéréskorlátozással) véded. Ez üzleti döntés, de jobb nyugodt körülmények között meghozni, mint egy leállás közben.
Ellenőrzőlista a következő leállás előtt
- Írd össze, melyik domainnél melyik Cloudflare-szolgáltatást használod (DNS, proxy, Turnstile, Access, Workers, e-mail-továbbítás).
- Legyen a szervereken nyilvános, böngészőben érvényes tanúsítvány, ne csak Origin CA.
- Készíts elő tűzfalszabályt a közvetlen forgalomhoz, kikapcsolt állapotban.
- Hozz létre szűk jogosultságú API-tokent és egy kipróbált átkapcsoló szkriptet, és tárold a Cloudflare-től független helyen.
- Figyeld az oldalt kívülről, a Cloudflare-en keresztül és közvetlenül a szerveren is – így azonnal látod, hol a hiba.
- A saját státuszoldalad vagy ügyfélértesítési csatornád ne ugyanazon a CDN-en fusson, mint a weboldal.
Nem ez volt az első eset idén: júniusban a Workers KV hibája okozott fennakadást a Cloudflare több szolgáltatásában. A leállás önmagában nem ok arra, hogy lemondj a Cloudflare-ről – a DDoS-védelem és a gyorsítótár a hétköznapokban sokat ér. A tanulság inkább az, hogy minden olyan szolgáltató, amely a látogatóid és a szervered közé kerül, egyben egy újabb pont, amely leállhat. Arról, hogy egy-egy kiesés mennyibe kerülhet, korábban már írtunk.
Webszerverek, DNS és CDN beállításában, tartalékmegoldások kiépítésében segítünk; erről az Infrastruktúra és üzemeltetés oldalon olvashatsz.