Cloudflare-leállás: mit tehetsz, ha a CDN-ed áll le?

  1. november 18-án délben a weboldalak egy jelentős része egyszerre kezdett hibaoldalt mutatni: a Cloudflare leállás miatt a szolgáltató hálózatán keresztül kiszolgált oldalak órákig 5xx-es hibát adtak. A Cloudflare a világ egyik legnagyobb CDN- és proxyszolgáltatója, ezért a hiba nemcsak nagy, ismert szolgáltatásokat érintett, hanem rengeteg kisvállalati weboldalt és webáruházat is, amelyek a Cloudflare ingyenes vagy olcsó csomagjával védik és gyorsítják magukat.

Egy hónappal ezelőtt az AWS us-east-1 régiójának leállásáról írtunk, ahol a régiós felépítés volt a fő kérdés. Most egy másik függőségről lesz szó: arról, mi történik, ha a weboldalad és a látogatóid közé beépített szolgáltató áll le, és mit készíthetsz elő erre az esetre.

Mi történt november 18-án?

A Cloudflare még aznap este részletes összefoglalót tett közzé. Eszerint egy belső adatbázis (ClickHouse) jogosultságainak módosítása után egy lekérdezés duplikált sorokat adott vissza, így a botfelismeréshez (Bot Management) használt, automatikusan generált konfigurációs fájl mérete nagyjából megduplázódott. Ez a fájl néhány percenként szétterjed a teljes hálózaton. A proxyszoftver legfeljebb 200 elemet tudott kezelni belőle; a túlméretes fájltól összeomlott, és 5xx-es hibát adott minden rajta átmenő kérésre.

A főbb időpontok magyar idő szerint (CET):

Időpont Esemény
12:20 Megkezdődnek a hibák a Cloudflare hálózatán
15:30 A forgalom nagy része ismét rendben átmegy
18:06 Minden rendszer helyreáll

A hibát nem támadás okozta. A helyzetet nehezítette, hogy a hibás fájl ötpercenként újragenerálódott, és attól függően, hogy az adatbázis melyik része állította elő, jó vagy rossz lett – ezért a hálózat egy ideig hol működött, hol nem. A Cloudflare független helyen futó státuszoldala véletlenül épp ugyanekkor szintén elérhetetlenné vált, ami eleinte azt a gyanút keltette, hogy összehangolt támadás zajlik.

A CDN-en és a proxyn kívül érintett volt a Turnstile (a Cloudflare CAPTCHA-alternatívája), a Workers KV, a Cloudflare Access, és a felhasználók többsége be sem tudott lépni a vezérlőpultba (dashboard). Ez utóbbi különösen kellemetlen volt: aki menet közben akart volna változtatni a beállításain, az nem tudott.

Mitől függ a weboldalad?

A Cloudflare tipikusan három szerepet tölt be egyszerre, és érdemes tudni, melyiket használod:

Szerep Mit csinál? Mi történik, ha leáll?
Autoritatív DNS Megmondja, milyen IP-címen érhető el a domained Új látogatók nem találják meg az oldalt
Proxy és CDN („narancssárga felhő”) A forgalom a Cloudflare szerverein megy át, gyorsítótárazás, tűzfal, DDoS-védelem Az oldal hibát ad, pedig a saját szervered működik
Kiegészítő szolgáltatások Turnstile, Access, Workers, e-mail-továbbítás Bejelentkezés, űrlapok, belső alkalmazások állnak le

November 18-án a proxy volt a szűk keresztmetszet: a saját szerverek többnyire hibátlanul futottak, csak a forgalom nem jutott el hozzájuk. A proxyzás lényegéről – mi az, ami a szerver elé kerül, és miért – a reverse proxyról szóló cikkünkben írtunk, a DNS működéséről pedig a tárhelymárkánk, az aWh tudásbázisában.

Milyen tartalékmegoldásaid vannak?

1. Átkapcsolás „csak DNS” módra

A legkézenfekvőbb vészmegoldás: a rekordokat proxyzottról „DNS only” módra (szürke felhő) állítod, így a Cloudflare csak a szervered valódi IP-címét adja ki, és a forgalom közvetlenül hozzád megy. Ez akkor működik, ha előre felkészültél rá:

  • A szerver fogadja a közvetlen forgalmat. Ha a tűzfalad csak a Cloudflare IP-tartományait engedi be (ami egyébként jó gyakorlat), legyen kész egy szabály, amellyel gyorsan megnyithatod.
  • Böngészőben is érvényes tanúsítvány van a szerveren. A Cloudflare Origin CA tanúsítványát a böngészők nem fogadják el; közvetlen forgalomhoz Let’s Encrypt vagy más nyilvános tanúsítvány kell.
  • A szerver bírja a terhelést gyorsítótár nélkül. Egy forgalmas oldalnál a CDN a kérések nagy részét elnyeli.
  • Tudod, hogy ezzel felfeded a szerver IP-címét. A leállás után érdemes visszakapcsolni a proxyt, és megfontolni, hogy közvetlenül támadható-e a szerver.

A proxyzott rekordok TTL-je 300 másodperc, így az átkapcsolás néhány perc alatt érvényesül.

2. Hozzáférés a vezérlőpult nélkül

Mivel a dashboardba sokan nem tudtak belépni, az átkapcsolást érdemes előre egy szkripttel automatizálni egy szűk jogosultságú API-tokennel (csak az adott zóna DNS-szerkesztése). Egy rekord proxyzásának kikapcsolása a Cloudflare API-n keresztül:

curl -X PATCH \
  "https://api.cloudflare.com/client/v4/zones/$ZONE_ID/dns_records/$RECORD_ID" \
  -H "Authorization: Bearer $CF_API_TOKEN" \
  -H "Content-Type: application/json" \
  --data '{"proxied": false}'

Arra persze nincs garancia, hogy egy nagy leálláskor az API elérhető lesz, de esélyesebb, mint egy olyan belépés, amely maga is Cloudflare-szolgáltatásokra épül.

3. A DNS külön szolgáltatónál

Ha a domained autoritatív DNS-e is a Cloudflare-nél van, minden tartalékmegoldásod a Cloudflare-en múlik. Ha a DNS egy másik szolgáltatónál van, és a Cloudflare-t csak CNAME-mel kötöd be (ezt a Cloudflare a Business és Enterprise csomagokban kínálja), akkor a saját DNS-szolgáltatódnál egy rekord átírásával megkerülheted. Kisebb oldalaknál ez a többletköltség ritkán éri meg, de egy olyan webáruháznál, ahol egy délután kiesés komoly bevételkiesés, érdemes kiszámolni.

4. Több CDN

A nagy szolgáltatók két CDN-t használnak párhuzamosan, és DNS-szinten osztják el köztük a forgalmat. Ez kis- és középvállalatoknak általában túlzás: két szolgáltató beállításait kell szinkronban tartani, és a gyorsítótárazás is bonyolultabb.

5. A kiegészítő szolgáltatások hibatűrése

Ha a bejelentkezési oldaladon Turnstile van, gondold végig, mi legyen, ha a Turnstile nem válaszol: blokkolod a belépést, vagy átengeded, és más módon (például szigorúbb kéréskorlátozással) véded. Ez üzleti döntés, de jobb nyugodt körülmények között meghozni, mint egy leállás közben.

Ellenőrzőlista a következő leállás előtt

  1. Írd össze, melyik domainnél melyik Cloudflare-szolgáltatást használod (DNS, proxy, Turnstile, Access, Workers, e-mail-továbbítás).
  2. Legyen a szervereken nyilvános, böngészőben érvényes tanúsítvány, ne csak Origin CA.
  3. Készíts elő tűzfalszabályt a közvetlen forgalomhoz, kikapcsolt állapotban.
  4. Hozz létre szűk jogosultságú API-tokent és egy kipróbált átkapcsoló szkriptet, és tárold a Cloudflare-től független helyen.
  5. Figyeld az oldalt kívülről, a Cloudflare-en keresztül és közvetlenül a szerveren is – így azonnal látod, hol a hiba.
  6. A saját státuszoldalad vagy ügyfélértesítési csatornád ne ugyanazon a CDN-en fusson, mint a weboldal.

Nem ez volt az első eset idén: júniusban a Workers KV hibája okozott fennakadást a Cloudflare több szolgáltatásában. A leállás önmagában nem ok arra, hogy lemondj a Cloudflare-ről – a DDoS-védelem és a gyorsítótár a hétköznapokban sokat ér. A tanulság inkább az, hogy minden olyan szolgáltató, amely a látogatóid és a szervered közé kerül, egyben egy újabb pont, amely leállhat. Arról, hogy egy-egy kiesés mennyibe kerülhet, korábban már írtunk.

Webszerverek, DNS és CDN beállításában, tartalékmegoldások kiépítésében segítünk; erről az Infrastruktúra és üzemeltetés oldalon olvashatsz.

Beszéljünk a projektedről

Írd le röviden, miben segíthetünk, és a lehető leghamarabb válaszolunk.

Kapcsolatfelvétel