Az AWS us-east-1 leállás: mit tanulhatunk belőle?

  1. október 20-án – helyi idő szerint hajnalban, magyar idő szerint reggel 8:48-kor – az Amazon Web Services legnagyobb, észak-virginiai régiójában, az us-east-1-ben egy DNS-hiba miatt elérhetetlenné vált a DynamoDB adatbázis-szolgáltatás. A hiba láncreakciót indított: órákig nem lehetett új EC2-példányt indítani, a terheléselosztók egy része hibázott, és több tucat AWS-szolgáltatás akadozott. A teljes helyreállás estig tartott, és közben sok ismert alkalmazás és webáruház is elérhetetlenné vált.

Az AWS október 23-án közzétette a hivatalos eseményösszefoglalóját. Ebben a cikkben ez alapján nézzük meg, mi történt, és mit érdemes ebből az AWS-en futó rendszerek tervezésénél megfogadni.

Mi történt október 20-án?

A DynamoDB regionális végpontjának (dynamodb.us-east-1.amazonaws.com) DNS-rekordjait egy automatika kezeli: egy tervező (DNS Planner) folyamatosan új rekordterveket készít, végrehajtók (DNS Enactor) pedig beírják őket a Route 53-ba. Egy ritka versenyhelyzetben az egyik, erősen késlekedő végrehajtó egy elavult tervet írt be, a másik pedig a takarításkor ezt a tervet törölte – a végpont DNS-rekordja üres maradt. Ami a DynamoDB-hez csatlakozott volna, az nem találta meg.

A főbb időpontok magyar idő szerint (CEST):

Időpont Esemény
okt. 20. 08:48 Megkezdődnek a DynamoDB DNS-hibái
09:38 A mérnökök azonosítják a DNS-állapotot mint forrást
11:25 Helyreáll a DNS-információ
11:40 A DynamoDB helyreállása befejeződik, ahogy a gyorsítótárak lejárnak
14:28 Újra indíthatók EC2-példányok, de erős korlátozással
14:30–23:09 A Network Load Balancerek egy részénél kapcsolódási hibák
22:50 Az EC2-API-k és az indítások normálisan működnek
23:20 Az esemény vége

A DynamoDB tehát nagyjából három óra alatt helyreállt, a következmények viszont estig elhúzódtak. Ennek oka, hogy maguk az AWS-szolgáltatások is DynamoDB-t használnak a háttérben. Az EC2 fizikai szervereit nyilvántartó rendszer (DropletWorkflow Manager) a kiesés alatt elvesztette a kapcsolatot a gépekkel, és a helyreálláskor a felgyűlt munkától túlterhelődött. Amikor az új példányok végre elindultak, a hálózati beállításaik lassan terjedtek, ezért a Network Load Balancer állapotellenőrzései hibásnak látták őket, és kivették őket a forgalomból. Erre a Lambda, az ECS, az EKS és a Fargate is ráfutott.

A már futó EC2-példányokat a hiba nem érintette. Ez fontos részlet, és később visszatérünk rá.

Miért nem segített a több rendelkezésre állási zóna?

Az AWS-régiók több, egymástól fizikailag elkülönített adatközpont-csoportból, rendelkezésre állási zónából (Availability Zone, AZ) állnak. Az alapszabály, hogy egy éles rendszer legalább két AZ-ban fusson, így egy adatközpont áramkimaradása vagy hálózati hibája nem állítja le.

Ez a leállás azonban nem egy AZ-t érintett, hanem egy regionális szolgáltatást: a DynamoDB végpontja az egész régióban elérhetetlen volt, és az új példányok indítása is minden zónában akadozott. A multi-AZ felépítés az ilyen hiba ellen nem véd – erre csak egy másik régió jelent megoldást.

Control plane és data plane

Az AWS a szolgáltatásait két részre bontja: a control plane az erőforrások létrehozása, módosítása és törlése (új példány indítása, egy autoscaling-csoport növelése), a data plane pedig a már létező erőforrások működése (a futó példány, a meglévő adatbázis kiszolgálása). A control plane összetettebb, több függősége van, ezért gyakrabban hibázik.

Október 20-án pontosan ez látszott: a futó szerverek mentek tovább, de aki a hibára új példányok indításával, automatikus skálázással vagy egy új környezet felhúzásával akart reagálni, az órákig nem tudott. Az AWS saját ajánlása erre a statikus stabilitás (static stability): a rendszer bírja ki egy zóna vagy egy szolgáltatás kiesését anélkül, hogy a helyreálláshoz control plane műveletre lenne szüksége. A gyakorlatban:

  • Előre lefoglalt kapacitás. Ha három AZ-ban fut a rendszer, mindegyikben legyen annyi tartalék, hogy kettő elvigye a teljes terhelést – ne az autoscalingtől várd, hogy majd indít újakat.
  • A helyreállás ne igényeljen új erőforrást. A tartalékrendszer fusson már előre, vagy legalább a hozzá szükséges image, adatbázis-replika és DNS-beállítás legyen kész.
  • Kerüld a felesleges függőségeket. Egy egyszerű webalkalmazás attól is leállhat, hogy induláskor egy másik szolgáltatástól kér konfigurációt; ha az nem válaszol, legyen helyi alapértelmezés.

Az us-east-1 különleges szerepe

Az us-east-1 az AWS legrégebbi és legnagyobb régiója, és néhány globális szolgáltatás vezérlése is itt fut. Az összefoglaló szerint a hiba alatt az IAM-felhasználók nem tudtak belépni a konzolba, és más régiókban is voltak bejelentkezési hibák; a Redshift lekérdezései pedig minden régióban hibáztak, ha IAM-hitelesítést használtak, mert egy us-east-1-beli IAM API-tól függtek.

A tanulság: attól, hogy a rendszered Frankfurtban (eu-central-1) fut, még függhet az us-east-1-től. Érdemes végiggondolni:

  • van-e vészhelyzeti hozzáférésed (break-glass), ha a megszokott belépés nem működik,
  • a helyreállítási terv nem épít-e IAM-módosításra vagy új szerepkörök létrehozására,
  • a CloudFronthoz használt tanúsítványok, a Route 53 zónák módosítása és más globális beállítások nem akkor kellenek-e, amikor épp nem elérhetők.

Multi-region: mikor éri meg?

Egy második régió nem ingyen van: az adatokat replikálni kell, a tartalékrendszert fenn kell tartani, és rendszeresen ki kell próbálni az átállást. A gyakori minták, a legolcsóbbtól a legdrágábbig:

Minta Mi fut a második régióban? Helyreállási idő Költség
Mentés és visszaállítás Csak a mentések Órák, napok Alacsony
Pilot light Adatbázis-replika, a többi leállítva Tíz perctől órákig Közepes
Warm standby Kicsinyített, működő másolat Perctől tíz percig Magasabb
Active-active Teljes rendszer, forgalommal Szinte azonnali A legmagasabb

Egy kis- vagy középvállalat webáruházának általában a mentés és visszaállítás vagy a pilot light elég – feltéve, hogy a mentések tényleg egy másik régióban vannak, és a visszaállítást valaki már kipróbálta. Az active-active akkor éri meg, ha egy órányi kiesés többe kerül, mint a dupla infrastruktúra éves költsége.

Ha a rendszered Európában fut, és nem az us-east-1-ben, az önmagában is jó döntés: az ügyfelek közelebb vannak, és az ilyen regionális hibák közvetlenül nem érintenek.

Honnan tudod, hogy az AWS-sel van baj?

Az AWS status információ két helyen érhető el:

  • az AWS Health Dashboard nyilvános oldala régiónként és szolgáltatásonként mutatja az ismert eseményeket,
  • a konzolban a Your account health nézet azt mutatja, mi érinti a saját fiókodat és erőforrásaidat; erre EventBridge-szabállyal riasztást is beállíthatsz.

Ne csak erre hagyatkozz: egy külső, az AWS-től független monitorozó szolgáltatás gyakran hamarabb jelez, mint ahogy egy esemény megjelenik a státuszoldalon.

Mit javított az AWS?

Az összefoglaló szerint az AWS világszerte kikapcsolta a DynamoDB DNS-automatikáját, és csak a versenyhelyzet javítása és további védelmek után kapcsolja vissza. A Network Load Balancernél korlátozzák, mennyi kapacitást vehet ki egyszerre egy állapotellenőrzési hiba, az EC2-nél pedig új tesztekkel és jobb terhelésszabályozással védik a helyreállási folyamatot.

Ami tőled függ

Egy ekkora leállást egyetlen ügyfél sem tud megakadályozni, de a hatását csökkentheted. A CrowdStrike-leállás után is azt írtuk, és most is igaz: a legtöbbet egy megírt és kipróbált helyreállítási terv ér, amely tudja, mi függ mitől. Az infrastruktúra megbízhatóságáról általában ebben a cikkünkben írtunk.

AWS-környezetek tervezésében – több AZ-ra és régióra épülő felépítésben, mentésben és helyreállítási tervekben – segítünk; erről a Felhő és DevOps oldalon olvashatsz.

Beszéljünk a projektedről

Írd le röviden, miben segíthetünk, és a lehető leghamarabb válaszolunk.

Kapcsolatfelvétel