- október 20-án – helyi idő szerint hajnalban, magyar idő szerint reggel 8:48-kor – az Amazon Web Services legnagyobb, észak-virginiai régiójában, az us-east-1-ben egy DNS-hiba miatt elérhetetlenné vált a DynamoDB adatbázis-szolgáltatás. A hiba láncreakciót indított: órákig nem lehetett új EC2-példányt indítani, a terheléselosztók egy része hibázott, és több tucat AWS-szolgáltatás akadozott. A teljes helyreállás estig tartott, és közben sok ismert alkalmazás és webáruház is elérhetetlenné vált.
Az AWS október 23-án közzétette a hivatalos eseményösszefoglalóját. Ebben a cikkben ez alapján nézzük meg, mi történt, és mit érdemes ebből az AWS-en futó rendszerek tervezésénél megfogadni.
Mi történt október 20-án?
A DynamoDB regionális végpontjának (dynamodb.us-east-1.amazonaws.com) DNS-rekordjait egy automatika kezeli: egy tervező (DNS Planner) folyamatosan új rekordterveket készít, végrehajtók (DNS Enactor) pedig beírják őket a Route 53-ba. Egy ritka versenyhelyzetben az egyik, erősen késlekedő végrehajtó egy elavult tervet írt be, a másik pedig a takarításkor ezt a tervet törölte – a végpont DNS-rekordja üres maradt. Ami a DynamoDB-hez csatlakozott volna, az nem találta meg.
A főbb időpontok magyar idő szerint (CEST):
| Időpont | Esemény |
|---|---|
| okt. 20. 08:48 | Megkezdődnek a DynamoDB DNS-hibái |
| 09:38 | A mérnökök azonosítják a DNS-állapotot mint forrást |
| 11:25 | Helyreáll a DNS-információ |
| 11:40 | A DynamoDB helyreállása befejeződik, ahogy a gyorsítótárak lejárnak |
| 14:28 | Újra indíthatók EC2-példányok, de erős korlátozással |
| 14:30–23:09 | A Network Load Balancerek egy részénél kapcsolódási hibák |
| 22:50 | Az EC2-API-k és az indítások normálisan működnek |
| 23:20 | Az esemény vége |
A DynamoDB tehát nagyjából három óra alatt helyreállt, a következmények viszont estig elhúzódtak. Ennek oka, hogy maguk az AWS-szolgáltatások is DynamoDB-t használnak a háttérben. Az EC2 fizikai szervereit nyilvántartó rendszer (DropletWorkflow Manager) a kiesés alatt elvesztette a kapcsolatot a gépekkel, és a helyreálláskor a felgyűlt munkától túlterhelődött. Amikor az új példányok végre elindultak, a hálózati beállításaik lassan terjedtek, ezért a Network Load Balancer állapotellenőrzései hibásnak látták őket, és kivették őket a forgalomból. Erre a Lambda, az ECS, az EKS és a Fargate is ráfutott.
A már futó EC2-példányokat a hiba nem érintette. Ez fontos részlet, és később visszatérünk rá.
Miért nem segített a több rendelkezésre állási zóna?
Az AWS-régiók több, egymástól fizikailag elkülönített adatközpont-csoportból, rendelkezésre állási zónából (Availability Zone, AZ) állnak. Az alapszabály, hogy egy éles rendszer legalább két AZ-ban fusson, így egy adatközpont áramkimaradása vagy hálózati hibája nem állítja le.
Ez a leállás azonban nem egy AZ-t érintett, hanem egy regionális szolgáltatást: a DynamoDB végpontja az egész régióban elérhetetlen volt, és az új példányok indítása is minden zónában akadozott. A multi-AZ felépítés az ilyen hiba ellen nem véd – erre csak egy másik régió jelent megoldást.
Control plane és data plane
Az AWS a szolgáltatásait két részre bontja: a control plane az erőforrások létrehozása, módosítása és törlése (új példány indítása, egy autoscaling-csoport növelése), a data plane pedig a már létező erőforrások működése (a futó példány, a meglévő adatbázis kiszolgálása). A control plane összetettebb, több függősége van, ezért gyakrabban hibázik.
Október 20-án pontosan ez látszott: a futó szerverek mentek tovább, de aki a hibára új példányok indításával, automatikus skálázással vagy egy új környezet felhúzásával akart reagálni, az órákig nem tudott. Az AWS saját ajánlása erre a statikus stabilitás (static stability): a rendszer bírja ki egy zóna vagy egy szolgáltatás kiesését anélkül, hogy a helyreálláshoz control plane műveletre lenne szüksége. A gyakorlatban:
- Előre lefoglalt kapacitás. Ha három AZ-ban fut a rendszer, mindegyikben legyen annyi tartalék, hogy kettő elvigye a teljes terhelést – ne az autoscalingtől várd, hogy majd indít újakat.
- A helyreállás ne igényeljen új erőforrást. A tartalékrendszer fusson már előre, vagy legalább a hozzá szükséges image, adatbázis-replika és DNS-beállítás legyen kész.
- Kerüld a felesleges függőségeket. Egy egyszerű webalkalmazás attól is leállhat, hogy induláskor egy másik szolgáltatástól kér konfigurációt; ha az nem válaszol, legyen helyi alapértelmezés.
Az us-east-1 különleges szerepe
Az us-east-1 az AWS legrégebbi és legnagyobb régiója, és néhány globális szolgáltatás vezérlése is itt fut. Az összefoglaló szerint a hiba alatt az IAM-felhasználók nem tudtak belépni a konzolba, és más régiókban is voltak bejelentkezési hibák; a Redshift lekérdezései pedig minden régióban hibáztak, ha IAM-hitelesítést használtak, mert egy us-east-1-beli IAM API-tól függtek.
A tanulság: attól, hogy a rendszered Frankfurtban (eu-central-1) fut, még függhet az us-east-1-től. Érdemes végiggondolni:
- van-e vészhelyzeti hozzáférésed (break-glass), ha a megszokott belépés nem működik,
- a helyreállítási terv nem épít-e IAM-módosításra vagy új szerepkörök létrehozására,
- a CloudFronthoz használt tanúsítványok, a Route 53 zónák módosítása és más globális beállítások nem akkor kellenek-e, amikor épp nem elérhetők.
Multi-region: mikor éri meg?
Egy második régió nem ingyen van: az adatokat replikálni kell, a tartalékrendszert fenn kell tartani, és rendszeresen ki kell próbálni az átállást. A gyakori minták, a legolcsóbbtól a legdrágábbig:
| Minta | Mi fut a második régióban? | Helyreállási idő | Költség |
|---|---|---|---|
| Mentés és visszaállítás | Csak a mentések | Órák, napok | Alacsony |
| Pilot light | Adatbázis-replika, a többi leállítva | Tíz perctől órákig | Közepes |
| Warm standby | Kicsinyített, működő másolat | Perctől tíz percig | Magasabb |
| Active-active | Teljes rendszer, forgalommal | Szinte azonnali | A legmagasabb |
Egy kis- vagy középvállalat webáruházának általában a mentés és visszaállítás vagy a pilot light elég – feltéve, hogy a mentések tényleg egy másik régióban vannak, és a visszaállítást valaki már kipróbálta. Az active-active akkor éri meg, ha egy órányi kiesés többe kerül, mint a dupla infrastruktúra éves költsége.
Ha a rendszered Európában fut, és nem az us-east-1-ben, az önmagában is jó döntés: az ügyfelek közelebb vannak, és az ilyen regionális hibák közvetlenül nem érintenek.
Honnan tudod, hogy az AWS-sel van baj?
Az AWS status információ két helyen érhető el:
- az AWS Health Dashboard nyilvános oldala régiónként és szolgáltatásonként mutatja az ismert eseményeket,
- a konzolban a Your account health nézet azt mutatja, mi érinti a saját fiókodat és erőforrásaidat; erre EventBridge-szabállyal riasztást is beállíthatsz.
Ne csak erre hagyatkozz: egy külső, az AWS-től független monitorozó szolgáltatás gyakran hamarabb jelez, mint ahogy egy esemény megjelenik a státuszoldalon.
Mit javított az AWS?
Az összefoglaló szerint az AWS világszerte kikapcsolta a DynamoDB DNS-automatikáját, és csak a versenyhelyzet javítása és további védelmek után kapcsolja vissza. A Network Load Balancernél korlátozzák, mennyi kapacitást vehet ki egyszerre egy állapotellenőrzési hiba, az EC2-nél pedig új tesztekkel és jobb terhelésszabályozással védik a helyreállási folyamatot.
Ami tőled függ
Egy ekkora leállást egyetlen ügyfél sem tud megakadályozni, de a hatását csökkentheted. A CrowdStrike-leállás után is azt írtuk, és most is igaz: a legtöbbet egy megírt és kipróbált helyreállítási terv ér, amely tudja, mi függ mitől. Az infrastruktúra megbízhatóságáról általában ebben a cikkünkben írtunk.
AWS-környezetek tervezésében – több AZ-ra és régióra épülő felépítésben, mentésben és helyreállítási tervekben – segítünk; erről a Felhő és DevOps oldalon olvashatsz.