ØVELSE – ØVELSE – ØVELSE: Elsystem tæt på stort kollaps

Jysk-fynske elnetselskaber og Energinet gennemfører beredskabsøvelse med lokalt tvist. Hos Dinel i Odder bliver kritiske frekvensfald suppleret med et ondsindet hackerangreb med krav om millionudbetaling.

Efteråret trænger sig på med farvestrålende løvfald på en mild dag med 12 grader udenfor. Solen titter frem, og det blæser svagt. Fra Dinels kontrolrum i Odder kan driftskoordinator Poul Sørensen og hans kolleger se frem til en rolig dag med normale arbejdsopgaver til glæde for netselskabets 109.000 kunder.

Poul Sørensen er i gang med at lave en handlingsplan for nye medarbejdere, der skal lære at koble om, ud og ind. Han er også ved at forberede fire kabelpåvisninger, så entreprenører kan få viden om, hvor der ligger elkabler, inden deres gravkøer begynder at flytte jord til nybyggerier.

En tredje opgave handler om at forberede en sms, der skal fortælle nogle få kunder, at de bliver afbrudt i en kort periode, mens Dinels montører skifter et par kabelskabe.

Pludselig er freden forbi.

10.000 kunder bliver koblet fra

Kl. 09.00 falder frekvensen, der altid skal være 50 Hz, dramatisk.

Da der altid skal være balance mellem forbrug og produktion, og da forbruget aktuelt er større, end elsystemet kan levere, udkobles automatisk Trin 1 i den automatiske frekvensaflastning, der er aftalt mellem netselskaberne og Energinet. Det betyder, at ca. 10.000 elkunder alene i Dinels område i det østlige Jylland er uden strøm.

"Vi må hellere meddele Energinet, at vi har udkobling på den automatiske frekvensaflastning", siger Poul Sørensen til sine kolleger: Kim Bæk, der også er driftskoordinator, og projektleder Jack Sørensen Kolding, der er under oplæring i at varetage opgaver i kontrolrummet.

Under overskriften ’ØVELSE – ØVELSE – ØVELSE’, meddeler de Energinet, at der er sket udkobling af kunder.

"Er der andre, der bør have besked?", spørger driftsleder Michael Werner Hytting, der også er Dinels repræsentant i den arbejdsgruppe, der har forberedt beredskabsøvelsen. Udover Energinet og Dinel har 19 andre jysk-fynske selskaber fået tilbud om at deltage.

Trekløveret i kontrolrummet bliver hurtigt enige om, at det er en rigtig god idé at underrette Dinels ledelse og nøglepersoner i moderselskabet AURA Energi. Altså de personer, der udgør koncernens samlede beredskab og skal handle, hvis uheldet vitterligt er ude og strømmen går.

’ØVELSE – ØVELSE – ØVELSE’ skriver de til nøglepersonerne (cc Michael Werner Hytting), der hermed bliver underrettet om, at 10.000 netkunder er uden strøm. Under virkelige omstændigheder ville pressechefen nu blive kimet ned af de lokale medier, så han ville helt sikkert bede om flere informationer.

Blackouts er sjældne

I dag er der tale om en skrivebordsøvelse, så der er lidt mere ro på i kontrolrummet, end der ville have været, hvis der for første gang i mange år var seriøse udfordringer. Vi skal helt tilbage til 1999, 2003 og 2005 for at finde store blackouts i Danmark, hvor det normale er, at vi har el i stikkontakterne i mere end 99,99 procent af tiden.

Under en storm med vindstød af orkanstyrke den 28. oktober 2013 var det jysk-fynske elsystem tæt på at kollapse, men Energinet og elnetselskaberne fik håndteret krisen. På denne øvelsesdag er der simuleret begrænsninger på kablerne mod Norge, og et af de store jyske kraftværker er ude af drift.

Og der er stadig ikke styr på situationen: Frekvensen falder fortsat, så kl. 9.09 dukker der en ny, kritisk alarm op fra Energinet. For at forebygge et enormt blackout i det jysk-fynske elsystem bliver Dinel bedt om at foretage en manuel udkobling af Trin 6 og 7 i frekvensaflastningen - og hvordan er det så lige, at man gør det, når man aldrig har prøvet det før?

Manualen findes frem. Hvis opgaven ikke kan fuldføres inden for 15 minutter, skal Energinet have besked. Poul Sørensen holder en pegefinger over knapperne på kontrolbordet ud for Trin 6 og 7, men han trykker ikke. Det kunne være kønt, hvis 20.000 netkunder i virkelighedens verden fik en utilsigtet strømafbrydelse.

Selvom udkoblingen er sket indenfor 15 minutter, vælger de for en sikkerheds skyld at sende en mail til Energinet: ’’ØVELSE – ØVELSE – ØVELSE’. Trin 6 og 7 er frakoblet.’

Frekvensen falder stadig, så der sker endnu en udkobling, denne gang af Trin 2 i den automatiske frekvensaflastning. Nu er 40.000 Dinel-netkunder uden el.

’ØVELSE – ØVELSE – ØVELSE’, skriver de tre kontrolrumsmænd til koncernens kriseberedskab i en mere detaljeret redegørelse for situationens alvor.

"De offentlige telefoner og fastnettet er nede", meddeler Michael Werner Hytting.

Poul Sørensen, Kim Bæk og Jack Sørensen Kolding kigger på hinanden og drøfter hvilke komplikationer, det indebærer, og de meddeler Energinet, ’ØVELSE – ØVELSE – ØVELSE’, at de nu skal kommunikere via andre sikre kanaler.

Kombinationen af frekvensfald og afbrudte telefoner tyder på, at der måske er andet på færde end rene energiforhold, så kontrolrummet adviserer også deres it-ansvarlige.

"Vi undersøger sagen", lyder det lynhurtige gensvar fra it-sikkerhedschef Jesper R. Jespersen fra AURA Energi, der er den koncern, Dinel indgår i.

"Nu er SCADA-anlægget gået ned. Alt er sort", meddeler Michael Werner Hytting.

Hjertet i netselskabernes drift

SCADA-anlæg er hjertet i netselskabernes tekniske drift, så situationen er ekstrem kritisk både på landsplan og lokalt i Østjylland. Jesper R. Jespersen bliver briefet igen, og kontrolrummet, ’ØVELSE – ØVELSE – ØVELSE’, orienterer flest mulige parter, herunder naboelnetselskaberne, om den seneste udvikling.

Det viser sig, at SCADA-systemet er blevet hacket og hackerne har brugt et stykke software, ransomware, som nu forhindrer Dinel i at få adgang til sine egne data.

"Der er ikke mistænkelig trafik på det administrative netværk", fortæller Jesper R. Jespersen, som en ringe trøst for trekløveret i kontrolrummet.

Jesper R. Jespersen haster over i en anden bygning et par hundrede meter fra kontrolrummet. Her begynder Karsten, der er it-projektleder i AURA Energi, at undersøge, hvad der kan gøres for at inddæmme og afværge angrebet.

Undervejs noterer Anni, der er it-projektleder, forløbets hændelser med henblik på efterfølgende evaluering og læring.

"Vi er udsat for afpresning i millionklassen", konstaterer Jesper R. Jespersen, der har en trykt udgave af koncernens it-beredskabsplan indenfor rækkevidde.

Hvis uheldet virkelig er ude, er det godt at have råd og vejledning ved hånden på en ikke-digital måde.

Hackerangrebet, ’ØVELSE – ØVELSE – ØVELSE’, er af den alvorlige slags, så AURA Energi adviserer Energinet, AURA’s it-sikkerhedstjeneste og den nyoprettede EnergiCERT, der skal sikre et godt samarbejde mellem op mod 500 energiselskaber, og andre relevante partnere.

Jesper R. Jespersen indkalder naturligvis også medlemmerne af koncernens eget it-beredskab, der ved hjælp af en række ’action cards’ præcis ved, hvilken rolle de har.

AI afslører mønstre

AURA Energi har for nogle år siden købt et system, der løbende overvåger trafikken på koncernens administrative og tekniske net. Ved hjælp af kunstig intelligens kan systemet se mønstre og reagere inden for ultrakort tid, hvis der er noget, der virker unormalt.

"Vi har ikke set de helt store, farlige ting endnu på indersiden, men vi har det seneste døgn blokeret 187.000 forsøg på indtrængen udefra. Der er hele tiden nogle, som leder efter et hul i vores forsvar", fortæller Jesper R. Jespersen.

AURA Energi har sat en geoblokering på en række kritiske lande. Forsøger hackere at trænge ind fra disse lande bliver de afvist, men det ved de cyberkriminelle naturligvis godt. Derfor opererer de centre i lande, der er uhensigtsmæssige at blokere.

Nattens backup findes frem

Under øvelsen lukker Karsten ned for alt og alle. Vurderingen er, at hackerangrebet har stået på i nogle timer, men der kan sagtens gemme sig ældre virus inde i systemet, så spørgsmålet er, hvor lang tid tilbage, man skal for at finde en usmittet backup af koncernens digitale gerninger.

"Jeg laver en ’restore’ fra nattens backup", konkluderer han.

Selve reetableringen af data tager otte minutter, og efter i alt 20 minutters indsats er SCADA-systemet oppe i fuld drift igen.

"Megasejt. Sidste gang vi havde øvelse tog det flere timer", lyder det rosende fra Anni.

"Vi har – pyha! – ikke oplevet det her i virkeligheden, men selv en test giver sved på panden", smiler hun og gør klar til at skrive sin rapport om hændelsen inkl. forslag til forbedringer af procedurerne.

It-beredskabet bliver briefet kl. 10.34:

’ØVELSE – ØVELSE – ØVELSE’: Vores IT-sikkerhedstjeneste har fundet den ukendte sårbarhed, der var årsag til angrebet. Vi har kunnet bruge nattens backup. Restore på 20 minutter – godt gået. Systemerne testes nu inden idriftsættelse. Efterforskningen fortsætter.

Hegnspæle til en hestefold

I kontrolrummet hos Dinel fortsætter øvelsen, mens Poul Sørensen lige laver et par opgaver, der hører til virkelighedens verden. En landmand i området skal have sat hegnspæle til en hestefold og har brug for at vide, hvor der ligger elkabler. Hvis pælene skal bankes i jorden tættere end en meter fra kablet, skal strømmen kobles fra.

"Jeg har også en koblingsstation, der skal ud til vedligehold, så der skal vi have lagt en plan", fortæller Poul Sørensen.

"SCADA er i drift igen", oplyser Jesper R. Jespersen, der i forhold til øvelsen i kontrolrummet følger den oprindelige plan, hvor det tekniske system skulle være i drift igen kl. 11.45. Han havde ikke forventet, at it-afdelingen var SÅ hurtig.

Normalisering ved middagstid

Trin 1 og 2 og dermed 20.000 kunder er stadig uden elektricitet, ’ØVELSE – ØVELSE – ØVELSE’, skriver kontrolrummet til de relevante nøglepersoner kort før kl. 12. På slaget 12 meddeler Energinet, at alle har strøm igen.

Flere hundrede tusinde netkunder har været uden strøm i tre timer, men det store kollaps blev afværget.

Øvelsen er slut.

Kontrolrummet sender en sidste meddelelse til ledelsen med det glædelige budskab: ’ØVELSE – ØVELSE – ØVELSE’. Alle netkunder har strøm igen.

Poul Sørensen, Kim Bæk og Jack Sørensen Kolding evaluerer kort, inden de haster videre til deres vante opgaver. Michael Werner Hytting har samlet mails og andre observationer og skal skrive en afsluttende rapport bl.a. så også de medarbejdere, der ikke deltog, kan lære af forløbet.

Rapporten kan også bruges af Energinet til optimering af det samlede beredskab.

Hverdagen er tilbage i kontrolrummet:

"Jeg har et oprydningsarbejde. Det tikker ind med mails hele tiden, så resten af dagen går med at håndtere dem", forventer Poul Sørensen.