Det är fredag den 19 juli 2024. Klockan är 6:09 och Sverige håller långsamt på att vakna upp. På andra sidan av jordklotet har en uppdatering av säkerhetsprogrammet Falcon precis skickats ut till 24 000 kunder. Ingen hade räknat med att uppdateringen skulle resultera i indragen semester och övertid för tusentals svenskar.

Falcon är ett program som används för att låta nätverksadministratörer övervaka trafiken i ett system för att bland upptäcka dataintrång samt åtgärda dessa.

Mjukvara av denna sort måste uppdateras ofta för att den ska kunna vara aktuell med de senaste hoten och säkerhetsåtgärderna. Denna gång var inget undantag utan en rutinmässig uppdatering.

Problemet var att uppdateringen innehöll en bugg. Buggen gjorde att användare världen över möttes av en ”blue screen” och inte hade möjlighet att logga in i sina system. Detta orsakade driftstopp och ekonomiska förluster för otroligt många företag världen.

CrowdStrike släppte snabbt en uppdatering som löste problemet för en del av kunderna, men för majoriteten innebar lösningen ett intensivt och tidskrävande manuellt arbete på varje arbetsstation. Kunder med många anställda fick veckor framför sig med återställningsarbete.

Efter en initial utredning konstaterades det att problemet orsakades av en inkompatibilitet i uppdateringen som inte upptäcktes under CrowdStrikes testfas. Detta väckte direkt frågor om CrowdStrikes interna processer för kvalitetskontroll och testning.

Flygbolag, sjukvårdsbolag, livsmedelsföretag och andra stora organisationer drabbades. The Guardian rapporterar att det globala teknikavbrottet som orsakades av CrowdStrikes felaktiga uppdatering kostade amerikanska Fortune 500-företag 5,4 miljarder dollar. Vad den globala siffran uppgår till förväntas vara mycket högre.

Lärdomar för mjukvaruföretag

Testning och kvalitetskontroll är avgörande för säkerhetsuppdateringar som rullas ut till marknaden. Ofta har företag olika uppsättningar i sina system vilket gör att det kanske inte alltid räcker med interna tester då det kan vara svårt att simulera alla tänkbara miljöer. Att skapa unika testmiljöer är därför kritiskt.

En annan fråga man bör ifrågasätta är om man verkligen ska släppa uppdateringar på fredagar samt under semesterveckorna. Microsoft myntade en gång i tiden uttrycket ”Patch-Tuesday”. Från att tidigare inte haft någon speciell veckodag för uppdateringar införde man detta för att underlätta för it-ansvariga världen över. Detta gjorde att it-ansvariga visste när uppdateringar kom och hade möjlighet att planera in och distrubiera dessa under planerade former. Detta blev sen ett vedertaget uttryck inom IT-världen.

Lärdomar av haveriet

Oavsett varifrån hotet kommer från är viktigt att vara förberedd. Att ha en utarbetad beredskapsplan som berör hela företaget är viktigt och kommer att hjälpa er när någonting inträffar.