Datoen er fredag 19. juli 2024. Klokken er 06.09, og Sverige våkner sakte opp. På den andre siden av kloden er en oppdatering av sikkerhetsprogrammet Falcon nettopp blitt sendt ut til 24 000 kunder. Ingen hadde forventet at oppdateringen skulle føre til avlyste ferier og overtid for tusenvis av nordmenn.
Falcon er et program som gjør det mulig for nettverksadministratorer å overvåke trafikken i et system, blant annet for å oppdage og reagere på datainnbrudd.
Programvare av denne typen må oppdateres ofte for å holde den oppdatert med de nyeste truslene og sikkerhetstiltakene. Denne gangen var ikke noe unntak, men en rutinemessig oppdatering.
Problemet var at oppdateringen inneholdt en feil. Feilen førte til at brukere over hele verden ble møtt av en blå skjerm og ikke kunne logge inn på systemene sine. Dette førte til driftsstans og økonomiske tap for utrolig mange virksomheter over hele verden.
CrowdStrike lanserte raskt en oppdatering som løste problemet for noen av kundene, men for de fleste innebar løsningen intensivt og tidkrevende manuelt arbeid på hver enkelt arbeidsstasjon. Kunder med mange ansatte sto overfor flere uker med gjenopprettingsarbeid.
Etter en innledende undersøkelse fant man ut at problemet skyldtes en inkompatibilitet i oppdateringen som ikke ble oppdaget i CrowdStrikes testfase. Dette medførte omgående spørsmål om CrowdStrikes interne kvalitetskontroll og testprosesser.
Flyselskaper, helseforetak, næringsmiddelbedrifter og andre store organisasjoner ble rammet. The Guardian rapporterer at det globale teknologiavbruddet forårsaket av CrowdStrikes feilaktige oppdatering kostet amerikanske Fortune 500-selskaper 5,4 milliarder dollar. Det globale tallet forventes å være mye høyere.
Lærdom for programvareselskaper
Testing og kvalitetskontroll er avgjørende for sikkerhetsoppdateringer som rulles ut på markedet. Bedrifter har ofte ulike oppsett i sine systemer, noe som betyr at intern testing ikke alltid er tilstrekkelig, ettersom det kan være vanskelig å simulere alle tenkelige miljøer. Derfor er det avgjørende å skape unike testmiljøer.
Et annet spørsmål du bør stille deg, er om du virkelig bør publisere oppdateringer på fredager og i ferieukene. Microsoft skapte en gang begrepet «Patch-Tuesday». Fra å ikke ha hatt en bestemt ukedag for oppdateringer, ble dette innført for å gjøre det enklere for IT-ansvarlige over hele verden. Det betydde at IT-ansvarlige visste når oppdateringer var på vei, og kunne planlegge og distribuere dem på en planmessig måte. Dette ble deretter et vanlig uttrykk i IT-verdenen.
Lærdom fra ulykken
Det er viktig å være forberedt, uansett hvor trusselen kommer fra. Å ha en gjennomarbeidet beredskapsplan som omfatter hele foretaket vil være til hjelp når noe skjer.
