Een zwarte vrijdag bij FarmaFlux

Een heet begin van de zomer was het vorige week vrijdag. Een klein probleem ’s morgens met de eForms werd later op de dag gevolgd door een volledig stilvallen van de FarmaFlux systemen. Het was alle hens aan dek en het hele team werd ingeschakeld om het probleem aan te pakken.

Wat een rustige vrijdag moest worden met een aantal Flux teamleden die met vakantie waren, werd een zenuwslopende race tegen de tijd, terwijl we via telefoon, e-mail en social media overspoeld werden met vragen en opmerkingen van gefrustreerde apothekers. Wat was er in feite aan de hand?

Sequel

De problemen begonnen tussen 9 en 10u met een eerste melding van de softwarehuizen dat er iets fout liep met de eForms, maar dat issue kregen we op een kwartiertje opgelost. Rond de middag werd FarmaFlux echter verwittigd door het eHealthplatform dat er vertraging was op de basisdiensten van het GFD, Assurpharma en RAOTD. Door de servers één voor één terug op te starten leek ook dit probleem van de baan. Om het zekere voor het onzekere te nemen en de continuïteit van alle diensten te kunnen garanderen, werden er twee teamleden uit vakantie gehaald. En dat bleek niet voor niets! Onze interne monitoring toonde aan het begin van de namiddag dat het toch niet gelukt was om alle servers op te starten om de eForms te ondersteunen. Het probleem impacteerde alle eForms, zowel van de sneltesten als van vaccinatie, ook voor de tweede booster. De basisdiensten bleven gelukkig wel werken.

Crisiscommunnicatie

Manon verwittigde het bestuurscomité van APB en startte het crisiscommunicatieplan op. De interne diensten van APB (receptie, leden-en documentatiedienst) werden ook op de hoogte gebracht van het probleem, zodat zij binnenkomende telefoontjes konden beantwoorden en Freddy Flux communiceerde op social media dat we ermee bezig waren.

Helpdesk in volle actie

Bij Gerti, Sandrine, Kristin, Nancy, Séverine en Corine stonden de telefoons de hele namiddag roodgloeiend en werden bezorgde apothekers langs de ene kant gerustgesteld dat het probleem niet alleen bij hen lag en dat er volop aan het probleem werd gewerkt, maar hadden ze ook apothekers aan de lijn die patiënten voor zich hadden staan die in paniek waren omdat ze hun certificaat nodig hadden om op reis te vertrekken. Een collega die normaal niet werkte ‘s namiddags, bood spontaan aan om ook de tientallen vragen te beantwoorden omdat de telefoons maar bleven komen.

Complete team in actie

Intussen werd er bij FarmaFlux koortsachtig gezocht naar de oorzaak van het probleem. Onze IT’er die onderweg was naar zijn vakantiebestemming, werd er telefonisch bijgehaald en ingeschakeld om mee oplossingen aan te dragen.

Uiteindelijk slaagden we er rond 15u in om de registratie van eForms op 1 server te herstellen en konden we rond half 5 het doorsturen van de eForms naar Sciensano terug activeren. Een uurtje later kregen we zowel van Sciensano en Digitaal Vlaanderen bericht dat de flow weer werkte en de certificaten opnieuw konden aangemaakt worden. Daarna werd er nog een backlog gedaan om de eForms die al die tijd niet doorgekomen waren te recupereren, zodat er daarvoor ook een certificaat kon aangemaakt worden.

Groen licht

Barbara (PM sneltesten): “FarmaFlux werkt al langer dan een jaar zonder enig probleem met de eForms en nu net op die 1^e juli, een zwarte vrijdag, vallen de systemen uit. Het was wel mooi om te zien hoe iedereen en ook zij die met vakantie waren, de ernst en de impact van dit probleem beseften en niet aarzelden om mee het probleem aan te pakken. Ook met Sciensano en Digitaal Vlaanderen hadden we de hele tijd contact, want zij hadden gemerkt dat er iets fout liep. We zijn minder dan 4 uur offline geweest, maar voor wie op reis vertrok was dat te lang natuurlijk.”

Eigenlijk moest het hele systeem heropgestart worden, maar om geen verdere impact op het terrein te veroorzaken tijdens de openingsuren van de apotheken, werden alle systemen pas ’s avonds na 22u gecheckt en was de klus eindelijk geklaard rond middernacht.

Heel veel dank aan Marc, Jan, Alain, Manon, Corine, Barbara, Gerti, Sandrine, Kristin, Nancy, Séverine en Birgit om hier als team jullie schouders onder gezet te hebben.