Un vendredi noir chez FarmaFlux

Le début de l’été a été chaud vendredi dernier. Un petit problème dans la matinée avec les eForms a été suivi plus tard dans la journée par une panne complète des systèmes FarmaFlux. Tout le monde était sur le pont et toute l’équipe a été appelée pour régler le problème.

Ce qui devait être un vendredi tranquille avec quelques membres de l’équipe Flux en vacances s’est transformé en une course contre la montre, alors que nous étions inondés de questions et de remarques de pharmaciens frustrés par téléphone, par e-mail et par les réseaux sociaux. Que s’est-il passé ?

En cascade

Les problèmes ont commencé le matin entre 9 et 10 heures avec un premier rapport des maisons de soft indiquant que quelque chose ne fonctionnait pas avec les eForms (formulaires électroniques), mais nous avons su résoudre ce problème en 15 minutes. Vers midi, cependant, FarmaFlux a été informé par la plateforme eHealth qu’il y avait un retard sur les services de base du DPP, d’Assurpharma et du RAOTD. En redémarrant les serveurs un par un, ce problème semblait également résolu. Par mesure de sécurité et pour garantir la continuité de tous les services, deux membres de l’équipe qui étaient en vacances ont été contactés. Et ce n’était pas pour rien ! Notre monitoring interne indiquait en début d’après-midi que tous les serveurs pour soutenir les eForms n’avaient quand-même pas démarré. Le problème affectait tous les eForms, tant pour les tests rapides que pour la vaccination, y compris pour le deuxième rappel. Heureusement, les services de base ont continué à fonctionner.

Communication de crise

Manon a informé le Comité Directeur de l’APB et a lancé le plan de communication de crise. Les services internes (la réception, le service des membres et le service de la documentation) ont également été informés du problème, afin qu’ils puissent répondre aux appels, tandis que Freddy Flux a communiqué sur les réseaux sociaux qu’on y travaillait.

Le helpdesk en pleine action

Les téléphones de Gerti, Sandrine, Kristin, Nancy, Séverine et Corine n’ont pas arrêté de sonner tout l’après-midi. Une collègue qui ne travaillait pas habituellement l’après-midi s’est spontanément proposée de répondre aux dizaines de questions au téléphone. D’un côté, ils ont pu rassurer les pharmaciens inquiets que le problème n’était pas seulement le leur et qu’on y travaillait, mais certains pharmaciens étaient confrontés à des patients paniqués parce qu’ils avaient besoin de leur certificat pour partir en voyage.

L’équipe complète en action

Entre-temps, FarmaFlux cherchait fébrilement la cause du problème. Un de nos informaticiens, en route vers sa destination de vacances, a été appelé pour aider de trouver la solution.

Finalement, vers 15 heures, nous avons réussi à rétablir l’enregistrement des eForms sur un seul serveur et vers 16h30, nous avons pu réactiver le transfert des eForms vers Sciensano. Une heure plus tard, Sciensano et Digitaal Vlaanderen nous ont informés que le flux s’était normalisé et que les certificats pouvaient être créés à nouveau. Ensuite, un backlog a été fait pour récupérer les eForms qui n’étaient pas passés pendant la panne afin de créer un certificat pour ceux-là.

Feu vert

Barbara (PM des tests rapides) : “FarmaFlux travaille avec les eForms depuis plus d’un an sans aucun problème et maintenant, juste le 1er juillet, un vendredi noir, les systèmes sont en panne. C’était remarquable de voir comment tout le monde, y compris ceux qui étaient en vacances, se sont rendu compte de la gravité et de l’impact de ce problème et n’ont pas hésité à contribuer à sa résolution. Nous étions également en contact permanent avec Sciensano et Digitaal Vlaanderen, car eux aussi avaient remarqué qu’il y avait un problème. Nous avons été offline pendant moins de 4 heures, mais pour ceux qui partaient en vacances, c’était bien sûr trop long.”

En fait, tout le système a dû être redémarré, mais afin de ne pas causer d’impact supplémentaire pendant les heures d’ouverture des pharmacies, tous les systèmes ont été vérifiés après 22 heures et le travail a finalement été effectué vers minuit.

Un grand merci à Marc, Jan, Alain, Manon, Corine, Barbara, Gerti, Sandrine, Kristin, Nancy, Séverine et Birgit d’avoir tous mis la main à la pâte.