Achter de schermen bij FarmaFlux

Een vijftal jaar geleden werd de aanzet gegeven tot een real time monitoring van de systemen achter FarmaFlux in plaats van een foutrapportering na de feiten zoals dat tot dan toe gebeurde. We praten met Marc Buckens en Jan Lenie die ons vertellen wat er achter de schermen gebeurt.

Dagelijkse kost

Als je ’s morgens in de apotheek je computer opstart en aan je dag begint net als je bijna 5000 collega’s hoop je maar een ding en dat is: dat alles werkt. Nu eerlijk gezegd wij ook, want wij weten immers wat er allemaal fout kan lopen.

Telkens een apotheker informatie in het GFD wil registreren, de medicatiehistoriek opvraagt via PCDH (Pharmaceutical Care Data Hub) of een voorschrift ophaalt, voert hij een handeling (‘call’) uit. Per seconde betekent dit een boel handelingen vanuit – ja tegenwoordig – het voltallig apothekerskorps. Vergelijk het gerust met het aantal elektronische betalingen op een koopzaterdag.

RRD tool

Het FarmaFlux team monitort al deze calls via grafieken op hun pc of smartphone. Jan Lenie : “Momenteel zijn er 6000 meetpunten of RRD’s (Round-Robin Database)* voor FarmaFlux, waarbij we o.a. checken of de vragen van de apothekers geregistreerd worden, of de servers behoorlijk draaien enz. Als de grafieken geen pieken vertonen, is dat goed nieuws. Vertoont de grafiek toch een onregelmatigheid, dan zijn we met de historiek in staat de grafiek van dat moment te vergelijken met die van de vorige maand of van dezelfde periode vorig jaar om te zien of het al dan niet om een tijdelijk probleem gaat.”

Marc : “In de grafieken is ook het dagritme van de apotheker zichtbaar, zoals de ochtendpieken bij de opstart en de verminderde activiteit op de middag. We zorgen er dan ook voor dat het hele FarmaFlux team niet samen onderweg is tijdens die piekmomenten, zodat er bij problemen onmiddellijk ingegrepen kan worden. Snel ingrijpen is cruciaal. Geregeld slagen we er zelfs in om problemen te verhelpen alvorens die effectief gedetecteerd worden op het terrein.”

Solden

Jan Lenie: “Soms bemerken we een probleem in het systeem en zou het moeten herstart worden. Dit laatste proberen we echter overdag te vermijden, omdat er bij de opstart ineens een grote hoeveelheid calls/berichten binnenkomt wat het systeem onder druk zet. Dat is te vergelijken met een grote groep mensen die tijdens de solden allemaal tegelijk een winkel binnen willen, dat lukt ook niet echt goed.  Specifiek voor de FarmaFlux diensten kunnen we het herstarten uitstellen tot ’s avonds.  Gedurende de dag worden dan alle berichten opgestapeld -en deze lopen al snel op tot enkele honderdduizenden berichten- om na herstart netjes verwerkt worden.  Ook hier beogen we geen impact te hebben in de apotheek zelf. ”

Teamwork

Ook bij eHealth hebben ze toegang tot onze monitoring en kijken ze mee. Zien zij een probleem bij ons, dan sturen ze ons via e-mail een rapport. Zijn er bij hen problemen, dan verschijnt er een pop-up op Marcs pc en tonen de grafieken dat het aantal calls stilvalt en de apothekers dus geen toegang meer hebben tot het systeem. Bij wie de fout ook ligt, meestal zijn we in staat dit binnen de drie minuten te detecteren. Als het zover is, wordt het team verwittigd en zit iedereen paraat voor zijn scherm. Heeft de fout impact op het terrein, dan wordt de communicatie opgestart. (Wie wat doet, lees je hier)

Marc : “Tijdens de zomerperiode gebeuren er geen aanpassingen aan de systemen zodat we (meestal) rustig met vakantie kunnen gaan, de gewone maintenance blijft wel lopen. Een keer werd ik toch ingeschakeld op vakantie en moest ik vanuit de auto werken omdat dat de enige plek met wifibereik was.  (Wees gerust, er is een interne afgesproken code voor noodgevallen.)"

Extra beveiliging

De servers staan in een zeer beveiligde omgeving bij Proximus en omdat de verbinding met die servers niet continu mag openstaan, wordt een ingenieus systeem gebruikt om toch te weten dat alles “draait”. Op basis van een systeem van logfiles, logwatchers en alerting kunnen we zien of het systeem functioneert en worden we op de hoogte gehouden van fouten. Elk uur worden er tientallen files gegeneerd met technische waarden van het systeem– zoals op de afbeelding bovenaan het artikel en onderstaand filmpje te zien is – en flitsen bijna 2 miljoen lijnen op de schermen voorbij, en dit voor het GFD, RaOTD, AssurPharma enz.  

De computer leest al deze lijnen vanuit een extern systeem en verwerkt ze tot een grafiek die ons in staat stelt een probleem te situeren en het aan een softwarehuis of een bepaalde apotheker te linken. Soms zien we dat er ergens iemand de systemen aan het belasten is, bijv. een apotheker die ieder uur 1000 patiënten opvraagt of ook detecteren we foutcodes die verwijzen naar apothekers die zonder contract gebruik maken van FarmaFlux diensten.

Doel

Marc : “Terwijl het vroeger dagen duurde eer we vonden bij welke apotheek het probleem lag, kunnen we dit nu in een tiental minuten. De bedoeling is om meer en meer te werken naar het isoleren van elk probleem en er een oplossing voor bedenken. Visibiliteit en stabiliteit is wat we nastreven. Het verhelpen van de fouten doen we op basis van een concreet inzicht in de problemen. Indien de oorzaak niet bij ons ligt, worden de nodige stappen ondernomen om deze alsnog te verhelpen. Hiervoor wordt ook beroep gedaan op de mensen van het eHealth platform, de softwarehuizen tot zelfs de individuele apotheker indien nodig. Ook willen we op basis van een aantal parameters een grafiek maken die een synthese geeft van de situatie en dit op de website zetten, zoals we bij Recip-e al doen met de statusknop onderaan de homepagina. Momenteel hebben we er echter de mankracht niet voor, we zijn dan ook al een tijd op zoek naar enthousiaste nerds.”  

*RRD tool is een RRD (Round-Robin database) database management tool gemaakt om servergegevens te monitoren en om de gegevens in de database grafisch weer te geven. (Wikipedia)