Modelvalidatie: iets voor u?

Modelvalidatie is duur en levert weinig op

In 2018 werd bekend dat enkele Amerikaanse Aegon-dochterbedrijven rekenmodellen voor vermogensbeheer gebruikten die ‘talrijke fouten’ bevatten, en ‘niet werkten zoals beloofd’. De fouten waren achteraf niet verrassend, aangezien al het modelleerwerk door één junior-analist was gedaan en door niemand was gecontroleerd. Dit leidde tot een boete van 97 miljoen dollar, opgelegd door de Amerikaanse SEC, wegens misleiding van beleggers. Zo blijkt dat het ontbreken van modelvalidatie behoorlijk duur kan zijn!

 U denkt misschien dat dit uitzonderlijk is? Ongecontroleerde modellen worden in uw praktijk nooit geïmplementeerd? Onze ervaring in de verzekeringspraktijk is toch anders.

Vaak genoeg zie je alleen maar ‘4-ogen’ controles: berekeningen worden wel nagelopen, maar niet voldoende onafhankelijk getest, waardoor denkfouten in de opzet van een model kunnen blijven zitten. Databronnen buiten het model worden niet altijd goed gecontroleerd. Modelwijzigingen worden maar marginaal gecontroleerd.

En denk ook aan het ‘key-person risk’, waarbij uw organisatie sterk steunt op die ene actuariële specialist – mogelijk zelfs een extern ingehuurde specialist. Alsof die nooit fouten zou maken? En die ‘extern gevalideerde tool’ van de specialist: zijn de gehanteerde aannames en parameters daarin wel echt passend voor uw portefeuille? Zonder validatie weet u het eigenlijk niet.

Hoeveel kan modelvalidatie opleveren? Schat de maximale gevolgen in van een ‘domme fout’: een fout die mogelijk jarenlang kan blijven bestaan zonder dat iemand de uitkomst onlogisch vindt. Inclusief boetes en reputatierisico kan dat behoorlijk in de papieren lopen. En uw bedrijf is in die tijd aangestuurd op basis van foute gegevens. Deze analyse geeft u inzicht in het budget dat u bereid bent vrij te maken voor beter modelbeheer.

Modelvalidatie is veel te lastig

Je kunt het groots aanpakken, door een algemeen validatiebeleid op te stellen en daar een nieuwe afdeling voor in te richten. Maar het bevat eigenlijk een aantal essentiële stappen die behoren tot de taken van de ‘eerste lijn’, zoals:

• regels voor modelbeheer,
• modeldocumentatie,
• standaard voor statistische kwaliteit en rekenkundige juistheid,
• standaard voor kalibratie van parameters,
• regels voor gebruik van externe modellen en data.

Bij de modelvalidatie wordt een checklist langs al deze onderdelen gelegd en wordt door een onafhankelijke, kritische persoon beoordeeld of aantoonbaar aan alle criteria is voldaan. Het ‘lastige’ is dat de vereisten voor een goed model zichtbaar worden gemaakt, en dat in de meeste gevallen de kwaliteit van beheer en documentatie omhoog moet om te ‘slagen’ voor de modelvalidatie. Maar als die kwaliteitsslag eenmaal is gemaakt, dan wordt validatie steeds eenvoudiger.

In onze ervaring komen er bij validaties altijd fouten aan het licht. Bovendien levert het waardevolle informatie op voor de tweede lijnsfuncties, met name Actuarieel en Risk management. Het resultaat is een transparant beeld van de betrouwbaarheid van model en uitkomsten, waarover zij aan de directie moeten adviseren.

Modelvalidatie – laten we er mee starten!

Vanzelfsprekend staat Arcturus voor u klaar om de belangrijkste actuariële modellen te valideren: premiestelling, herverzekering, technische voorzieningen, solvabiliteitskapitaal en ORSA.

Wij stellen een pragmatische aanpak voor, door te starten met een risico-inventarisatie. Dan selecteert het bestuur de prioriteiten, zoals bijvoorbeeld een initiële validatie bij nieuwe modellen, en een reguliere validatiefrequentie van eens per drie jaar.

Arcturus heeft ruime ervaring in modelvalidatie en kan eenvoudig een ‘standaard’ validatiebeleid passend maken voor uw organisatie. Daarna is validatie per model projectmatig af te stemmen. Wij kunnen de eerste lijn helpen met het op orde maken van model en documentatie, en we beschikken over voldoende experts om daarna een onafhankelijke validator langs te sturen.

Validatieprojecten zijn overigens prima in te plannen in de minder drukke periodes van uw team.