Fouten ontdekken in honderden jaarrekeningen. De AFM doet dat nu nog risicogestuurder met een zelflerend algoritme. Hun innovatieve model dong in 2022 als een van de vijf genomineerde projecten mee naar de hoofdprijs bij de Verkiezingen Handhaving en Toezicht. Iskander Schrijvers en Stephan van Sonderen vertellen wat het model inhoudt en hoe het hen sinds de nominatie is vergaan.
Nederland telt zo’n 200 beursgenoteerde bedrijven. Een van zaken waarop de Autoriteit Financiële Markten (AFM) toezicht houdt zijn de jaarverslagen van deze bedrijven. Zo draagt de AFM bij aan het vertrouwen in de financiële sector. De afdeling Kwaliteit Accountantscontrole en Verslaggeving (KAV) voert dit toezicht uit. Maar door beperkte capaciteit kunnen zij maar een deel van de jaarrekeningen beoordelen, waarin ze ook steeds minder misstanden vonden. De vraag rees: zitten er ook echt minder fouten in de financiële verslaggeving of kunnen toezichthouders ze minder goed vinden?
Nog risicogerichter toezicht
Een zelflerend algoritme moest antwoord bieden op die vraag. De Kwantitatieve Risico-Analysetool (KRA), om precies te zijn. Die selecteert automatisch de meest risicovolle jaarrekeningen. Hierdoor kan de afdeling KAV de schaarse capaciteit effectiever inzetten. “Voor KRA bestond, gebruikten we al een kwalitatieve methode voor de selectie van risicovolle rekeningen. Die visten we eruit op basis van onder andere risico, sector- en marktanalyse, meldingen en internationale normen”, vertelt Iskander Schrijvers van de AFM.
“Daarnaast selecteerden we ook random jaarrekeningen. Ook maakten we gebruik van roulatie, wat inhoudt dat we om de zoveel jaar van elk bedrijf een jaarrekening bekijken. KRA hebben we vanaf 2020 ontwikkeld als aanvulling op deze bestaande methodes van toezichthouden”, legt Schrijvers uit. Als manager van het team Datagedreven toezicht en Risicoanalyse (DRA) was hij nauw betrokken bij de ontwikkeling van KRA.
De geboorte van KRA
Voor de ontwikkeling van het zelflerende algoritme begon de afdeling KAV met een al bestaand wetenschappelijk model. Binnen die afdeling houden de teams Toezicht Verslaggeving en DRA zich hiermee bezig. Schrijvers van team DRA: “We vulden in dat model maar liefst zeventig variabelen in die kunnen duiden op fouten in een jaarrekening. Een voorbeeld van zo’n variabele is goodwill. Dat is een immateriële waarderingspost op de balans. Er is een risico dat die ten onrechte niet wordt afgewaardeerd, wat dus een fout in de jaarrekening oplevert. Uiteindelijk brachten we die variabelen terug naar zeven die samen de grootste voorspelkracht hebben. Dit aantal en de selectie van die variabelen verandert over tijd, dat blijven we dus ook telkens herzien.”
Een transparantie-dilemma
Welke variabelen onderdeel uitmaken van het algoritme, wil de AFM niet delen, omdat bedrijven het algoritme dan kunnen misleiden. Schrijvers: “Dat leidt wel meteen tot spanning. Als toezichthouder vragen wij namelijk om transparantie van de sector als bedrijven zélf algoritmen gebruiken. Hoe hiermee om te gaan blijft daarom ook altijd onderdeel van onze interne discussies. Zo stel ik me voor dat er uiteindelijk ook een toezichthouder komt die in vertrouwen wél toegang krijgt tot deze variabelen en de achterliggende code om ook ons te kunnen controleren.”
Eerste succes
Het algoritme-in-wording is na het vinden van de variabelen eerst gevoed met zogenaamde business rules. Dat zijn specifieke regels, richtlijnen en criteria die het gedrag van het zelflerende algoritme sturen. Daarna is het getraind met informatie over jaarrekeningen. Vervolgens werd het getest met een set van jaarrekeningen van de afgelopen tien jaar waarin de AFM bevindingen had. “Toen had het algoritme genoeg kennis en hadden wij genoeg inzicht in hoe het werkt om in de praktijk in te zetten”, legt Schrijvers uit. Met succes, want na invoering werd met de KRA dubbel zoveel fouten gevonden in de onderzochte jaarrekeningen.
KRA is nooit af
“Het grootste risico is dat met langer gebruik een algoritme bot wordt”, stelt Stephan van Sonderen. Hij is manager van team Toezicht Verslaggeving. Zij voeren het toezicht uit en gebruiken KRA dagelijks. “Dan voorspelt het algoritme niet meer goed. Dat komt omdat hij getraind is op gegevens en patronen uit het verleden. Die kunnen veranderen, er kunnen nieuwe trends ontstaan en daar kan het algoritme dan niet voldoende op anticiperen. Om dat te voorkomen, voeren we elk jaar alle jaarverslagen van beursgenoteerde bedrijven in. En denken we met het team van Iskander na over het aanvullen of verwijderen van variabelen.”
Het is veel werk om alle jaarverslagen in KRA in te voeren. “Maar dat is het meer dan waard, omdat we met een goedwerkend algoritme nog veel meer risicogestuurd kunnen werken”, vertelt Van Sonderen. “Dat invoeren gebeurt nu nog grotendeels handmatig, maar we onderzoeken hoe we dat efficiënter kunnen doen. Bijvoorbeeld met ESEF (European Single Electronic Format), dat zijn een soort tags die bedrijven in hun jaarrekeningen moeten toevoegen. Daarmee hoeven we niet meer zelf de jaarverslagen in te voeren, KRA heeft genoeg aan de tags.”
Altijd blijven innoveren
Om KRA nog verder door te ontwikkelen, werken de data-scientists en data-analisten van team DRA nauw samen met de toezichthouders uit het team Toezicht Verslaggeving. Schrijvers: “We hebben afgesproken dat we elk jaar twee momenten inbouwen voor de doorontwikkeling van KRA. Zo zijn we onder andere. bezig geweest met de datakwaliteit. Bij het handmatig invoeren van de jaarrekeningen worden nu nog weleens fouten gemaakt. Als we die invoer weten te automatiseren – bijvoorbeeld met ESEF – dan versnellen en verbeteren we het proces.”
Van Sonderen: “We onderzoeken ook of we ons duurzaamheidstoezicht in KRA kunnen opnemen. Vanaf verslaggevingsjaar 2024 houden we namelijk ook toezicht op zaken als de toelichting die bedrijven geven over hun emissie-uitstoot. Ook zou KRA ons kunnen helpen bij risicogericht toezicht op greenwashing – dat bedrijven zich groener voordoen dan ze daadwerkelijk zijn. Hoe precies, moet nog blijken.”
Meerdere toekomstdromen
Naast doorontwikkeling durven beide betrokken teams nog verder te dromen. Van Sonderen: “Dit is toekomstmuziek en speelt absoluut nog niet, maar ik hoop dat financiële toezichthouders uiteindelijk op Europees niveau veel meer data met elkaar kunnen delen. Dan kan KRA of een ander zelflerend algoritme ondersteunen bij het toezicht op de Europese kapitaalmarkt.”
Een andere droom is de toepassing van tekstanalyse door KRA. Van Sonderen: “Nu werkt het algoritme alleen nog met getallen. Een volgende stap is ook de analyse van woordgebruik. Er zijn nu al experimenten bij commerciële bedrijven met natuurlijke taalverwerking. En dan met name de analyse van bepaalde sentimenten in teksten. Daar zit veel potentie in, want jaarverslagen – zeker duurzaamheidsverslagen – bestaan voor een groot deel uit woorden. Het kan ons helpen de risicoanalyse sneller en nauwkeuriger te doen.”
Zichtbaarheid door de verkiezingen
Het is inmiddels al ruim anderhalf jaar geleden dat de AFM met KRA deelnam aan de Verkiezingen Handhaving en Toezicht. “Maar we plukken er nu nog steeds de vruchten van”, stelt Schrijvers. “Het heeft ons als afdeling veel meer zichtbaarheid binnen de AFM gegeven bijvoorbeeld. Een onderwerp dat veel collega’s in eerste instantie niet zo aanspreekt, heeft zo meer bekendheid gekregen. Dat geeft weer ruimte om door te ontwikkelen. Ook heeft het bijgedragen aan teambuilding. Het team van Stephan en mijn team konden aan een groter publiek laten zien wat we hadden gemaakt en dat we daar trots op zijn.”