Er gaat van alles mis met het gebruik van algoritmes door de overheid, concludeert de Algemene Rekenkamer in een kritisch rapport. Op tal van ministeries wordt bijvoorbeeld geen aandacht besteed aan de ethische aspecten van algoritmes, met het risico op discriminatie.
Op slechts drie van alle twaalf ministeries staat ethiek hoog op het prioriteitenlijst als er wordt nagedacht over een algoritme, blijkt uit gesprekken die de Rekenkamer voerde met medewerkers van alle ministeries. Welke ministeries dat zijn, wil de Rekenkamer, de onafhankelijke controleur van de overheid, overigens niet zeggen. Dat was niet het doel van het onderzoek, legt een woordvoerder uit.
Het doel was vooral om te kijken hoe het gebruik van algoritmes bij de overheid is geregeld. En dat is niet best, blijkt. Om te beginnen weten ministeries vaak niet eens welke algoritmes er gebruikt worden.
Wat is een algoritme?
Een algoritme is een verzameling regels die een computer volgt om op grote schaal taken te verrichten die mensen vaak veel tijd kosten. Zo kan een algoritme bijvoorbeeld gebruikt worden om fraude op te sporen, door allerlei gegevens door te spitten die daarop kunnen wijzen.
Geen overzicht
Pas na het belletje van de Rekenkamer vanwege dit onderzoek ging op veel ministeries en bij CIO Rijk een lampje branden om eens te kijken welke algoritmes er eigenlijk al gebruikt worden.
Het CIO Rijk is een afdeling van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties die ervoor moet zorgen dat informatisering en ICT bij de rijksoverheid en zogeheten zelfstandige bestuursorganen zo goed mogelijk functioneert.
Dit gebrek aan overzicht is niet zonder gevaren, waarschuwt de Rekenkamer. Stel dat er iets misgaat door het gebruik van algoritme, dan kan de overheid niet op tijd ingrijpen.
Uit het onderzoek dat de Rekenkamer deed, blijkt ook dat er maar weinig wordt gedaan om discriminatie of etnische profilering te voorkomen. Dat kan al op een hele onschuldige manier gebeuren, als er oude data wordt gebruikt die de huidige situatie niet meer goed weerspiegelt.
"Zorg ervoor dat de wetgeving die bij het beleid hoort, ook toegepast wordt op het algoritme."
"Je hebt dus een experimenteerfase nodig", legt Hanny Kemna uit, collegelid in buitengewone dienst van de Algemene Rekenkamer.
Let op wetgeving
Een van de zaken waar het nu misgaat, is dat bij het ontwikkelen van een algoritme niet altijd door alle afdelingen wordt meegedacht, vertelt Kemna. Een algoritme wordt vaak bedacht als er nieuw beleid moet worden uitgevoerd, legt ze uit. "Zorg ervoor dat de wetgeving die bij het beleid hoort, ook toegepast wordt op het algoritme", geeft zij als advies. "Die kwaliteitsbeheersing staat nu nog in de kinderschoenen."
Dat is ook nodig om drama's zoals met de toeslagenaffaire in de toekomst te voorkomen. Een van de zaken die hebben geleid tot het drama van de toeslagenaffaire, was dat nationaliteit een factor was in het algoritme dat bepaalde of er een risico kleefde aan iemand die toeslag aanvroeg.
Als er niet strenger gekeken wordt naar welke data het algoritme gebruikt, is het risico dat er een vooroordeel in het algoritme sluipt - en daarmee de kans op discriminatie - aanwezig. "We zien een dreiging die we het 'computer says no-syndroom' noemen: het verschuilen achter iets wat de computer genereert", aldus Kemna. "Bij algoritmes die zo veel impact kunnen hebben op burgers, moet die kritische blik er altijd zijn."
"We zien een dreiging die we het 'computer says no-syndroom’ noemen: het verschuilen achter iets wat de computer genereert."
En dat geldt niet alleen voor de ontwerpfase van een algoritme. Ook als een algoritme al jaren gebruikt wordt, moet goed in de gaten gehouden blijven worden of een algoritme nog wel voldoet. Bijvoorbeeld aan regels voor het opslaan en gebruik van privacygevoelige data.
Welke regels?
Welke regels dat zijn, is een volgend struikelblok. Uit het onderzoek blijkt dat ministeries lang niet altijd dezelfde regels gebruiken om te kijken of hun algoritmes wel door de beugel kunnen. Sterker nog: er is niet eens overeenstemming over wat nu wel en niet een algoritme is.
Om voor eens en altijd een einde aan te maken aan de discussie aan welke regels een algortime moet voldoen, heeft de Rekenkamer met behulp van experts een toetsingskader ontworpen. Met deze online toets kan een algoritme stap voor stap worden gecheckt.
Daarbij wordt onder meer gekeken of data wel goed beveiligd en opgeslagen wordt en of er risico is op discriminatie.
Contact met burger
De Rekenkamer hoopt dat de overheid het toetsingskader gaat gebruiken bij het maken van nieuwe algoritmes. Daarnaast roept de instantie staatssecretaris Raymond Knops (BZK, CDA) op om een loket op te richten, waar burgers hun vragen en klachten over algoritmes kwijt kunnen. Want burgers staan op dit moment niet centraal, aldus Kemna.
In een reactie naar aanleiding van het rapport laat Knops weten dat er verder gewerkt zal worden "aan verbeterde dienstverlening en beleidsuitvoering vanuit de rijksoverheid."
