Het primaire doel van de 'Slimme Check' pilot was tweeledig en diep geworteld in de wens om de publieke dienstverlening te verbeteren. Enerzijds streefde de gemeente Amsterdam naar een aanzienlijke efficiëntieslag in het proces van bijstandsbeoordelingen, een domein dat bekendstaat om zijn hoge werkdruk en de noodzaak om beperkte capaciteit optimaal in te zetten. Het algoritme was bedoeld als een intelligent hulpmiddel dat ambtenaren kon gidsen naar de aanvragen die de meeste aandacht behoefden, waardoor kostbare tijd effectiever besteed kon worden. Anderzijds, en minstens zo belangrijk, was het doel om het beoordelingsproces eerlijker te maken voor de burger. De intentie was om de inherente subjectiviteit van menselijke beslissingen te mitigeren met een objectiever, data-gedreven instrument.

De aanpak van de 'Slimme Check' pilot werd vanaf de start gekenmerkt door een bewuste en zorgvuldige strategie die gericht was op het waarborgen van ethiek, transparantie en menselijke controle. De kern van de aanpak was het ontwerp van het algoritme als een ondersteunend instrument, in plaats van een autonoom beslissingssysteem. Het model mocht geen aanvragen goed- of afkeuren, maar gaf enkel een advies of een aanvraag 'onderzoekswaardig' was, waarna een ambtenaar altijd de finale beslissing nam. Om het risico op discriminatie proactief te minimaliseren, werd een cruciale ontwerpkeuze gemaakt: alle direct gevoelige kenmerken, zoals etniciteit, geslacht of nationaliteit, werden expliciet uitgesloten van de trainingsdata en het model. De analyse was gebaseerd op een selectie van objectieve, niet-gevoelige data zoals inkomen en arbeidsverleden. Transparantie was een andere hoeksteen van de methodologie. De gemeente implementeerde een openbaar algoritmeregister waarin de technische documentatie, de gebruikte data en de ethische uitgangspunten voor iedereen inzichtelijk waren. Dit diende om publieke verantwoording af te leggen en het vertrouwen te vergroten. Gedurende het hele traject werden diverse gemeentelijke raden en commissies actief betrokken om toezicht te houden en advies te geven. Bovendien werd er een uitgebreide gegevensbeschermingseffectbeoordeling (DPIA) uitgevoerd om de privacy van burgers te garanderen. Het ontwikkelproces zelf was iteratief. Na de initiële ontwikkeling volgde een testfase waarin de prestaties van het model werden geëvalueerd. Tijdens deze fase werd een onbedoelde bias ontdekt, waarop een correctiefase volgde. In deze fase werd de trainingsdataset aangepast in een poging het systeem neutraler te maken. Vervolgens werd het gecorrigeerde model ingezet in een live pilotfase, waarin het in de praktijk werd gebruikt door ambtenaren. Gedurende deze fase werden de effectiviteit en de gebruikerservaring nauwlettend gemonitord. De evaluatie van de resultaten uit deze praktijktoepassing, gecombineerd met de feedback van de ambtenaren en de aanhoudende ethische zorgen, vormde de basis voor de uiteindelijke besluitvorming. Deze gefaseerde en gecontroleerde aanpak, met ingebouwde momenten voor reflectie en bijsturing, was bedoeld om de risico's te beheersen en te leren van de praktijk.

Gewenste resultaten: Hoewel de 'Slimme Check' pilot operationeel niet de beoogde resultaten opleverde, heeft het project op een ander, strategisch niveau wel degelijk positieve uitkomsten gehad. De meest significante gewenste uitkomst was de demonstratie van verantwoorde en ethische governance in het digitale tijdperk. Door het project te beëindigen op basis van principiële bezwaren, toonde de gemeente Amsterdam dat zij de rechten van burgers en ethische waarborgen daadwerkelijk prioriteert boven de doorzetting van een technologische innovatie. Dit besluit wordt gezien als een overwinning voor transparantie en zorgvuldig bestuur, omdat het laat zien dat de ingebouwde controlemechanismen en ethische kaders niet slechts papieren tijgers waren, maar reële invloed hadden op de besluitvorming. De casus fungeert nu als een belangrijk en positief voorbeeld voor andere overheden die worstelen met de implementatie van AI. Het project heeft buitengewoon waardevolle, praktische inzichten opgeleverd in de complexiteit van het ontwikkelen van 'eerlijke' algoritmes. De ervaringen hebben de abstracte, theoretische discussies over algoritmische bias concreet en tastbaar gemaakt, wat andere organisaties kan helpen om realistische verwachtingen te vormen en bekende valkuilen te vermijden. Ongewenste resultaten: et meest fundamentele ongewenste resultaat van de pilot was het falen om een algoritme te ontwikkelen dat voldeed aan de cruciale eis van eerlijkheid en onpartijdigheid. Ondanks de zorgvuldige uitsluiting van gevoelige data, manifesteerde zich een hardnekkige en onvoorspelbare vorm van bias in het systeem. Aanvankelijk discrimineerde het model tegen aanvragers met een migratieachtergrond, en na een correctiepoging verschoof de bias naar een onevenredige markering van vrouwen en mensen zonder migratieachtergrond. Dit toonde op pijnlijke wijze aan hoe complex en weerbarstig het concept van algoritmische eerlijkheid in de praktijk is. Een ander significant negatief resultaat was de zeer beperkte effectiviteit en voorspellende waarde van het systeem. Ongeveer de helft van de aanvragen die door het algoritme als 'onderzoekswaardig' werden bestempeld, bleken na menselijke controle volkomen legitiem te zijn. Dit hoge percentage 'false positives' ondermijnde niet alleen de beoogde efficiëntiewinst, maar leidde ook tot onnodige stress en wantrouwen bij burgers die onterecht onder een vergrootglas werden gelegd. Bovendien ontstond er een vertrouwensbreuk met de ambtenaren die het systeem moesten gebruiken. De patronen en adviezen die het algoritme produceerde, werden door de menselijke experts vaak als onlogisch, contra-intuïtief en niet navolgbaar ervaren. Dit gebrek aan aansluiting bij de professionele praktijk en het menselijk redeneervermogen zorgde ervoor dat het systeem niet werd geaccepteerd als een betrouwbaar hulpmiddel. Uiteindelijk voldeed de pilot op geen van de kernvoorwaarden: de eerlijkheid kon niet worden gegarandeerd en de effectiviteit was te laag om de inzet te rechtvaardigen.