AI surveilleert erop los. Maakt dat onze samenleving veiliger?

Marc Schuilenburg is onderzoeker bij TNO en hoogleraar aan de Erasmus Universiteit Rotterdam. Hij is van mening dat er nog veel te verbeteren valt als het gaat om AI-toepassingen voor veiligheid. In zijn recent verschenen boek ‘Making Surveillance Public: Why You Should Be More Woke About AI and Algorithms’, legt hij zijn visie uit.

Over zijn nieuwe boek zegt Schuilenburg: “Surveillance betekent letterlijk toezicht houden, in de praktijk omvat surveillance het geheel van ‘bekijken en bekeken worden’. Het woord ‘publiek’ uit de titel van het boek heeft voor mij drie betekenissen.

In de eerste plaats wil ik aantonen dat we als ‘publiek’ zo gewend zijn aan surveillance dat we veel vormen ervan niet meer als zodanig herkennen. Zo is er bijvoorbeeld de Ring ‘cameradeurbel’ van Amazon waarmee je via je smartphone ziet wie er voor de deur staat. Op basis van wat je ziet, kun je besluiten of het veilig is om open te doen. Het camerasysteem waarmee de auto’s van Tesla zijn uitgerust is een ander voorbeeld. Het systeem registreert niet alleen het rijgedrag van de bestuurder maar ook wie de auto eventueel beschadigt of openbreekt.

Beide voorbeelden laten zien hoe steeds meer partijen zich inlaten met het veiligheidsvraagstuk. Op het eerste oog lijken het gewoon nuttige technologische snufjes, maar veel mensen vergeten dat de Tesla-opnames ook kunnen worden opgevraagd voor politieonderzoek. En dat Amazon bezig is met het maken van een ‘watchlist’; een bestand van mensen die kunnen worden herkend aan de hand van de beelden gemaakt door de deurbel. Daarmee krijgen deze ‘gadgets’ een dubbele lading.”

Houdt AI-surveillance rekening met onze publieke waarden?

“De tweede betekenis van de titel is dat surveillance en het gebruik maken van AI en algoritmes daarbij, altijd gepaard gaat met een strijd om publieke waarden”, vertelt Schuilenburg verder. “Publieke waarden zijn een afspiegeling van wat in de samenleving als belangrijke waarden worden beschouwd, bijvoorbeeld vrijheid en gelijkheid. Ik onderscheid drie sets van publieke waarden. De eerste set zijn ‘sturende publieke waarden’ zoals veiligheid en efficiëntie. De volgende set zijn ‘verankerde publieke waarden’. Dit zijn waarden die diepgeworteld zijn in onze samenleving, bijvoorbeeld non-discriminatie en privacy. De derde set bevat ‘procesmatige publieke waarden’. Deze waarden gaan over hoe een proces verloopt. Belangrijk hierin zijn transparantie en accountability.

In het huidige debat over AI en algoritmes zijn met name de sturende publieke waarden, veiligheid en efficiency dominant. In mijn boek vraag ik aandacht voor het meenemen van de andere sets van publieke waarden bij de ontwikkeling en implementatie van AI en algoritmes in het veiligheidsvraagstuk.”

Er blijft veel kennis over veiligheid onbenut

“Ik pleit ervoor dat een ‘publiek’ wordt betrokken bij het ontwikkelen van nieuwe technologie op het gebied van veiligheid door middel van AI en algoritmes”, vervolgt Schuilenburg. “Dit is de derde betekenis van de titel van mijn boek. De groep mensen die werkt aan innovaties met AI en algoritmes, bestaat grotendeels uit – even ‘kort door de bocht’ geformuleerd – hoogopgeleide witte mannen met technische kennis. Waarom zou je deze werkgroep niet uitbreiden met personen die andere vormen van kennis en ervaring hebben die relevant zijn als het gaat om veiligheid? Vrouwen, ethici, juristen, mensen uit minderheden in de samenleving; al deze mensen beschikken over vormen van kennis die nu onvoldoende worden benut bij het maken van nieuwe ‘tools’ voor het veiligheidsvraagstuk.”

Hoe staat het met de democratische controle van AI-innovaties?

“Op dit moment is een technisch-economische benadering – gebaseerd op de sturende publieke waarden veiligheid en efficiëntie – leidend. De gedachte is dat technologische oplossingen leiden tot meer veiligheid en vervolgens tot winst in efficiëntie. Echter, er is nu nog heel weinig empirisch onderzoek dat aantoont dat deze doelen ook worden gehaald”, constateert Schuilenburg.

“Wel is duidelijk dat de democratische controle onvoldoende is of zelfs volledig ontbreekt bij bepaalde vormen van surveillance met behulp van AI en algoritmes. Het meer publiek maken van de surveillance vergroot de democratische controle. Tegelijk is er op het gebied van wet- en regelgeving veel onduidelijkheid. Het veiligheidsvraagstuk verandert door AI en algoritmes zó snel dat het huidige stelsel dit tempo niet kan bijbenen.

Een voorbeeld zijn zelflerende algoritmes. Deze algoritmes zoeken zelf een weg door datasystemen, waardoor de uitkomst niet meer kan worden terug herleid naar de input. De inzet van deze algoritmes leidt tot vragen over accountability; hoe leg je verantwoordelijkheid af over de keuzes die worden gemaakt door deze algoritmes? En in welke fase doe je dit? Bij het verzamelen van data, de verwerking ervan of bij de uitkomst? Of in alle drie de fasen? Non-discriminatie, transparantie en accountability zijn namelijk publieke waarden waarover de overheid en politie wel degelijk verantwoordelijkheid moeten kunnen afleggen.”

Er ligt een taak bij overheid, bedrijven én kenniscentra

“Vergroot de democratische controle door verder te kijken dan alleen de waarde van veiligheid en efficiëntie is mijn advies”, sluit Schuilenburg af. “De nog steeds lopende toeslagenaffaire is helaas een goed voorbeeld van het voorbijgaan aan publieke waarden onder het mom van meer veiligheid. Het is de taak van overheid, bedrijfsleven en kenniscentra waaronder TNO, om bij de ontwikkeling van innovaties voor het veiligheidsvraagstuk met behulp van AI en algoritmes meer nadruk te leggen op alle sets van publieke waarden. Alleen door rekening te houden met álle publieke waarden kunnen we de veiligheid voor iedereen in de samenleving vergroten.”