Kunstwerken die laten zien dat technologie niet neutraal is

Het is een verschijnsel dat we de laatste jaren vaker tegenkomen. De zeepdispenser die niet werkt bij zwarte handen, de beeldherkenningsapp die een vrouw in bikini als ‘slet’ labelt en het algoritme van de Belastingdienst dat ouders met een dubbele nationaliteit onterecht aanwijst als fraudeurs (Berends, 2021; Crawford & Paglen, 2019). Hoe objectief digitale systemen ook lijken, technologie is niet neutraal. En zodra computers meebeslissen, kan de menselijke verantwoordelijkheid naar de achtergrond verschuiven (Rasch, 2020).
Vanuit dit gegeven vind ik dat het nadenken over de sociale impact van technologie te belangrijk is om alleen aan techbedrijven en beleidstafels over te laten. Als kunsteducator en educatief ontwerper onderzoek ik hoe we kunnen filosoferen over technologie, en denk ik dat kunst hier een rol in kan spelen. Daarbij stel ik mezelf de vraag: ‘hoe kan kunst ons aanzetten tot reflectie over ethiek in het digitale tijdperk?’ Om deze vraag te kunnen beantwoorden zal ik vertrekken vanuit de ideeën van filosofen Miriam Rasch en Viktor Sjklovski en kijken naar kunstwerken die de thematiek van niet-neutrale technologie adresseren.

De-automatiseren

Rasch onderzoekt in haar boek Frictie, ethiek in tijden van dataïsme het heersende geloof in het idee dat alles in de wereld valt te vertalen in data, en dat het leven op die manier voorspelbaarder, betrouwbaarder en makkelijker zal worden. Kunstenaars die ons met andere ogen laten kijken naar technologie noemt Rasch de-automatons: “zij die weigeren als automaten voort te ratelen, die er eer in leggen een stok tussen de spaken te steken van al te gesmeerde netwerken, die meer of minder openlijk genieten van storing en frictie” (Rasch 2020). Rasch onderbouwt het begrip ‘de-automatiseren’ aan de hand van de Russische formalist Viktor Sjklovski. In 1917 schreef hij over de automatisering van het leven:

“Door de algebraïsering, automatisering van de dingen wordt de grootst mogelijke economie van
waarnemingsinspanning bereikt, de dingen worden aangegeven door slechts een van hun kenmerken,
bijvoorbeeld hun nummer, of worden volgens een formule uitgevoerd zonder zelfs maar tot het
bewustzijn te zijn doorgedrongen. Zo gaat het leven verloren, verdwijnend in het niets.” (Sjklovski, 1917)

Wat volgens Sjklovski op deze automatisering in kan breken zijn de kunsten. Kunst manipuleert de bestaande dingen, maakt ze complex en zet ze in een nieuw licht. Door die vervreemding wordt de toeschouwer gedwongen om de vertrouwde werkelijkheid opnieuw te bekijken. Dit proces duidt Sjklovski (1917) aan als de-automatiseren. De ideeën van Sjklovski zijn ruim 100 jaar geleden opgeschreven, maar van toepassing op het werk van veel hedendaagse kunstenaars die opereren in het digitale domein en technologie tot hun artistiek materiaal maken (Stark & Crawford, 2019).

Dullaart, Crawford & Paglen

Een eerste voorbeeld van de-automatiseren is het werk van kunstenaar Constant Dullaart. Dullaart gebruikte voor zijn werk EuroNet de technologie van beeldherkenning (figuur 1). Hij voedde het programma met iconische Europese beelden. Het computerprogramma bekeek honderden beelden en ging op zoek naar de belangrijkste kenmerken bij onder andere de Eiffeltoren, mozzarella en Zwarte Piet. Vervolgens liet Dullaart de computer zelf de beelden generen, door het netwerk eerst heel veel ruis te geven en te vragen om het beeld zó te manipuleren dat het, volgens het programma, op bijvoorbeeld de Eiffeltoren lijkt. Het resultaat is een poëtisch inkijkje in de belevingswereld van de machine. De beelden zijn hallucinerend, alsof je een dronken nacht in Parijs hebt beleefd, en je je s’morgens de Eiffeltoren probeert te herinneren. Of alsof je kijkt door de ogen van een jong kind dat de wereld ontdekt. Het is technologie die de wereld wel herkent, maar niet echt kent.
Dullaart laat zien hoe simpel kunstmatige intelligentie de wereld reproduceert. De machine destilleert de opvallende kenmerken, maar alle nuance valt weg. Beelden van Zwarte Piet interpreteert het programma als een grote zwarte vlek. “Het stereotype in het kwadraat,” noemt Bregje Hofstede (2017) dit treffend in een bespreking van het kunstwerk in De Correspondent. De machine moet de wereld leren begrijpen, als de gevangenen in Plato’s grot, met beschrijvingen van schaduwen van de werkelijkheid. Zelf is de computer neutraal en onpartijdig, maar voordat een computer iets kan maken of beslissen, zijn er altijd persoonlijke en culturele keuzes aan voorafgegaan. ‘Automatische herkenning betekent ook ‘automatische vertekening’ (Hofstede, 2017).

Eiffel Tower – EuroNet (Dullaart, 2017)

Zwarte Piet – EuroNet (Dullaart, 2017)

Een andere manier van de-automatiseren is de artistieke interventie ImageNet Roulette, ontwikkeld door kunstenaar Trevor Paglen en AI-onderzoeker Kate Crawford (2019). Deze online tool bood de mogelijkheid om je foto te uploaden en te ontdekken welke labels het beeldherkennings-systeem eraan zou koppelen. Die labels werden gegenereerd door ImageNet, één van de grootste AI-beeldbanken ter wereld. De uitkomsten riepen grote onrust op, zoals journalist Jamal Jordan op Twitter omschrijft:

Lil Uzi Hurt, 2019

Wat we zien is dat de labels die de computer aan de foto’s koppelt, subjectief zijn. De computer ‘leest’ de dominante cultuur (Hofstede, 2017). De datasets waarmee kunstmatige intelligentie over de wereld leert bevatten dezelfde normen, waarden, vooroordelen en maatschappelijke ongelijkheden als de analoge wereld (Berends, 2021). Dit inzicht, dat door programmeurs ook wel garbage in, garbage out wordt genoemd, maakt ImageNet Roulette invoelbaar door te interveniëren in de digitale werkelijkheid. De gebruikers worden onderdeel van het kunstproject, door hun foto te uploaden en de resultaten via social media te verspreiden. De context, het digitale domein, is vertrouwd, net zoals de vorm dat is; een gebruiksvriendelijke online tool. Maar de uitkomsten confronteren, vervreemden en de-automatiseren.

Training Humans – Trevor Paglen en Kate Crawford. Foto: Fondazione Prada; Marco Cappelletti

Verandering

Miriam Rasch ziet, in navolging van Skjlovski, de literatuur en kunst als sleutel om te de-automatiseren in tijden van dataïsme. Zij zegt daarover: “(vervreemding) is een productieve kracht die je in beweging zet. Het startpunt voor mogelijke verandering” (Rasch, 2020). Dat vervreemding aan kan zetten tot reflectie en meer begrip van digitale systemen, ervaar ik zeker. Maar brengt kunst mensen werkelijk in beweging? Kan kunst aanzetten tot maatschappelijke verandering?
Een antwoord hiervoor vind ik bij de filosoof Rancière. Rancière erkent het vervreemdende effect van kunst, maar hij stelt dat er geen enkele reden is om aan te nemen dat het begrip dat een kunstwerk oplevert zou leiden tot “de beslissing om de wereld te veranderen” (Rancière, 2015). Volgens Rancière is er geen scheidslijn tussen de werkelijkheid (de politiek) en de kunst. Een kunstwerk is altijd onderdeel van verschillende aspecten van de politieke realiteit. Kunstenaars die dat beseffen kunnen zich vervlechten met die werkelijkheden. Met hun kunstwerken kunnen ze langzame verschuivingen teweegbrengen en ruimte openen voor nieuwe mogelijkheden (Rancière, 2015).
Dat een kritisch kunstwerk geen garantie biedt voor directe structurele verandering, illustreert de reactie op de ophef rond ImageNet Roulette. ImageNet haalde 600.000 beelden uit de database, maar volgens de kunstenaars Crawford en Paglen is er geen snelle technische ‘fix’ voor deze kwestie. Volgens hen is het hele streven naar het verzamelen en categoriseren van afbeeldingen een vorm van politiek, waarbij de vraag komt kijken wie er mag beslissen wat afbeeldingen betekenen, (Crawford & Paglen, 2019). Dit kunstproject toont aan hoe belangrijk het is als invloedrijke data wordt geclassificeerd door representanten vanuit diverse maatschappelijk-culturele lagen, in plaats van door een relatief homogene groep technologen.