Kunstwerken die laten zien dat technologie niet neutraal is
Mijn achternaam draag ik met trots: Ibrahim is de voornaam van mijn overgrootopa, die mijn vader invulde toen hij in de jaren ’70 vanuit Egypte naar Nederland kwam. Mijn vader is helaas overleden, het was de meest warme en hartelijke man die je je kan inbeelden. Maar er is iets geks aan de hand met mijn achternaam: als een computer een taal leert met behulp van alledaagse teksten van internet, blijkt dat de computer niet-westerse namen zoals Ibrahim als minder ‘plezierig’ aanduidt dan westerse achternamen (Caliskan et al., 2017).
Het is een verschijnsel dat we de laatste jaren vaker tegenkomen. De zeepdispenser die niet werkt bij zwarte handen, de beeldherkenningsapp die een vrouw in bikini als ‘slet’ labelt en het algoritme van de Belastingdienst dat ouders met een dubbele nationaliteit onterecht aanwijst als fraudeurs (Berends, 2021; Crawford & Paglen, 2019). Hoe objectief digitale systemen ook lijken, technologie is niet neutraal. En zodra computers meebeslissen, kan de menselijke verantwoordelijkheid naar de achtergrond verschuiven (Rasch, 2020).
Vanuit dit gegeven vind ik dat het nadenken over de sociale impact van technologie te belangrijk is om alleen aan techbedrijven en beleidstafels over te laten. Als kunsteducator en educatief ontwerper onderzoek ik hoe we kunnen filosoferen over technologie, en denk ik dat kunst hier een rol in kan spelen. Daarbij stel ik mezelf de vraag: ‘hoe kan kunst ons aanzetten tot reflectie over ethiek in het digitale tijdperk?’ Om deze vraag te kunnen beantwoorden zal ik vertrekken vanuit de ideeën van filosofen Miriam Rasch en Viktor Sjklovski en kijken naar kunstwerken die de thematiek van niet-neutrale technologie adresseren.
De-automatiseren
Rasch onderzoekt in haar boek Frictie, ethiek in tijden van dataïsme het heersende geloof in het idee dat alles in de wereld valt te vertalen in data, en dat het leven op die manier voorspelbaarder, betrouwbaarder en makkelijker zal worden. Kunstenaars die ons met andere ogen laten kijken naar technologie noemt Rasch de-automatons: “zij die weigeren als automaten voort te ratelen, die er eer in leggen een stok tussen de spaken te steken van al te gesmeerde netwerken, die meer of minder openlijk genieten van storing en frictie” (Rasch 2020). Rasch onderbouwt het begrip ‘de-automatiseren’ aan de hand van de Russische formalist Viktor Sjklovski. In 1917 schreef hij over de automatisering van het leven:
“Door de algebraïsering, automatisering van de dingen wordt de grootst mogelijke economie van
waarnemingsinspanning bereikt, de dingen worden aangegeven door slechts een van hun kenmerken,
bijvoorbeeld hun nummer, of worden volgens een formule uitgevoerd zonder zelfs maar tot het
bewustzijn te zijn doorgedrongen. Zo gaat het leven verloren, verdwijnend in het niets.” (Sjklovski, 1917)
Wat volgens Sjklovski op deze automatisering in kan breken zijn de kunsten. Kunst manipuleert de bestaande dingen, maakt ze complex en zet ze in een nieuw licht. Door die vervreemding wordt de toeschouwer gedwongen om de vertrouwde werkelijkheid opnieuw te bekijken. Dit proces duidt Sjklovski (1917) aan als de-automatiseren. De ideeën van Sjklovski zijn ruim 100 jaar geleden opgeschreven, maar van toepassing op het werk van veel hedendaagse kunstenaars die opereren in het digitale domein en technologie tot hun artistiek materiaal maken (Stark & Crawford, 2019).
Dullaart, Crawford & Paglen
Een eerste voorbeeld van de-automatiseren is het werk van kunstenaar Constant Dullaart. Dullaart gebruikte voor zijn werk EuroNet de technologie van beeldherkenning (figuur 1). Hij voedde het programma met iconische Europese beelden. Het computerprogramma bekeek honderden beelden en ging op zoek naar de belangrijkste kenmerken bij onder andere de Eiffeltoren, mozzarella en Zwarte Piet. Vervolgens liet Dullaart de computer zelf de beelden generen, door het netwerk eerst heel veel ruis te geven en te vragen om het beeld zó te manipuleren dat het, volgens het programma, op bijvoorbeeld de Eiffeltoren lijkt. Het resultaat is een poëtisch inkijkje in de belevingswereld van de machine. De beelden zijn hallucinerend, alsof je een dronken nacht in Parijs hebt beleefd, en je je s’morgens de Eiffeltoren probeert te herinneren. Of alsof je kijkt door de ogen van een jong kind dat de wereld ontdekt. Het is technologie die de wereld wel herkent, maar niet echt kent.
Dullaart laat zien hoe simpel kunstmatige intelligentie de wereld reproduceert. De machine destilleert de opvallende kenmerken, maar alle nuance valt weg. Beelden van Zwarte Piet interpreteert het programma als een grote zwarte vlek. “Het stereotype in het kwadraat,” noemt Bregje Hofstede (2017) dit treffend in een bespreking van het kunstwerk in De Correspondent. De machine moet de wereld leren begrijpen, als de gevangenen in Plato’s grot, met beschrijvingen van schaduwen van de werkelijkheid. Zelf is de computer neutraal en onpartijdig, maar voordat een computer iets kan maken of beslissen, zijn er altijd persoonlijke en culturele keuzes aan voorafgegaan. ‘Automatische herkenning betekent ook ‘automatische vertekening’ (Hofstede, 2017).
![](https://www.mistermotley.nl/sites/default/files/styles/big_no_crop/public/media/Schermafbeelding%202021-08-24%20om%2013.48.17.png?itok=qlUbgFsy)
![](https://www.mistermotley.nl/sites/default/files/styles/big_no_crop/public/media/Schermafbeelding%202021-08-24%20om%2013.49.48.png?itok=J0Tor9EY)
Een andere manier van de-automatiseren is de artistieke interventie ImageNet Roulette, ontwikkeld door kunstenaar Trevor Paglen en AI-onderzoeker Kate Crawford (2019). Deze online tool bood de mogelijkheid om je foto te uploaden en te ontdekken welke labels het beeldherkennings-systeem eraan zou koppelen. Die labels werden gegenereerd door ImageNet, één van de grootste AI-beeldbanken ter wereld. De uitkomsten riepen grote onrust op, zoals journalist Jamal Jordan op Twitter omschrijft:
![](https://www.mistermotley.nl/sites/default/files/styles/big_no_crop/public/media/Schermafbeelding%202021-08-24%20om%2014.06.17.png?itok=8hilz7jc)
Wat we zien is dat de labels die de computer aan de foto’s koppelt, subjectief zijn. De computer ‘leest’ de dominante cultuur (Hofstede, 2017). De datasets waarmee kunstmatige intelligentie over de wereld leert bevatten dezelfde normen, waarden, vooroordelen en maatschappelijke ongelijkheden als de analoge wereld (Berends, 2021). Dit inzicht, dat door programmeurs ook wel garbage in, garbage out wordt genoemd, maakt ImageNet Roulette invoelbaar door te interveniëren in de digitale werkelijkheid. De gebruikers worden onderdeel van het kunstproject, door hun foto te uploaden en de resultaten via social media te verspreiden. De context, het digitale domein, is vertrouwd, net zoals de vorm dat is; een gebruiksvriendelijke online tool. Maar de uitkomsten confronteren, vervreemden en de-automatiseren.
![](https://www.mistermotley.nl/sites/default/files/styles/big_no_crop/public/media/20image-roulette-jumbo.original.jpg?itok=Jc9jNEY5)
Verandering
Miriam Rasch ziet, in navolging van Skjlovski, de literatuur en kunst als sleutel om te de-automatiseren in tijden van dataïsme. Zij zegt daarover: “(vervreemding) is een productieve kracht die je in beweging zet. Het startpunt voor mogelijke verandering” (Rasch, 2020). Dat vervreemding aan kan zetten tot reflectie en meer begrip van digitale systemen, ervaar ik zeker. Maar brengt kunst mensen werkelijk in beweging? Kan kunst aanzetten tot maatschappelijke verandering?
Een antwoord hiervoor vind ik bij de filosoof Rancière. Rancière erkent het vervreemdende effect van kunst, maar hij stelt dat er geen enkele reden is om aan te nemen dat het begrip dat een kunstwerk oplevert zou leiden tot “de beslissing om de wereld te veranderen” (Rancière, 2015). Volgens Rancière is er geen scheidslijn tussen de werkelijkheid (de politiek) en de kunst. Een kunstwerk is altijd onderdeel van verschillende aspecten van de politieke realiteit. Kunstenaars die dat beseffen kunnen zich vervlechten met die werkelijkheden. Met hun kunstwerken kunnen ze langzame verschuivingen teweegbrengen en ruimte openen voor nieuwe mogelijkheden (Rancière, 2015).
Dat een kritisch kunstwerk geen garantie biedt voor directe structurele verandering, illustreert de reactie op de ophef rond ImageNet Roulette. ImageNet haalde 600.000 beelden uit de database, maar volgens de kunstenaars Crawford en Paglen is er geen snelle technische ‘fix’ voor deze kwestie. Volgens hen is het hele streven naar het verzamelen en categoriseren van afbeeldingen een vorm van politiek, waarbij de vraag komt kijken wie er mag beslissen wat afbeeldingen betekenen, (Crawford & Paglen, 2019). Dit kunstproject toont aan hoe belangrijk het is als invloedrijke data wordt geclassificeerd door representanten vanuit diverse maatschappelijk-culturele lagen, in plaats van door een relatief homogene groep technologen.
![](https://www.mistermotley.nl/sites/default/files/styles/big_no_crop/public/media/Schermafbeelding%202021-08-24%20om%2021.46.31.png?itok=50DpjPme)
Gat tussen data en wereld
Kijkend naar de kunstwerken die zojuist werden besproken, ervaren we hoe het kan schuren als data en de wereld die die data proberen te representeren niet met elkaar overeenkomen. In navolging van Cheney-Lippold, expert in digitale studies, noemt Rasch dat wat niet in data gevat kan worden het else. Op de grens van wat data kunnen representeren ontsnapt er iets, wordt er beweging en reflectie in gang gezet. Volgens Rasch ervaren wij dan frictie: de dingen kloppen niet, ergens schuurt het. In plaats van die ruimte zo snel mogelijk in te vullen met voorgeprogrammeerde programma’s en wensen (zoals het dataïsme geneigd is), pleit Rasch ervoor om het onbeschrijfbare gebied open te houden: “ethische reflectie vraagt om open plekken, of liever gezegd: om het openlaten van plekken die open zijn” (Rasch, 2020). Ze ziet het als een ethische opdracht om het else telkens opnieuw proberen te verwoorden. Met behulp van de rijkdom van taal en poëzie die, anders dan het dataïsme lijkt te beloven, nooit precies te vertalen is, en de wereld en het menselijke elke keer opnieuw kan beschrijven.
Ik denk dat conceptuele kunstenaars hierin een belangrijk aandeel hebben. Want zowel EuroNet als ImageNet Roulette laten ons het else voelen. De grenzen van wat data kan representeren worden opgezocht. Ervaringen die in de dagelijkse digitale wereld vervreemdend zijn, worden nog meer op zijn kop gezet. Tegelijk geven de kunstwerken inzicht in de werking van digitale systemen, kunnen ze nieuwe perspectieven aanboren en helpen ze ons een stok tussen de digitale spaken te steken als de situatie daarom vraagt.
Dit stuk schreef Meldrid Ibrahim als essay kunstfilosofie voor de master Kunsteducatie AHK.
Beerends, S. (2021, 1 februari). Met deze nieuwe wet is het wachten op een toeslagenaffaire 2.0. OneWorld. https://www.oneworld.nl/lezen/discriminatie/sociaal-onrecht/met-deze-nieuwe-wet-is-het-wachten-op-een-toeslagenaffaire-2-0/
Caliskan, A., Bryson, J., Narayanan, A. (2017). Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334), 83-186. DOI: 10.1126/science.aal4230
Crawford. K,. & Paglen, T. (2019). Excavating AI: The Politics of Training Sets for Machine Learning.
Excavating AI. https://excavating.ai
Dullaart, C. (2017). EuroNet. https://imagenet.xyz/euronet/
Ghebreab, S. (2021, 29 januari). Staat van het internet-lezing 2021. Sennay. https://www.sennay.net/single-post/staat-van-het-internet-2021
Hofstede, B. (2017, 3 maart). Zo stuurt je smartphone je levensverhaal. De Correspondent.
https://decorrespondent.nl/6321/zo-stuurt-je-smartphone-je-levensverhaal/805532349006-96542696
Lil Uzi Hurt, Jamal Jordan [@lostblackboy]. (2019, 18 september). No matter what kind of image I upload, ImageNet Roulette, which categorizes people based on an AI that knows 2500 [Tweet]. Twitter. https://twitter.com/lostblackboy/status/1174112872638689281
Rancière, J. (2015). De geëmancipeerde toeschouwer. Octavo.
Rasch, M. (2020). Frictie – Ethiek in tijden van dataïsme. De bezige bij.
Sjklovski, V. (1917). De paardesprong: Opstellen over literatuur. vert. Tine Stuurman en Sjifra Herschberg. De Haan.
Stark, L. &Crawford, K. (2019). The Work of Art in the Age of Artificial Intelligence: What Artists Can Teach Us About the Ethics of Data Practice. Surveillance & Society,17(3/4), 442-455. https://doi.org/10.24908/ ss.v17i3/4.10821