Niet alle toepassingen die met kunstmatige intelligentie mogelijk zijn, moeten we ook willen. In dit blog sta ik stil bij het dilemma van de black box. Is het verantwoord om een systeem te gebruiken dat je niet begrijpt?
Er lijkt sprake van een negatieve correlatie tussen nauwkeurigheid aan de ene kant en transparantie en uitlegbaarheid aan de andere kant. Traditionele statistische methoden die heel goed uit te leggen zijn, leveren een minder nauwkeurige voorspelling of aanbeveling op dan methoden die gebruik maken van machine-learning of deep learning. Je krijgt betere resultaten, maar wat er precies onder de motorkap gebeurt, is nauwelijks uit te leggen. Dit staat bekend als het ‘explainability issue’ en staat de acceptatie en implementatie van kunstmatige-intelligentietoepassingen in de weg. Immers, ook een black box die precies doet wat die moet doen, heeft beperkt nut als je niet kunt vaststellen dat de uitkomsten juist en rechtvaardig zijn.
Een veelvoorkomend probleem is de aanwezigheid van vooroordelen in de data. Dit hebben we bijvoorbeeld gezien bij een systeem als Compas, dat Amerikaanse rechtbanken gebruiken om de duur van een gevangenisstraf te bepalen. Het systeem was getraind op basis van beslissingen die mensen in vergelijkbare situaties namen en omdat die mensen discrimineerden, deed het systeem dat daarna ook. Kort gezegd, hoe donkerder de huidskleur, hoe langer de gevangenisstraf.
Zeker als de aanbevelingen of beslissingen die door een systeem worden gegenereerd grote gevolgen hebben voor mensen is het van belang dat een goede uitleg en toelichting wordt gegeven. ‘Explainable AI’ is een noodzakelijke voorwaarde en momenteel een belangrijk onderwerp van wetenschappelijk onderzoek. LIME, dat staat voor local-interpretable-model-agnostic explanations, is een voorbeeld van een techniek die kan helpen kunstmatige intelligentie transparanter te maken. LIME laat op basis van een gevoeligheidsanalyse aan de gebruiker zien welke onderdelen van de input het meest hebben bijgedragen aan de output.
Human-in-command
Alle ethische raamwerken voor kunstmatige intelligentie benadrukken dat de technologie er is om de mens te helpen en dat dit op een manier moet gebeuren die de mens controle geeft over de technologie. Dit is ook de strekking van een advies van het Europees Economisch en Sociaal Comité (EESC) aan de Europese Commissie in 2017, waarin wordt gepleit voor een ‘human-in-command’-benadering.
Menselijke interventie blijft om drie redenen noodzakelijk. In de eerste plaats zijn machines niet in staat doelstellingen te bepalen, te dromen over de toekomst en morele afwegingen te maken. Algoritmes zijn als technisch hulpmiddel uitermate geschikt voor voorspellingen en optimalisaties, maar hebben geen bewustzijn, geen geweten en geen eigen doelen. Als mensen niet langer de context zouden bepalen waarbinnen kunstmatige intelligentie functioneert, leidt dit onvermijdelijk tot onwenselijke uitkomsten.
In de tweede plaats zijn systemen met kunstmatige intelligentie niet in alle omstandigheden bruikbaar. We hebben mensen nodig om beslissingen te nemen bij niet-routinematige activiteiten. Omdat deze minder vaak voorkomen, zijn er onvoldoende data beschikbaar over prestaties in het verleden om besluitvorming over te laten aan een machine.
In de derde plaats zijn de uitkomsten van algoritmes niet altijd foutloos. Menselijke interventie blijft nodig om de werking van het algoritme te testen en uitkomsten te verifiëren. Dat moet niet alleen bij de start gebeuren, maar doorlopend, want ook systemen die technisch goed functioneren, kunnen worden gemanipuleerd, bijvoorbeeld door hackers.
Om de de uitkomsten van kunstmatige intelligentie te kunnen controleren, is het noodzakelijk dat het systeem transparant en begrijpelijk is. Daarnaast moet er een mogelijkheid zijn voor mensen om in te grijpen: de black box moet een grey box worden.
Gemakzucht ligt op de loer
Een ander probleem is dat naarmate beslissingen door kunstmatige intelligentie vaker juist blijken te zijn, we daar zo op gaan vertrouwen dat we gemakzuchtig worden. Dit kan leiden tot blind vertrouwen op een systeem dat we niet begrijpen. Bovendien kunnen wij sommige vaardigheden kwijtraken. Als alle auto’s zelfrijdend zijn, wordt het rijbewijs afgeschaft en verliezen mensen de vaardigheid om een auto te besturen. Daar is op statistische gronden overigens veel voor te zeggen. In het verkeer komen jaarlijks alleen al in Nederland zo’n 650 mensen om het leven. Wat als we dat aantal met zelfrijdende auto’s met 90% kunnen reduceren? Moeten we dat dan meteen doen? De algoritmes die de auto besturen, maken nog wel fouten, maar veel minder dan mensen. Leg je de nadruk op de ongevallen die zijn voorkomen dankzij de zelfrijdende auto of op de ongevallen die door dezelfde auto zijn veroorzaakt? We zien vaak dat de acceptatie van fouten door machines een stuk lager ligt dan de acceptatie van fouten die door mensen worden gemaakt.
Hetzelfde dilemma doet zich voor in de gezondheidszorg. Wat heb je liever? Een medisch specialist die een diagnose stelt zonder gebruik te maken van kunstmatige intelligentie en dat in 70% van de gevallen juist doet óf een slim systeem dat het in 99% van de gevallen bij het rechte eind heeft? Het lijkt rationeel, vanuit economisch perspectief, te kiezen voor de tweede optie, maar zo eenvoudig is het niet. Met de medisch specialist kun je een gesprek hebben over de mogelijkheden en gevolgen en je kunt hem of haar aansprakelijk stellen. Ook kunnen zich nieuwe technologische ontwikkelingen hebben voorgedaan of nieuwe medicijnen op de markt zijn gekomen die nog niet in de dataset zitten en derhalve nog niet door het systeem kunnen worden aangeraden. De beste optie is dat de medisch specialist zich laat assisteren door kunstmatige intelligentie, maar de mogelijkheid houdt daar gemotiveerd van af te wijken. Ook dan hebben we een grey boxsituatie gecreëerd.
Door: Willem Peter de Ridder
Dr. Willem Peter de Ridder is directeur van Futures Studies, een strategisch adviesbureau dat organisaties ondersteunt bij het verkennen van de toekomst en het formuleren van een toekomstbestendige strategie. Hij verzorgt keynotes op congressen en medewerkersbijeenkomsten, geeft strategieworkshops voor managementteams en doceert in executive programma’s van onder andere de Erasmus Universiteit Rotterdam en TIAS.
Dit blog is gebaseerd op het boek Winnen met kunstmatige intelligentie van Willem Peter de Ridder.
Geef een reactie