Het trolleyprobleem in AI-ethiek: de code die voor ons beslist
Ik was halverwege het schrijven van een retry policy voor een agent — het soort saaie code dat niemand reviewt — toen ik mezelf betrapte op het nemen van een morele beslissing die ik als een technische verkocht. De agent kon ofwel een half afgeronde databasemigratie terugdraaien (veilig, traag, vervelend voor de gebruiker die al aan het wachten was), ofwel doorduwen en het risico lopen een paar records te corrumperen om de andere negenennegentigduizend intact te houden. Ik typte de conditie. Ik koos voor de negenennegentigduizend — en besefte dat ik zojuist het trolleyprobleem in code had beantwoord, precies het punt waarop filosofie ophoudt abstract te zijn en verandert in AI-ethiek.
Mocht je er even niet aan gedacht hebben: het trolleyprobleem is eenvoudig. Een op hol geslagen trolley staat op het punt vijf werkers op het spoor voor zich te doden, en jij kunt een wissel omzetten die hem afleidt naar een zijspoor, waar hij in plaats daarvan één persoon doodt. Vijf leven, één sterft — maar alleen omdat jij ervoor koos het te laten gebeuren. De meeste mensen scharen dit onder "leuk filosofisch raadsel", een salongoocheltruc voor het seminar. Maar wie AI-systemen bouwt die namens mensen beslissen, discussieert er niet meer over bij een kop koffie. Je codeert je antwoord in een if-statement, ship't het, en laat het een miljoen keer per dag draaien terwijl je slaapt. Ergens in mijn achterhoofd zei een stem die ik sinds het herbekijken van Michael Sandels Harvard-lezing niet meer had gehoord: dat is het trolleyprobleem, en jij hebt zojuist de hendel omgezet zonder het te merken.
Dus ik wil er helemaal doorheen lopen — de trolley, de dikke man op de brug, de dokter met vijf stervende patiënten, en een oprecht verontrustend kannibalisme-proces uit 1884 dat in Engelse rechtsboeken belandde. Niet als geschiedenisles, maar als een kaart van precies die beslissingen die we nu stilletjes aan software overhandigen.
Aan het einde heb je twee mentale modellen — twee namen voor de instincten die in je botsen — die veranderen hoe je je eigen code leest. De doktercasus, halverwege, is waar het zelfvertrouwen van de meeste mensen instort; het is ook het nuttigste deel.
Waarom dit seminarraadsel nu in productie draait
Sandel heeft het trolleyprobleem niet uitgevonden. De filosoof Philippa Foot schetste de eerste versie in 1967, en Judith Jarvis Thomson scherpte het in de jaren zeventig aan. Wat Sandel deed, was het voorleggen aan bijna duizend Harvard-eerstejaars in een volgepakte collegezaal en hun redeneringen in real time laten instorten voor de camera. Die cursus — Justice: What's the Right Thing to Do? — werd een van de meest bekeken universitaire lezingen ooit opgenomen, en lezing 1 heet "The Moral Side of Murder."
Het grootste deel van die decennia bleef het dilemma theoretisch. Een slimme manier om achttienjarigen te laten debatteren. Niemand bouwde werkelijk een machine die moest kiezen.
Nu wel.
Een zelfrijdende auto die een onvermijdelijke botsing nadert, draait in milliseconden een trolleyprobleem. Een triage-algoritme in een ziekenhuis dat bepaalt welke patiënt het laatste IC-bed krijgt, draait er een. Het contentmoderatiemodel dat beslist of het een post verwijdert die een dreiging kán zijn — of een grap — draait er een. En de agents die ik bouw om infrastructuur, geld en klantdata te beheren, draaien er constant kleinere versies van, in code die ik heb geschreven, en die een ethiek weerspiegelt die ik misschien niet heb onderzocht.
Daarom is dit voor mij opgehouden abstract te zijn. Ik schrijf tegenwoordig de hendel-omzet-logica voor de kost. Als jij iets ship't dat handelt zonder mens in de loop, doe jij dat ook. (Ik schreef een apart stuk over waarom AI-gebouwde systemen nog altijd menselijk toezicht nodig hebben — dit is de filosofische vloer onder dat argument.)
Maar voordat je een goed antwoord kunt coderen, moet je opmerken dat je intuïties over deze casussen elkaar plat tegenspreken. Laat me je laten zien wat ik bedoel.
De klassieke trolley: zou jij de hendel omzetten?
Stel je het voor. Je bestuurt een trolley die met 100 kilometer per uur over het spoor dendert. Vijf werkers staan verderop op het spoor, gereedschap in de hand, ruggen naar je toe. Je trapt op de rem. Niets. De remleiding is dood.
Rechts loopt een zijspoor. Eén werker daarop. Je stuur werkt nog. Je kunt afslaan.
Sla af, en er sterft één persoon in plaats van vijf.
Wanneer Sandel het aan een collegezaal vol mensen vraagt, zegt de overweldigende meerderheid: afslaan. Red de vijf. De meesten van ons zouden dat doen. De rekensom voelt vanzelfsprekend — één dode is een kleinere tragedie dan vijf, en met het stuur in je handen zou je een monster zijn als je het niet omgooide. Een kleine minderheid weigert, en sommigen van hen drukken hard door: op het moment dat je begint te rechtvaardigen dat je één onschuldige doodt voor het "grotere goed," heb je de deur geopend die totalitaire regimes hebben gebruikt om gruwelen te rechtvaardigen. Dat is geen goedkope retorische truc. Onthoud het; het komt terug.
Maar voor nu de kop: de meeste mensen offeren één op om er vijf te redden. De ene doden is de betere keuze. Dat voelt als een principe.
Kijk hoe snel het principe sterft.
De dikke man op de brug: dezelfde rekensom, tegenovergestelde onderbuik
Dezelfde op hol geslagen trolley. Dezelfde vijf werkers die op het punt staan te sterven. Maar nu ben jij niet de bestuurder — je bent een omstander op een voetbrug over het spoor. Naast je, leunend over de reling, staat een heel grote man.
Je doet de natuurkunde in je hoofd. Als je hem een duw geeft, valt hij op het spoor, stopt zijn lichaam de trolley, en zijn de vijf gered. Hij sterft. Je hebt niets om te gooien — het moet hij zijn, en het moeten jouw handen zijn.
Zou je hem duwen?
Bijna niemand zegt ja. Dezelfde mensen die dertig seconden geleden zelfverzekerd het stuur omgooiden, zullen de man niet duwen. En dit is wat het filosofisch meedogenloos maakt: de rekensom is identiek. Eén sterft, vijf leven. Als het opofferen van één om vijf te redden goed was op het spoor, waarom is het dan monsterlijk op de brug?
Dit is het moment waarop het raadsel zijn reputatie verdient. Want nu moet je het verschil verklaren, en elke verklaring die je grijpt, glibbert weg.
"Op de brug zou ik hem gebruiken — zijn lichaam is het gereedschap." Oké, maar is de eenzame werker op het zijspoor niet ook een soort gereedschap? "Duwen is zo direct, zo fysiek." Is morele weegkracht werkelijk een functie van hoe dicht je handen bij het letsel zijn? "De dikke man maakte geen deel uit van de situatie — hij stond er gewoon." Maar de werker op het zijspoor evenmin; hij deed gewoon zijn werk op een plek die veilig was tot jij de dood die kant op stuurde.
Elk onderscheid dat je vastpakt, lost een beetje op als je erin knijpt. En toch is het buikgevoel rotsvast: het stuur omgooien is toegestaan, de man duwen is moord. Je intuïtie is zeker over iets wat je logica niet kan verdedigen.
Die kloof — tussen wat we voelen en wat we kunnen rechtvaardigen — is het hele onderwerp. Het is ook precies de kloof waarin ik val wanneer ik beslislogica schrijf en een morele keuze een "technische default" noem.
De doktercasussen: waar je zelfvertrouwen voorgoed breekt
Sandel stopt daar niet, en ik ook niet, want het volgende paar is waar de vloer wegvalt.
Casus één: je bent SEH-arts. Zes patiënten arriveren na een botsing. Eén is kritiek gewond en zal al je tijd en middelen kosten om te redden. De andere vijf hebben matige verwondingen — maar als je alles aan die ene besteedt, sterven de vijf. Besteed je inspanning aan de vijf, en de ene sterft. De meeste mensen zeggen: red de vijf. Dezelfde trolleylogica, en het voelt zuiver.
Casus twee: je bent transplantatiechirurg. Je hebt vijf patiënten, elk stervende bij gebrek aan een ander orgaan — één heeft een hart nodig, één een lever, twee nieren, één longen. In de kamer ernaast dommelt een volmaakt gezonde man in voor een routinecontrole. Zijn organen matchen bij alle vijf.
Oogst je hem? Dood één gezonde persoon, red vijf stervenden.
Niemand zegt ja. Niet in een collegezaal, niet in een kamer waar ik het ooit heb beschreven. De weerzin is totaal.
Maar — en Sandel laat dit als een hamer neerkomen — het is opnieuw dezelfde rekensom. Eén leven voor vijf. Als de getallen het hele verhaal waren, zou de chirurg de scalpel moeten slijpen. Het feit dat elke vezel in je nee schreeuwt, vertelt je dat de getallen nooit het hele verhaal waren. Er is iets aan het nemen van een onschuldig persoon en het puur gebruiken als middel voor het overleven van iemand anders, dat we categorisch als taboe behandelen, hoe goed de rekensom ook lijkt.
Dus wat is het? Zijn we mensen die vijf redden ten koste van één, of mensen die weigeren de onschuldige op te offeren? Het eerlijke antwoord is dat we beide zijn, afhankelijk van de casus, en dat we meestal de regel die tussen die twee wisselt niet kunnen verwoorden.
Filosofen wel. Er zitten twee grote families van moreel redeneren verborgen onder alle vier de scenario's, en zodra je ze kunt benoemen, zie je ze overal — inclusief, durf ik te wedden, in de laatste feature die je hebt geshipt.
Consequentialisme vs. categorisch: de twee besturingssystemen van moraal
Hier zijn de twee mentale modellen. Ik zie ze als twee verschillende besturingssystemen om een beslissing te nemen.
Consequentialistisch redeneren stelt dat de moraliteit van een daad volledig in zijn consequenties zit. Je beoordeelt de uitkomst. Het beste resultaat wint. Beter dat vijf leven en één sterft dan andersom — tel de lichamen, doe de aftrekking, kies het kleinste getal. De hendel, het zijspoor, de vijf-patiënten-SEH: allemaal consequentialistische oordelen. De kopvorm hiervan is utilitarisme, en de grondlegger is Jeremy Bentham, een Engelse filosoof die schreef aan het einde van de achttiende eeuw.
Benthams claim is bijna agressief simpel. "De natuur heeft de mensheid geplaatst onder de heerschappij van twee soevereine meesters: pijn en genot." Het juiste om te doen, altijd, is wat de balans van genot boven pijn maximaliseert over alle betrokkenen. Tel het geluk op, trek het lijden af, kies de hoogste score. De slogan die je hebt gehoord — het grootste goed voor het grootste aantal — is de bumpersticker-versie. John Stuart Mill, de volgende grote utilitarist, zou het later menselijker en minder van een genotscalculator proberen te maken, maar de motor is dezelfde: uitkomsten zijn wat telt.
Categorisch redeneren zegt nee. Bepaalde daden zijn juist of onjuist op zichzelf, ongeacht de consequenties. Sommige plichten en rechten zijn absoluut. Je mag geen onschuldige vermoorden ook al zegt de spreadsheet dat het onder de streep meer geluk oplevert, want de daad van het vermoorden van een onschuldige is categorisch fout, punt uit. De omstander die de dikke man niet duwt, de chirurg die de patiënt niet oogst — dat is categorisch redeneren dat de rekensom overrulet. De torenhoge figuur is Immanuel Kant, de Duitse filosoof, wiens kernregel is dat je een persoon nooit louter als middel voor een doel mag behandelen. Mensen zijn geen grondstof voor de uitkomst van iemand anders.
Herlees nu de vier scenario's met die twee labels in de hand. De trolleybestuurder en de triagearts laten het consequentialisme sturen. De brugomstander en de transplantatiechirurg laten de categorische regel op de rem staan. Dezelfde persoon, dezelfde dag, twee verschillende besturingssystemen — en de omschakeling ertussen is precies datgene wat we niet kunnen uitleggen maar absoluut voelen.
Dit is geen trivia. Het is de splitsing in de weg voor iedereen die geautomatiseerde beslissingen ontwerpt. Wanneer ik het beleid van een agent schrijf, kies ik — of ik het toegeef of niet — welk besturingssysteem er draait. En die twee systemen geven tegenovergestelde antwoorden in de casussen die er het meest toe doen.
Wil je zien hoe erg de twee botsen wanneer echte levens en echte consequenties tegen elkaar worden gestapeld, dan is er geen zuiverder voorbeeld dan een echt rechtszaak. Dat brengt me bij het deel hiervan dat ik niet van me af kan schudden.
Queen v. Dudley and Stephens: toen het trolleyprobleem naar de rechter ging
In 1884 zonk het jacht Mignonette in een storm ongeveer 1.600 mijl van Kaap de Goede Hoop. Vier mannen kwamen in een kleine reddingsboot terecht: de kapitein, Tom Dudley; de stuurman, Edwin Stephens; een matroos, Edmund Brooks; en de kajuitsjongen, een zeventienjarige die Richard Parker heette.
Ze hadden twee blikken rapen en geen zoetwater. Ongeveer negentien dagen dreven ze — aten een schildpad die ze vingen, dronken regenwater als het viel, en uiteindelijk hun eigen urine als het niet viel. Parker, de jongste, negeerde de waarschuwingen van de anderen en dronk zeewater. Hij werd ziek, gleed richting een coma en lag stervend op de bodem van de boot.
Rond de twintigste dag stelde Dudley het hardop voor: ze moesten loten trekken. Eén van hen zou sterven zodat de anderen konden eten en leven. Brooks weigerde deel te nemen. Er werd nooit een loterij gehouden. In plaats daarvan besloot Dudley — met instemming van Stephens. Hij zei een gebed, vertelde de jongen dat zijn tijd was gekomen en doodde Richard Parker met een zakmes. De drie overlevende mannen aten van zijn lichaam tot een passerend Duits schip, de Montezuma, hen oppikte en op 6 september 1884 terugbracht naar Falmouth, Engeland.
En dit is het deel dat mij elke keer weer verstijft: Dudley verborg het niet. Hij gaf een volledig, eerlijk verslag aan de autoriteiten, blijkbaar in de veronderstelling dat elk redelijk mens het zou begrijpen. Hij geloofde oprecht dat noodzaak het vergeeflijk maakte. In plaats daarvan werden hij en Stephens berecht wegens moord.
(Eén unheimliche voetnoot, want hij is waar en te vreemd om over te slaan: zesenveertig jaar eerder publiceerde Edgar Allan Poe een roman waarin schipbreukelingen loten trekken en een kajuitsjongen kannibaliseren die — Richard Parker heette. Het leven imiteerde de fictie tot in de naam. Doe ermee wat je wilt.)
De verdediging en de aanklacht: beide argumenten zijn het trolleyprobleem
Luister naar hoe de twee kanten pleitten, want je hebt ze allebei al ontmoet.
De verdediging was puur consequentialisme. Noodzaak. Dit waren wanhopige mannen die een zekere dood tegemoet gingen. Parker was toch al stervende en had geen personen ten laste, terwijl de anderen gezinnen hadden. Door te handelen werden drie levens gered ten koste van er één dat bijna op was. Beter dat drie leven dan dat vier sterven. Als je aan het trolleystuur draaide, accepteer je de vorm van dit argument al. De verdediging vroeg de rechtbank in wezen om de lichamen te tellen.
De aanklacht was pure Kant. Moord is moord. Je mag jezelf niet aanwijzen als arbiter over wie leeft en wie sterft, hoe nijpend de omstandigheden ook zijn. De jongen was een onschuldig menselijk wezen, geen grondstof om verbruikt te worden zodra de rekensom grimmig werd. Hem doden was hem louter als middel gebruiken — precies de grens die volgens Kant nooit overschreden mag worden. Wanhoop verklaart de daad; het rechtvaardigt haar niet.
De rechtbank koos de kant van de aanklacht. Dudley en Stephens werden veroordeeld wegens moord. De rechters weigerden beroemd te laten toe dat noodzaak "een juridische dekmantel wordt voor ongebreidelde passie en gruwelijke misdaad" — want zodra je toestaat dat de onschuldige gedood wordt wanneer de getallen dat begunstigen, waar loopt de grens dan precies? Ze werden ter dood veroordeeld, hoewel het vonnis vrijwel onmiddellijk werd omgezet in zes maanden gevangenisstraf. Het recht had een categorische grens getrokken: er zijn dingen die je een onschuldige niet mag aandoen, zelfs niet om meer mensen te redden, zelfs niet om jezelf te redden.
Die uitspraak wordt bijna anderhalve eeuw later nog steeds aangehaald in commonlaw-rechtbanken. Een handvol uitgehongerde mannen in een reddingsboot schreef per ongeluk een van de stevigste lijnen in het westerse recht over wat consequenties wel en niet kunnen kopen.
Dit is ook waar ik wil vertragen, want er is een plooi die volgens mij belangrijker is dan het vonnis — en die het meest relevant is voor AI.
Verandert instemming alles?
Sandel dringt bij zijn studenten aan op een vraag die reorganiseerde hoe ik denk over elke geautomatiseerde beslissing: wat als Parker akkoord was gegaan?
Stel dat de vier mannen loten hadden getrokken, allemaal vooraf instemmend met de procedure, en Parker had het kortste strootje getrokken. Of stel dat Parker vóór hij ziek werd had gezegd: als het zover komt, neem dan mij. Zou de doding dan toegestaan zijn?
Bij veel mensen kantelt hier de intuïtie. Met een eerlijke loterij waar iedereen mee akkoord ging, stopt de daad zich als moord aan te voelen en begint hij te voelen als een tragisch contract. Instemming lijkt de onjuistheid schoon te wassen. De man op de brug wordt monsterlijk omdat hij nooit toestemde rem te zijn; een soldaat die zich vrijwillig meldt voor een zelfmoordmissie wordt geëerd, niet gewroken. Dus misschien is het magische ingrediënt helemaal niet het lichaamsaantal — het is instemming.
Maar knijp ook daarin, en het lekt. Was Brooks' zwijgen instemming, of dwang door omstandigheden? Kan instemming die onder de dreiging van verhongering wordt gegeven ooit vrij zijn, of is het gewoon wanhoop in het kostuum van keuze? En er is een duisterder versie: als een loterij legitiem is, wat weerhoudt de sterken er dan van "loterijen" te houden die altijd op de zwakken lijken te landen? Procedurele eerlijkheid kan een echte morele upgrade zijn — of een dun laagje verf over dezelfde oude overheersing.
Ik heb daar lang bij stilgestaan, want instemming is precies de hendel die we in software gebruiken om moeilijke dingen aanvaardbaar te laten voelen. De algemene voorwaarden die je niet gelezen hebt. Het "Ik ga akkoord"-vinkje voordat het algoritme je lening, je feed, je verzekeringstarief bepaalt. We leunen op instemming om een daad die we anders onaanvaardbaar zouden vinden om te vormen tot iets waar we mee doorlopen. Sandels reddingsboot stelt de vraag die elk productteam zich zou moeten stellen: is dit echte autonomie, of instemming afgedwongen onder omstandigheden waarin niemand betekenisvol kon weigeren?
Ik heb geen sluitend antwoord. De collegezaal ook niet. Maar het opmerken van de vraag is het hele punt.
Wat dit werkelijk betekent voor de code die we shippen
Hier land ik na dit alles weken lang te hebben laten rondrammelen, en hier verdient het wat mij betreft een plek op een blog dat vooral over bouwen met AI gaat.
Elk autonoom systeem codeert een moreel besturingssysteem, of zijn bouwers er nu bewust een hebben gekozen of niet. Wanneer je "minimaliseer totale fouten" als je objectieve functie schrijft, is dat Bentham in een labjas — consequentialisme, dat het aggregaat optimaliseert, bereid te aanvaarden dat een paar individuen worden verpletterd zodat het gemiddelde verbetert. Wanneer je hard-codet "leg nooit privédata van een gebruiker bloot, zelfs niet als dat het model voor iedereen zou verbeteren," dan is dat Kant — een categorische regel die weigert het individu te behandelen als grondstof voor het collectieve goed.
De meeste ML-systemen kiezen standaard voor consequentialisme, want optimalisatie is consequentialisme. Je kiest een metric en maximaliseert die. Het hele vakgebied is een lichaamsaantal-calculus verkleed als lineaire algebra. En dat is vaak prima — voor advertentie-ranking, voor routing, voor compressie. Niemand heeft Kant nodig om een wachtrij te sorteren.
Maar het trolleyprobleem is het waarschuwingslabel. Zodra je systeem levens, vrijheid, geld of waardigheid raakt, begint pure optimalisatie stilletjes dikke mannen van bruggen te duwen, en het doet dat met een schoon geweten omdat de loss function omlaag ging. De reden dat we guardrails, weigergedrag en harde constraints in AI-agents bouwen, is dat we — terecht — hebben besloten dat sommige daden categorisch van tafel moeten blijven, hoe goed ze ook zouden scoren. Dat is geen technische beslissing. Het is Kant die Bentham overrulet, geïmplementeerd in een configfile.
Concreet is dit het verschil tussen twee regels in dezelfde codebase. if fraud_score > 0.9: auto_decline is een pure consequentialistische weddenschap — je aanvaardt een bekend percentage false positives (echte mensen die onterecht worden geblokkeerd) omdat het aggregaatverlies lager is. Voeg unless account.is_flagged_vulnerable: require_human_review toe, en je hebt zojuist een categorische regel geïnstalleerd die zegt deze klasse mensen is niet verhandelbaar tegen het gemiddelde, punt uit. Beide zijn één conditional. Slechts één van beide is bewust gekozen. Die kloof — een regel die bestaat versus een regel die je kunt verdedigen — is waar de meeste ethische mislukkingen die ik heb gezien werkelijk leven.
Dit sluit aan bij een patroon dat ik in heel verschillende problemen tegenkom. Toen ik schreef over de AI-ontslagval en de gevangenendilemma-logica erachter, was de mislukking een pure consequentialistische berekening — elk bedrijf dat zijn eigen cijfers optimaliseerde — die een collectief catastrofale uitkomst opleverde. Toen ik het debat over door AI ontdekte zero-days behandelde, was het hele gevecht consequentialistische verdedigers ("meer veiligheid in totaal") tegenover een categorisch bezwaar ("overhandig de wereld geen wapen"). Ik had toen niet het vocabulaire om te zien dat het hetzelfde argument was in andere kleren. Nu wel. Dat is de transformatie die ik jou hoop te overhandigen.
Als je één praktisch iets uit dit alles meeneemt, laat het dan deze gewoonte zijn: wanneer je een regel schrijft die iets voor een mens beslist, stop en vraag welk besturingssysteem je zojuist hebt geïnstalleerd. Tel je lichamen, of eer je een grens? Er is geen universeel juist antwoord. Maar er is een wereld van verschil tussen bewust kiezen en slaapwandelend in een morele stelling belanden omdat de optimizer makkelijker was om te schrijven.
De ene zet die nooit is toegestaan: doen alsof de vraag er niet is
Er is een verleidelijke uitgang uit dit alles. De uitgang van de scepticus. Deze problemen zijn nooit echt op te lossen. Moraal is gewoon persoonlijke voorkeur. Wie zal het zeggen? Ik heb engineers ernaar zien grijpen zodra een discussie ongemakkelijk werd, en ik heb er zelf naar gegrepen.
Sandel leent Kants reactie, en het is het scherpste in de lezing. Scepticisme, schreef Kant, is "een rustplaats voor het menselijk verstand" — ergens om te pauzeren en de moeilijkheid te overzien. Maar het is "geen woonplaats voor permanente vestiging." Je mag daar rusten. Je mag er niet wonen. Je handen opgooien en verklaren dat het allemaal onbeantwoordbaar is, is geen bescheidenheid. Het is een ontwijking — een manier om het werk te vermijden van daadwerkelijk redeneren over wat je gelooft en waarom.
Voor mensen die systemen bouwen die dingen voor andere mensen beslissen, is de uitgang van de scepticus niet alleen lui. Het is nalatig. De code wordt hoe dan ook geshipt. De agent handelt hoe dan ook. "Wie zal het zeggen?" stopt de trolley niet; het betekent alleen dat je het stuur omgooide met je ogen dicht.
Veelgestelde vragen
Wat is het trolleyprobleem in eenvoudige termen?
Het trolleyprobleem is een gedachte-experiment waarbij een op hol geslagen trolley vijf mensen zal doden tenzij je hem afleidt naar een spoor waar hij er één doodt. Het dwingt een keuze af tussen actief één dood veroorzaken om er vijf te voorkomen, en legt het conflict bloot tussen het beoordelen van daden op hun uitkomsten en het beoordelen ervan op absolute morele regels. Zie de scenario's hierboven voor de volledige uiteenzetting en varianten.
Wat is het verschil tussen consequentialisme en categorisch redeneren?
Consequentialisme beoordeelt een daad volledig op zijn consequenties — de beste uitkomst is de morele uitkomst, zoals in het utilitaristische "grootste goed voor het grootste aantal." Categorisch redeneren stelt dat sommige daden op zichzelf juist of onjuist zijn, ongeacht de uitkomst, zoals Kants regel dat je een persoon nooit louter als middel mag gebruiken.
Waarom duwen mensen de dikke man niet als ze wel de hendel zouden omzetten?
Beide keuzes offeren één leven op om er vijf te redden, maar het omzetten van de hendel voelt als het omleiden van een bestaande dreiging, terwijl het duwen van de man voelt als hem direct gebruiken als gereedschap om die dreiging te stoppen. Deze kloof tussen identieke rekensom en tegenovergestelde intuïties is precies wat het trolleyprobleem ontwerpt om bloot te leggen — zie de doktercasussen hierboven voor de scherpste versie.
Hoe is het trolleyprobleem van toepassing op AI-ethiek?
Elk AI-systeem dat handelt zonder mens in de loop — zelfrijdende auto's, triage-algoritmen, autonome agents — moet trolley-achtige afwegingen in code oplossen. Een metric optimaliseren is standaard consequentialistisch, terwijl guardrails en harde weigeringen categorische regels zijn, dus bouwers coderen een morele stelling of ze het beseffen of niet.
Wat gebeurde er in Queen v. Dudley and Stephens?
In 1884 doodden schipbreukelingen Tom Dudley en Edwin Stephens de stervende kajuitsjongen Richard Parker en aten hem op om te overleven, waarna ze werden berecht wegens moord. De Engelse rechtbank verwierp hun "noodzaak"-verweer en vestigde dat noodzaak geen verweer is tegen moord en dat het doden van een onschuldige niet wordt gerechtvaardigd door meer levens te redden.
Je zet al hendels om
Ga terug naar mijn retry policy — de saaie code waarmee ik opende. Ik koos de negenennegentigduizend records boven de ene gebruiker. Bentham had geknikt. Maar ik nam die beslissing zonder ooit te vragen of er een categorische grens was die ik niet mocht overschrijden, of die ene gebruiker een recht had dat het aggregaat niet kon kopen, of "instemming" begraven in algemene voorwaarden die niemand leest werkelijk moreel werk deed of me alleen indekte.
Dat is de verschuiving die ik je wil meegeven. Het trolleyprobleem ging nooit werkelijk over trolleys. Het gaat over het feit dat je niet in de wereld kunt handelen — of software kunt schrijven die in de wereld handelt — zonder een morele positie in te nemen, en de enige echte keuze is of je die bewust of per ongeluk inneemt.
Dus hier is je uitdaging voor de komende vierentwintig uur. Open het laatste ding dat je bouwde dat een beslissing over een persoon neemt — een ranking, een drempel, een filter, een geautomatiseerde actie. Zoek de regel waar het kiest. En stel jezelf één vraag: heb ik lichamen geteld, of heb ik een grens geëerd — en zou ik het kunnen verdedigen aan de persoon aan de andere kant van die beslissing?
Kun je dat beantwoorden, dan doe je al het werk dat Sandel probeerde uit te lokken. Kun je het niet, dan heb je zojuist de belangrijkste code review van het hele jaar gevonden.
Agents bouwen die verantwoord beslissen
Het meeste van mijn werk nu is het schrijven van precies de hendel-omzet-logica waar dit stuk over gaat — retry policies, moderatiedrempels, agent-guardrails — en het bewust kiezen welk moreel besturingssysteem in elk daarvan draait. Als jij een AI-systeem ship't dat op echte mensen handelt en je wilt dat die grenzen bewust worden gekozen in plaats van per ongeluk overgeërfd van de optimizer, neem ik een klein aantal builds aan via mijn Fiverr-profiel. Breng me de moeilijke beslissing; we coderen hem met open ogen.
