Le dilemme du tramway et l'éthique de l'IA : le code qui décide à notre place
J'étais à mi-chemin de l'écriture d'une politique de reprise pour un agent — le genre de code ennuyeux que personne ne relit — quand je me suis surpris à prendre une décision morale en prétendant qu'elle était technique. L'agent pouvait soit annuler une migration de base de données à moitié terminée (sûre, lente, agaçante pour l'utilisateur qui attendait), soit continuer et risquer de corrompre quelques enregistrements pour préserver les quatre-vingt-dix-neuf mille autres. J'ai tapé la condition. J'ai choisi les quatre-vingt-dix-neuf mille — et j'ai compris que je venais de répondre au dilemme du tramway dans du code, ce qui est exactement le moment où la philosophie cesse d'être abstraite et devient de l'éthique de l'IA.
Si vous ne l'avez pas rencontré depuis un moment, le dilemme du tramway est simple : un tramway hors de contrôle est sur le point de tuer cinq ouvriers sur la voie, et vous pouvez actionner un aiguillage qui le détourne sur une voie secondaire où il n'en tue qu'un. Cinq survivent, un meurt — mais seulement parce que vous avez choisi de le faire. La plupart des gens rangent cela sous « énigme philosophique amusante », un dilemme de bon salon pour salle de séminaire. Mais si vous construisez des systèmes d'IA qui prennent des décisions à la place des humains, vous n'en débattez pas autour d'un café. Vous encodez votre réponse dans une instruction if, vous la déployez, et vous la laissez tourner un million de fois par jour pendant que vous dormez. Quelque part au fond de ma tête, une voix que je n'avais plus entendue depuis que j'avais revu le cours de Michael Sandel à Harvard a dit : c'est le dilemme du tramway, et tu viens d'actionner le levier sans t'en rendre compte.
Alors je veux tout dérouler — le tramway, l'homme corpulent sur le pont, le médecin et ses cinq patients mourants, et un procès pour cannibalisme réellement dérangeant de 1884 qui a fini dans les manuels de droit anglais. Non comme une leçon d'histoire, mais comme une carte des décisions exactes que nous confions désormais silencieusement au logiciel.
À la fin, vous aurez deux modèles mentaux — deux noms pour les instincts qui se battent en vous — qui changeront la façon dont vous lisez votre propre code. Le cas du médecin, au milieu, est l'endroit où la confiance de la plupart des gens s'effondre ; c'est aussi la partie la plus utile.
Pourquoi cette énigme de séminaire tourne aujourd'hui en production
Sandel n'a pas inventé le dilemme du tramway. La philosophe Philippa Foot en a esquissé la première version en 1967, et Judith Jarvis Thomson l'a affinée dans les années soixante-dix. Ce que Sandel a fait, c'est le poser devant près d'un millier d'étudiants de premier cycle de Harvard dans un amphithéâtre comble et filmer leur raisonnement s'effondrer en temps réel. Ce cours — Justice : Que faut-il faire ? — est devenu l'un des cours universitaires les plus regardés jamais enregistrés, et la première leçon s'intitule « Le côté moral du meurtre ».
Pendant la plupart de ces décennies, le dilemme est resté théorique. Une manière intelligente de faire débattre des jeunes de dix-huit ans. Personne ne construisait vraiment une machine qui devait choisir.
Maintenant, si.
Une voiture autonome qui approche d'une collision inévitable exécute un dilemme du tramway en quelques millisecondes. Un algorithme de triage à l'hôpital qui décide quel patient obtient le dernier lit de réanimation en exécute un. Le modèle de modération de contenu qui décide s'il faut supprimer une publication qui pourrait être une menace — ou une plaisanterie — en exécute un. Et les agents que je construis pour gérer l'infrastructure, l'argent et les données clients en exécutent constamment de plus petites versions, dans du code que j'ai écrit, reflétant une éthique que je n'ai peut-être pas examinée.
C'est pour cela que ce n'est plus abstrait pour moi. J'écris désormais la logique qui actionne le levier pour gagner ma vie. Si vous déployez quoi que ce soit qui agit sans humain dans la boucle, vous aussi. (J'ai écrit un article distinct sur pourquoi les systèmes construits par IA ont encore besoin de supervision humaine — ce texte est le socle philosophique de cet argument.)
Mais avant de pouvoir encoder une bonne réponse, vous devez remarquer que vos intuitions sur ces cas se contredisent platement. Laissez-moi vous montrer ce que je veux dire.
Le tramway classique : actionneriez-vous le levier ?
Imaginez. Vous conduisez un tramway qui fonce à 100 kilomètres à l'heure. Cinq ouvriers sont sur la voie devant vous, outils en main, dos tournés. Vous freinez. Rien. La conduite de frein est morte.
Sur la droite, une voie secondaire. Un ouvrier dessus. Votre direction fonctionne encore. Vous pouvez tourner.
Tournez, et une personne meurt au lieu de cinq.
Quand Sandel pose la question à un amphithéâtre plein, l'écrasante majorité dit tournez. Sauvez les cinq. La plupart d'entre nous le ferions. L'arithmétique paraît évidente — une mort est une tragédie plus petite que cinq, et si vous avez le volant en main, il faudrait être un monstre pour ne pas le tourner. Une petite minorité refuse, et certains insistent lourdement : dès que vous commencez à justifier le meurtre d'un innocent pour le « bien commun », vous avez ouvert la porte par laquelle les régimes totalitaires sont passés pour justifier des horreurs. Ce n'est pas une manœuvre rhétorique bon marché. Retenez-la ; elle reviendra.
Mais pour l'instant, notez le gros titre : la plupart des gens sacrifieront un pour en sauver cinq. Tuer l'un est le meilleur choix. Cela ressemble à un principe.
Regardez à quelle vitesse le principe meurt.
L'homme corpulent sur le pont : mêmes maths, instinct opposé
Même tramway fou. Mêmes cinq ouvriers sur le point de mourir. Mais maintenant, vous n'êtes pas le conducteur — vous êtes un passant debout sur une passerelle au-dessus de la voie. À côté de vous, penché sur la rambarde, se tient un homme très corpulent.
Vous faites la physique dans votre tête. Si vous le poussez, il tombe sur la voie, son corps arrête le tramway, et les cinq sont sauvés. Il meurt. Vous n'avez rien à jeter — ce doit être lui, et ce doit être avec vos mains.
Le pousseriez-vous ?
Presque personne ne dit oui. Les mêmes personnes qui ont tourné le volant avec assurance trente secondes plus tôt ne pousseront pas l'homme. Et voici ce qui rend cela philosophiquement redoutable : les maths sont identiques. Un meurt, cinq vivent. Si sacrifier un pour en sauver cinq était juste sur la voie, pourquoi est-ce monstrueux sur le pont ?
C'est le moment où l'énigme mérite sa réputation. Parce que maintenant vous devez expliquer la différence, et chaque explication que vous essayez d'attraper est glissante.
« Sur le pont, je l'utiliserais — son corps est l'outil. » D'accord, mais sur la voie secondaire, l'ouvrier isolé n'est-il pas aussi une sorte d'outil ? « Pousser est si direct, si physique. » Le poids moral est-il vraiment fonction de la proximité de vos mains avec le préjudice ? « L'homme corpulent ne faisait pas partie de la situation — il était juste là. » Mais l'ouvrier de la voie secondaire non plus ; il faisait juste son travail à un endroit qui se trouvait être sûr jusqu'à ce que vous redirigiez la mort vers lui.
Chaque distinction que vous saisissez se dissout un peu quand vous la pressez. Et pourtant l'intuition est solide comme le roc : tourner le volant est permis, pousser l'homme est un meurtre. Votre intuition est certaine à propos de quelque chose que votre logique ne peut pas défendre.
Ce fossé — entre ce que nous ressentons et ce que nous pouvons justifier — c'est tout le sujet. C'est aussi exactement le fossé dans lequel je tombe quand j'écris de la logique de décision et que j'appelle un choix moral un « défaut technique ».
Les cas du médecin : là où votre assurance se brise pour de bon
Sandel ne s'arrête pas là, et moi non plus, parce que la paire suivante est celle où le sol s'effondre.
Cas un : vous êtes urgentiste. Six patients arrivent d'un accident. Un est gravement blessé et prendra tout votre temps et vos ressources à sauver. Les cinq autres ont des blessures modérées — mais si vous consacrez tout à l'un, les cinq meurent. Consacrez vos efforts aux cinq, et l'un meurt. La plupart des gens disent sauvez les cinq. Même logique du tramway, et cela paraît propre.
Cas deux : vous êtes chirurgien transplanteur. Vous avez cinq patients, chacun mourant faute d'un organe différent — l'un a besoin d'un cœur, l'un d'un foie, deux de reins, l'un de poumons. Dans la pièce à côté, un homme parfaitement sain est venu pour un examen de routine, il fait la sieste. Ses organes correspondent aux cinq.
Le prélevez-vous ? Tuez une personne saine, sauvez-en cinq mourantes.
Personne ne dit oui. Dans aucun amphithéâtre, dans aucune pièce où j'ai décrit ce cas. La répulsion est totale.
Mais — et Sandel enfonce cela comme un marteau — c'est encore la même arithmétique. Une vie contre cinq. Si les chiffres étaient toute l'histoire, le chirurgien devrait affûter le scalpel. Le fait que chaque fibre de vous crie non vous dit que les chiffres n'ont jamais été toute l'histoire. Il y a quelque chose dans le fait de prendre un innocent et de l'utiliser purement comme un moyen pour la survie de quelqu'un d'autre que nous traitons comme catégoriquement interdit, aussi bonnes que soient les maths.
Alors qu'en est-il ? Sommes-nous des gens qui sauvent cinq au prix d'un, ou des gens qui refusent de sacrifier l'innocent ? La réponse honnête est que nous sommes les deux, selon le cas, et nous ne pouvons généralement pas articuler la règle qui bascule entre eux.
Les philosophes le peuvent. Il y a deux grandes familles de raisonnement moral cachées sous les quatre scénarios, et une fois que vous saurez les nommer, vous les verrez partout — y compris, je le parie, dans la dernière fonctionnalité que vous avez déployée.
Conséquentialisme vs. catégorique : les deux systèmes d'exploitation de la morale
Voici les deux modèles mentaux. Je les considère comme deux systèmes d'exploitation différents pour prendre une décision.
Le raisonnement conséquentialiste dit que la moralité d'un acte réside entièrement dans ses conséquences. Vous jugez le résultat. Le meilleur résultat gagne. Mieux vaut que cinq vivent et un meure que l'inverse — comptez les corps, faites la soustraction, choisissez le plus petit nombre. Le levier, la voie secondaire, l'urgentiste et ses cinq patients : tous des verdicts conséquentialistes. La forme phare de cette approche est l'utilitarisme, et son père fondateur est Jeremy Bentham, philosophe anglais qui écrivait à la fin des années 1700.
L'affirmation de Bentham est presque agressivement simple. « La nature a placé l'humanité sous la gouvernance de deux maîtres souverains, la douleur et le plaisir. » La bonne chose à faire, toujours, est ce qui maximise l'équilibre du plaisir sur la douleur pour toutes les personnes concernées. Additionnez le bonheur, soustrayez la souffrance, choisissez le score le plus élevé. Le slogan que vous avez entendu — le plus grand bien pour le plus grand nombre — est la version autocollant. John Stuart Mill, le grand utilitariste suivant, tentera plus tard de la rendre plus humaine et moins calculatrice de plaisir, mais le moteur est le même : ce sont les résultats qui comptent.
Le raisonnement catégorique dit non. Certains actes sont justes ou injustes en eux-mêmes, quelles que soient les conséquences. Certains devoirs et droits sont absolus. Vous n'avez pas le droit d'assassiner un innocent même si le tableur dit que cela génère un bonheur net positif, parce que l'acte d'assassiner un innocent est catégoriquement mauvais, point final. Le passant qui ne poussera pas l'homme corpulent, le chirurgien qui ne prélèvera pas le patient — c'est le raisonnement catégorique qui écrase les maths. Sa figure imposante est Immanuel Kant, philosophe allemand, dont la règle centrale est que vous ne devez jamais traiter une personne simplement comme un moyen vers une fin. Les gens ne sont pas de la matière première pour le résultat de quelqu'un d'autre.
Maintenant relisez les quatre scénarios avec ces deux étiquettes en main. Le conducteur du tramway et le médecin urgentiste laissent le conséquentialisme conduire. Le passant du pont et le chirurgien transplanteur laissent la règle catégorique freiner brutalement. Même personne, même journée, deux systèmes d'exploitation différents — et le basculement entre eux est la chose que nous ne pouvons pas expliquer mais que nous ressentons absolument.
Ce n'est pas de l'anecdote. C'est la fourche sur la route pour quiconque conçoit des décisions automatisées. Quand j'écris la politique d'un agent, je choisis — que je l'admette ou non — quel système d'exploitation tourne. Et ces deux systèmes donnent des réponses opposées dans les cas qui importent le plus.
Si vous voulez voir à quel point ces deux systèmes s'entrechoquent quand des vies réelles et des conséquences réelles sont mises en balance, il n'y a pas d'exemple plus net qu'un vrai procès. Ce qui m'amène à la partie de tout cela dont je n'arrive pas à me défaire.
Queen v. Dudley and Stephens : quand le dilemme du tramway est allé au tribunal
En 1884, le yacht Mignonette a coulé dans une tempête à environ 1 600 milles au large du cap de Bonne-Espérance. Quatre hommes se sont retrouvés dans un minuscule canot de sauvetage : le capitaine, Tom Dudley ; le second, Edwin Stephens ; un marin, Edmund Brooks ; et le mousse, un adolescent de dix-sept ans nommé Richard Parker.
Ils avaient deux boîtes de navets et pas d'eau douce. Pendant environ dix-neuf jours ils ont dérivé — mangeant une tortue qu'ils avaient attrapée, buvant l'eau de pluie quand elle venait, et finissant par boire leur propre urine quand elle ne venait pas. Parker, le plus jeune, a ignoré les avertissements des autres et a bu de l'eau de mer. Il est tombé malade, a glissé vers le coma, et gisait mourant au fond du canot.
Au vingtième jour environ, Dudley l'a proposé à voix haute : ils devraient tirer au sort. L'un d'eux mourrait pour que les autres puissent manger et vivre. Brooks a refusé de participer. Aucune loterie n'a jamais eu lieu. Au lieu de cela, Dudley — avec l'accord de Stephens — a décidé. Il a récité une prière, a dit au garçon que son heure était venue, et a tué Richard Parker avec un canif. Les trois hommes survivants se sont nourris de son corps jusqu'à ce qu'un navire allemand de passage, le Montezuma, les recueille et les ramène à Falmouth, en Angleterre, le 6 septembre 1884.
Et voici la partie qui me glace à chaque fois : Dudley ne l'a pas caché. Il a donné un compte rendu complet et honnête aux autorités, apparemment en supposant que toute personne raisonnable comprendrait. Il croyait sincèrement que la nécessité rendait l'acte pardonnable. Au lieu de cela, lui et Stephens ont été jugés pour meurtre.
(Une note de bas de page étrange, parce qu'elle est vraie et trop étrange pour être omise : quarante-six ans plus tôt, Edgar Allan Poe a publié un roman dans lequel des marins naufragés tirent au sort et cannibalisent un mousse nommé — Richard Parker. La vie a imité la fiction jusque dans le nom. Faites-en ce que vous voudrez.)
La défense et l'accusation : les deux arguments sont le dilemme du tramway
Écoutez comment les deux camps ont plaidé, parce que vous avez déjà rencontré les deux.
La défense était du conséquentialisme pur. Nécessité. C'étaient des hommes désespérés face à une mort certaine. Parker mourait de toute façon et n'avait pas de personnes à charge, tandis que les autres avaient des familles. En agissant, trois vies ont été sauvées au prix d'une qui était presque épuisée. Mieux vaut que trois vivent que quatre meurent. Si vous avez tourné le volant du tramway, vous acceptez déjà la forme de cet argument. La défense demandait, en substance, à la cour de compter les corps.
L'accusation était du Kant pur. Un meurtre est un meurtre. Vous n'avez pas le droit de vous désigner arbitre de qui vit et qui meurt, quelle que soit la gravité des circonstances. Le garçon était un être humain innocent, pas une ressource à consommer quand les maths tournent au sombre. Le tuer, c'était l'utiliser simplement comme un moyen — la ligne exacte que Kant disait qu'il ne fallait jamais franchir. Le désespoir explique l'acte ; il ne le justifie pas.
La cour s'est rangée du côté de l'accusation. Dudley et Stephens ont été reconnus coupables de meurtre. Les juges ont fameusement refusé de laisser la nécessité devenir « un manteau légal pour une passion débridée et un crime atroce » — parce qu'une fois que vous autorisez à tuer l'innocent quand les nombres le favorisent, où exactement se trouve la ligne ? Ils ont été condamnés à mort, bien que la peine ait été presque immédiatement commuée en six mois de prison. Le droit avait tracé une frontière catégorique : il y a des choses que vous ne pouvez pas faire à un innocent, même pour sauver plus de personnes, même pour vous sauver vous-même.
Cette décision est encore citée dans les tribunaux de common law près d'un siècle et demi plus tard. Une poignée d'hommes affamés dans un canot de sauvetage ont accidentellement écrit l'une des lignes les plus fermes du droit occidental sur ce que les conséquences peuvent et ne peuvent pas acheter.
C'est aussi ici que je veux ralentir, parce qu'il y a une nuance qui, selon moi, importe plus que le verdict — et c'est celle qui est la plus pertinente pour l'IA.
Le consentement change-t-il tout ?
Sandel pousse ses étudiants sur une question qui a réorganisé ma façon de penser chaque décision automatisée : et si Parker avait consenti ?
Supposez que les quatre hommes aient tiré au sort, tous consentant à la procédure à l'avance, et que Parker ait tiré la courte paille. Ou supposez qu'avant de tomber malade, Parker ait dit : si on en arrive là, prenez-moi. Le meurtre serait-il alors permis ?
Beaucoup d'intuitions basculent ici. Avec une loterie équitable à laquelle tout le monde a consenti, l'acte cesse de ressembler à un meurtre et commence à ressembler à un contrat tragique. Le consentement semble blanchir la faute. L'homme sur le pont devient monstrueux parce qu'il n'a jamais accepté d'être un frein ; un soldat qui se porte volontaire pour une mission suicide est honoré, pas vengé. Alors peut-être que l'ingrédient magique n'est pas du tout le nombre de corps — c'est l'accord.
Mais pressez cela aussi, et cela fuit. Le silence de Brooks était-il consentement, ou coercition par les circonstances ? Le consentement donné sous la menace de la famine peut-il jamais être libre, ou n'est-ce que le désespoir déguisé en choix ? Et il y a une version plus sombre : si une loterie est légitime, qu'est-ce qui empêche les forts d'organiser des « loteries » qui semblent toujours retomber sur les faibles ? L'équité procédurale peut être une véritable amélioration morale — ou une fine couche de peinture sur la même vieille domination.
Je suis resté longtemps avec ça, parce que le consentement est exactement le levier que nous actionnons dans le logiciel pour rendre acceptables des choses difficiles. Les conditions d'utilisation que vous n'avez pas lues. La case « J'accepte » avant que l'algorithme ne décide de votre prêt, de votre fil, de votre taux d'assurance. Nous nous appuyons sur le consentement pour transformer un acte que nous trouverions autrement inacceptable en un acte que nous laissons passer. Le canot de sauvetage de Sandel pose la question que chaque équipe produit devrait poser : s'agit-il d'une autonomie réelle, ou d'un consentement extorqué dans des conditions où personne ne pourrait sérieusement refuser ?
Je n'ai pas de réponse toute faite. Le grand amphi non plus. Mais remarquer la question, c'est tout l'enjeu.
Ce que cela signifie réellement pour le code que nous déployons
Voici où j'atterris après avoir laissé tout cela résonner pendant des semaines, et où je pense que cela mérite sa place sur un blog qui parle surtout de construire avec l'IA.
Chaque système autonome encode un système d'exploitation moral, que ses constructeurs en aient choisi un exprès ou non. Quand vous écrivez « minimiser le total des erreurs » comme fonction objective, c'est du Bentham en blouse blanche — du conséquentialisme, optimisant l'agrégat, prêt à accepter que quelques individus soient écrasés pour que la moyenne s'améliore. Quand vous codez en dur « ne jamais exposer les données privées d'un utilisateur, même si cela améliorerait le modèle pour tout le monde », c'est du Kant — une règle catégorique qui refuse de traiter l'individu comme de la matière première pour le bien collectif.
La plupart des systèmes de ML basculent par défaut vers le conséquentialisme, parce que l'optimisation est du conséquentialisme. Vous choisissez une métrique et vous la maximisez. Tout le champ est un calcul de corps déguisé en algèbre linéaire. Et c'est souvent bien — pour le classement publicitaire, le routage, la compression. Personne n'a besoin de Kant pour trier une file d'attente.
Mais le dilemme du tramway est l'étiquette d'avertissement. Dès que votre système touche à des vies, à la liberté, à l'argent ou à la dignité, l'optimisation pure commence discrètement à pousser des hommes corpulents en bas des ponts, et elle le fera la conscience tranquille parce que la fonction de perte a baissé. La raison pour laquelle nous construisons des garde-fous, des comportements de refus et des contraintes strictes dans les agents d'IA, c'est que nous avons décidé — à juste titre — que certains actes devaient être catégoriquement exclus de la table, quel que soit leur score. Ce n'est pas une décision technique. C'est Kant qui prend le pas sur Bentham, implémenté dans un fichier de configuration.
Concrètement, c'est la différence entre deux lignes dans la même base de code. if fraud_score > 0.9: auto_decline est un pari purement conséquentialiste — vous acceptez un taux connu de faux positifs (de vraies personnes bloquées à tort) parce que la perte agrégée est plus faible. Ajoutez unless account.is_flagged_vulnerable: require_human_review et vous venez d'installer une règle catégorique qui dit cette classe de personnes n'est pas négociable contre la moyenne, point final. Les deux sont une condition. Une seule a été choisie exprès. Ce fossé — une règle qui existe versus une règle que vous pouvez défendre — c'est là où vivent la plupart des échecs éthiques que j'ai vus.
Cela recoupe un motif que je retrouve dans des problèmes très différents. Quand j'ai écrit sur le piège des licenciements liés à l'IA et sa logique de dilemme du prisonnier, l'échec était un calcul purement conséquentialiste — chaque entreprise optimisant ses propres chiffres — produisant un résultat collectivement catastrophique. Quand j'ai couvert le débat autour des zero-days découverts par l'IA, tout le combat opposait des défenseurs conséquentialistes (« plus de sécurité globalement ») à une objection catégorique (« ne mettez pas une arme entre les mains du monde »). Je n'avais pas le vocabulaire alors pour voir qu'il s'agissait du même argument sous des habits différents. Maintenant, je l'ai. C'est la transformation que j'espère vous transmettre.
Si vous devez retenir une chose pratique de tout cela, que ce soit cette habitude : quand vous écrivez une règle qui décide quelque chose pour un humain, arrêtez-vous et demandez-vous quel système d'exploitation vous venez d'installer. Comptez-vous des corps, ou honorez-vous une frontière ? Il n'y a pas de réponse universellement juste. Mais il y a un monde de différence entre choisir exprès et somnambuler vers une posture morale parce que l'optimiseur était plus facile à écrire.
Le seul geste jamais permis : faire semblant que la question n'existe pas
Il y a une sortie tentante à tout cela. La sortie du sceptique. Ces problèmes ne peuvent pas vraiment être résolus. La morale n'est que préférence personnelle. Qui peut trancher ? J'ai entendu des ingénieurs s'en emparer à la seconde où une discussion devenait inconfortable, et je m'en suis emparé moi-même.
Sandel emprunte la réponse de Kant, et c'est la chose la plus tranchante du cours. Le scepticisme, écrit Kant, est « un lieu de repos pour la raison humaine » — un endroit où faire une pause et arpenter la difficulté. Mais ce n'est « pas un lieu d'habitation pour un établissement permanent ». Vous avez le droit de vous y reposer. Vous n'avez pas le droit d'y vivre. Lever les mains en l'air et déclarer tout cela sans réponse, ce n'est pas de l'humilité. C'est une évasion — une manière d'éviter le travail de raisonner réellement sur ce que vous croyez et pourquoi.
Pour les gens qui construisent des systèmes qui décident pour d'autres personnes, la sortie du sceptique n'est pas seulement paresseuse. Elle est fautive. Le code est déployé quoi qu'il arrive. L'agent agit quoi qu'il arrive. « Qui peut trancher ? » n'arrête pas le tramway ; cela veut juste dire que vous avez tourné le volant les yeux fermés.
Foire aux questions
Qu'est-ce que le dilemme du tramway en termes simples ?
Le dilemme du tramway est une expérience de pensée où un tramway hors de contrôle va tuer cinq personnes à moins que vous ne le détourniez sur une voie où il en tue une. Il force un choix entre causer activement une mort pour en empêcher cinq, exposant le conflit entre juger les actions par leurs résultats et les juger par des règles morales absolues. Pour l'analyse complète et ses variantes, voyez les scénarios ci-dessus.
Quelle est la différence entre le conséquentialisme et le raisonnement catégorique ?
Le conséquentialisme juge un acte entièrement par ses conséquences — le meilleur résultat est le résultat moral, comme dans « le plus grand bien pour le plus grand nombre » de l'utilitarisme. Le raisonnement catégorique soutient que certains actes sont justes ou injustes en eux-mêmes, quel que soit le résultat, comme la règle de Kant selon laquelle vous ne devez jamais utiliser une personne simplement comme un moyen.
Pourquoi les gens ne pousseront-ils pas l'homme corpulent alors qu'ils actionneraient le levier ?
Les deux choix sacrifient une vie pour en sauver cinq, mais actionner le levier ressemble à rediriger une menace existante, tandis que pousser l'homme ressemble à l'utiliser directement comme un outil pour l'arrêter. Ce fossé entre des maths identiques et des intuitions opposées est exactement ce que le dilemme du tramway est conçu pour exposer — voyez les cas du médecin ci-dessus pour la version la plus tranchée.
Comment le dilemme du tramway s'applique-t-il à l'éthique de l'IA ?
Tout système d'IA qui agit sans humain dans la boucle — voitures autonomes, algorithmes de triage, agents autonomes — doit résoudre des arbitrages de type tramway dans le code. Optimiser une métrique est conséquentialiste par défaut, tandis que les garde-fous et les refus stricts sont des règles catégoriques, donc les constructeurs encodent une posture morale qu'ils s'en rendent compte ou non.
Que s'est-il passé dans Queen v. Dudley and Stephens ?
En 1884, les marins naufragés Tom Dudley et Edwin Stephens ont tué et mangé le mousse mourant Richard Parker pour survivre, puis ont été jugés pour meurtre. Le tribunal anglais a rejeté leur défense de « nécessité », établissant que la nécessité n'est pas une défense au meurtre et que tuer un innocent n'est pas justifié par le fait de sauver plus de vies.
Vous actionnez déjà des leviers
Revenez à ma politique de reprise — le code ennuyeux avec lequel j'ai ouvert. J'ai choisi les quatre-vingt-dix-neuf mille enregistrements plutôt que l'utilisateur unique. Bentham aurait hoché la tête. Mais j'ai pris cette décision sans jamais me demander s'il y avait une ligne catégorique que je ne devais pas franchir, si l'utilisateur unique avait un droit que l'agrégat ne pouvait pas acheter, si le « consentement » enterré dans des conditions d'utilisation que personne ne lit faisait un vrai travail moral ou me couvrait simplement.
C'est le changement que je veux vous laisser. Le dilemme du tramway n'a jamais vraiment porté sur les tramways. Il porte sur le fait que vous ne pouvez pas agir dans le monde — ou écrire un logiciel qui agit dans le monde — sans prendre une position morale, et le seul vrai choix est de la prendre consciemment ou par accident.
Alors voici votre défi pour les prochaines vingt-quatre heures. Ouvrez la dernière chose que vous avez construite qui prend une décision sur une personne — un classement, un seuil, un filtre, une action automatisée. Trouvez la ligne où elle choisit. Et posez-vous une question : ai-je compté des corps, ou ai-je honoré une frontière — et pourrais-je le défendre devant la personne à l'autre bout de cette décision ?
Si vous pouvez répondre à cela, vous faites déjà le travail que Sandel essayait de provoquer. Si vous ne le pouvez pas, vous venez de trouver la revue de code la plus importante que vous ferez de l'année.
Construire des agents qui décident de manière responsable
L'essentiel de mon travail aujourd'hui consiste à écrire exactement la logique d'actionnement de levier dont parle ce texte — politiques de reprise, seuils de modération, garde-fous d'agents — et à décider exprès quel système d'exploitation moral tourne dans chacun. Si vous déployez un système d'IA qui agit sur de vraies personnes et que vous voulez que ces frontières soient choisies délibérément plutôt qu'héritées par accident de l'optimiseur, j'accepte un petit nombre de projets via mon profil Fiverr. Apportez-moi la décision difficile ; nous l'encoderons les yeux ouverts.
