El dilema del tranvía y la ética de la IA: el código que decide por nosotros
Estaba a mitad de camino de escribir una política de reintentos para un agente —el tipo de código aburrido, ese que nadie revisa— cuando me pillé a mí mismo tomando una decisión moral y fingiendo que era técnica. El agente podía o bien revertir una migración de base de datos a medio terminar (seguro, lento, molesto para el usuario que llevaba esperando) o seguir adelante y arriesgarse a corromper unos cuantos registros para mantener intactos los otros noventa y nueve mil. Escribí la condición. Elegí a los noventa y nueve mil —y me di cuenta de que acababa de responder al dilema del tranvía en código, que es el punto exacto donde la filosofía deja de ser abstracta y se convierte en ética de la IA.
Por si hace tiempo que no te lo cruzas, el dilema del tranvía es simple: un tranvía sin control está a punto de matar a cinco trabajadores en las vías, y puedes accionar una palanca que lo desvía a una vía secundaria donde mata a una sola persona. Cinco viven, uno muere —pero solo porque tú decidiste que ocurriera. La mayoría archiva esto bajo "acertijo filosófico entretenido", un dilema de salón para un seminario. Pero si construyes sistemas de IA que toman decisiones en nombre de los humanos, no lo estás debatiendo con un café en la mano. Estás codificando tu respuesta en una sentencia if, desplegándola y dejando que se ejecute un millón de veces al día mientras duermes. En algún rincón de mi cabeza, una voz que no oía desde que volví a ver la clase de Michael Sandel en Harvard dijo: ese es el dilema del tranvía, y acabas de tirar de la palanca sin darte cuenta.
Así que quiero recorrer todo el asunto —el tranvía, el hombre grande en el puente, el médico con cinco pacientes moribundos y un juicio de canibalismo genuinamente perturbador de 1884 que acabó en los manuales de derecho inglés. No como una lección de historia, sino como un mapa de las decisiones exactas que hoy le estamos entregando en silencio al software.
Al final tendrás dos modelos mentales —dos nombres para los instintos que pelean dentro de ti— que cambian cómo lees tu propio código. El caso del médico, a mitad de camino, es donde la mayoría pierde la confianza en su propio juicio; también es la parte más útil.
Por qué este acertijo de seminario ahora corre en producción
Sandel no inventó el dilema del tranvía. La filósofa Philippa Foot esbozó la primera versión en 1967, y Judith Jarvis Thomson la afinó en los setenta. Lo que hizo Sandel fue plantearlo frente a casi mil estudiantes de Harvard en un auditorio abarrotado y filmar cómo su razonamiento se desmoronaba en tiempo real. Ese curso —Justicia: ¿Qué es lo correcto?— se convirtió en una de las clases universitarias más vistas jamás grabadas, y la Clase 1 se llama "El lado moral del asesinato".
Durante la mayoría de esas décadas, el dilema se quedó en lo teórico. Una forma ingeniosa de hacer discutir a chavales de dieciocho años. Nadie estaba construyendo de verdad una máquina que tuviera que elegir.
Ahora sí.
Un coche autónomo que se acerca a una colisión inevitable está ejecutando un dilema del tranvía en milisegundos. Un algoritmo de triaje en un hospital que decide qué paciente se lleva la última cama de UCI está ejecutando otro. El modelo de moderación de contenido que decide si retira una publicación que podría ser una amenaza —o podría ser una broma— está ejecutando uno. Y los agentes que construyo para gestionar infraestructura, dinero y datos de clientes ejecutan versiones más pequeñas de él constantemente, en código que yo escribí, reflejando una ética que quizá no he examinado.
Por eso esto dejó de ser abstracto para mí. Me gano la vida escribiendo la lógica que tira de la palanca. Si tú despliegas cualquier cosa que actúa sin un humano en el bucle, también. (Escribí una pieza aparte sobre por qué los sistemas construidos por IA siguen necesitando supervisión humana —este es el suelo filosófico que sostiene ese argumento.)
Pero antes de poder codificar una buena respuesta, tienes que darte cuenta de que tus intuiciones sobre estos casos se contradicen de plano entre sí. Deja que te enseñe a qué me refiero.
El tranvía clásico: ¿tirarías de la palanca?
Imagínatelo. Vas conduciendo un tranvía que baja disparado por las vías a 100 kilómetros por hora. Hay cinco trabajadores en las vías más adelante, herramientas en mano, de espaldas. Pisas el freno. Nada. El circuito de freno está muerto.
A la derecha, una vía secundaria. Un trabajador en ella. La dirección aún funciona. Puedes girar.
Girar, y muere una persona en vez de cinco.
Cuando Sandel se lo pregunta a un auditorio lleno, la mayoría abrumadora dice que gires. Salva a los cinco. La mayoría de nosotros lo haría. La aritmética parece obvia —una muerte es una tragedia menor que cinco, y si tienes el volante entre las manos, serías un monstruo si no lo giraras. Una pequeña minoría se niega, y algunos aprietan con fuerza: en el momento en que empiezas a justificar matar a una persona inocente por el "bien mayor", has abierto la puerta por la que los regímenes totalitarios han entrado para justificar horrores. Eso no es un truco retórico barato. Guárdatelo; vuelve.
Pero de momento, quédate con el titular: la mayoría sacrificará a uno para salvar a cinco. Matar al uno es la mejor elección. Eso parece un principio.
Mira lo rápido que muere el principio.
El hombre grande en el puente: la misma cuenta, el estómago opuesto
El mismo tranvía sin control. Los mismos cinco trabajadores a punto de morir. Pero ahora no eres el conductor —eres un transeúnte de pie en una pasarela peatonal sobre la vía. A tu lado, apoyado sobre la barandilla, hay un hombre muy corpulento.
Haces la física de cabeza. Si le das un empujón, cae sobre las vías, su cuerpo detiene el tranvía y los cinco se salvan. Él muere. No tienes nada que arrojar —tiene que ser él, y tienen que ser tus manos.
¿Lo empujarías?
Casi nadie dice que sí. Las mismas personas que hace treinta segundos giraban el volante con seguridad no empujarán al hombre. Y aquí está lo filosóficamente salvaje: la cuenta es idéntica. Uno muere, cinco viven. Si sacrificar a uno para salvar a cinco estaba bien en la vía, ¿por qué es monstruoso en el puente?
Este es el momento en el que el acertijo se gana su reputación. Porque ahora tienes que explicar la diferencia, y todas las explicaciones a las que echas mano son resbaladizas.
"En el puente lo estaría usando a él —su cuerpo es la herramienta." Vale, pero en la vía secundaria, ¿acaso el trabajador solitario no es también una especie de herramienta? "Empujar es tan directo, tan físico." ¿De verdad el peso moral depende de la cercanía de tus manos al daño? "El hombre grande no era parte de la situación —solo estaba ahí parado." Pero tampoco el trabajador de la vía secundaria; solo hacía su trabajo en un sitio que resultaba ser seguro hasta que tú redirigiste la muerte hacia él.
Cada distinción a la que te agarras se disuelve un poco cuando la aprietas. Y sin embargo, la sensación visceral es firme como una roca: girar el volante es admisible, empujar al hombre es asesinato. Tu intuición tiene certeza sobre algo que tu lógica no puede defender.
Ese hueco —entre lo que sentimos y lo que podemos justificar— es todo el tema. Es también exactamente el hueco en el que caigo cuando escribo lógica de decisión y llamo a una elección moral un "valor por defecto técnico".
Los casos del médico: donde tu confianza se rompe para siempre
Sandel no se detiene ahí, y yo tampoco, porque el siguiente par es donde cede el suelo.
Caso uno: eres médico de urgencias. Llegan seis pacientes de un accidente. Uno está herido de gravedad y hará falta todo tu tiempo y recursos para salvarlo. Los otros cinco tienen heridas moderadas —pero si gastas todo en el uno, los cinco mueren. Vuelca tu esfuerzo en los cinco, y muere el uno. La mayoría dice salvar a los cinco. La misma lógica del tranvía, y parece limpia.
Caso dos: eres cirujano de trasplantes. Tienes cinco pacientes, cada uno moribundo por falta de un órgano distinto —uno necesita un corazón, otro un hígado, dos riñones, otro pulmones. En la habitación de al lado, un hombre perfectamente sano ha venido a un chequeo rutinario y está durmiendo la siesta. Sus órganos son compatibles con los cinco.
¿Le extraes los órganos? Mata a una persona sana, salva a cinco moribundas.
Nadie dice que sí. Ni en ningún auditorio, ni en ninguna sala donde yo lo haya descrito. El rechazo es total.
Pero —y Sandel lo remata como un martillo— es la misma aritmética otra vez. Una vida por cinco. Si los números fueran toda la historia, el cirujano debería estar afilando el bisturí. El hecho de que cada fibra de tu ser grite no te dice que los números nunca fueron toda la historia. Hay algo en coger a una persona inocente y usarla puramente como medio para la supervivencia de otro que tratamos como categóricamente vetado, por muy buena que parezca la cuenta.
Entonces ¿qué somos? ¿Somos gente que salva a cinco a costa de uno, o gente que se niega a sacrificar al inocente? La respuesta honesta es que somos ambas cosas, dependiendo del caso, y en su mayoría no podemos articular la regla que hace el cambio entre ellas.
Los filósofos sí pueden. Hay dos grandes familias de razonamiento moral escondidas bajo los cuatro escenarios y, en cuanto puedas nombrarlas, las verás por todas partes —incluida, apostaría, la última funcionalidad que desplegaste.
Consecuencialismo vs. categórico: los dos sistemas operativos de la moralidad
Aquí están los dos modelos mentales. Los pienso como dos sistemas operativos diferentes para tomar una decisión.
El razonamiento consecuencialista dice que la moralidad de un acto vive por completo en sus consecuencias. Juzgas el resultado. Gana el mejor resultado. Mejor que vivan cinco y muera uno que al revés —cuenta los cuerpos, haz la resta, elige el número más pequeño. La palanca, la vía secundaria, la urgencia de cinco pacientes: todos veredictos consecuencialistas. La forma estrella de esto es el utilitarismo, y su padre fundador es Jeremy Bentham, un filósofo inglés que escribió a finales del siglo XVIII.
La tesis de Bentham es casi agresivamente simple. "La naturaleza ha puesto a la humanidad bajo el gobierno de dos amos soberanos, el dolor y el placer." Lo correcto, siempre, es lo que maximice el balance de placer sobre dolor entre todos los afectados. Suma la felicidad, resta el sufrimiento, elige la puntuación más alta. El eslogan que has oído —el mayor bien para el mayor número— es la versión de pegatina de coche. John Stuart Mill, el siguiente gran utilitarista, intentaría luego hacerlo más humano y menos una calculadora de placer, pero el motor es el mismo: los resultados son lo que cuenta.
El razonamiento categórico dice que no. Ciertos actos son correctos o incorrectos en sí mismos, independientemente de las consecuencias. Algunos deberes y derechos son absolutos. No puedes asesinar a una persona inocente aunque la hoja de cálculo diga que produce un saldo neto de felicidad positivo, porque el acto de asesinar a un inocente es categóricamente incorrecto, punto. El transeúnte que no empuja al hombre grande, el cirujano que no cosecha al paciente —eso es el razonamiento categórico anulando la cuenta. Su figura descomunal es Immanuel Kant, el filósofo alemán, cuya regla central es que nunca debes tratar a una persona meramente como un medio para un fin. Las personas no son materia prima para el resultado de otro.
Ahora vuelve a leer los cuatro escenarios con esas dos etiquetas en la mano. El conductor del tranvía y el médico de triaje dejan que el consecuencialismo lleve el volante. El transeúnte del puente y el cirujano de trasplantes dejan que la regla categórica pise el freno. La misma persona, el mismo día, dos sistemas operativos distintos —y el interruptor entre ellos es lo que no podemos explicar pero sentimos con toda seguridad.
Esto no es trivia. Es la bifurcación del camino para cualquiera que diseñe decisiones automatizadas. Cuando escribo la política de un agente, estoy —lo admita o no— eligiendo qué sistema operativo corre. Y esos dos sistemas dan respuestas opuestas en los casos que más importan.
Si quieres ver lo mal que chocan los dos cuando hay vidas reales y consecuencias reales apiladas unas contra otras, no hay ejemplo más limpio que un juicio real. Lo que me lleva a la parte de todo esto que no me puedo quitar de la cabeza.
Queen v. Dudley y Stephens: cuando el dilema del tranvía fue a los tribunales
En 1884, el yate Mignonette se hundió en una tormenta a unas 2.600 kilómetros del Cabo de Buena Esperanza. Cuatro hombres consiguieron subirse a un bote salvavidas diminuto: el capitán, Tom Dudley; el segundo de a bordo, Edwin Stephens; un marinero, Edmund Brooks; y el grumete, un chico de diecisiete años llamado Richard Parker.
Tenían dos latas de nabos y ningún agua dulce. Durante unos diecinueve días fueron a la deriva —comiendo una tortuga que capturaron, bebiendo agua de lluvia cuando caía y, al final, bebiendo su propia orina cuando no caía. Parker, el más joven, ignoró las advertencias de los demás y bebió agua de mar. Enfermó, resbaló hacia el coma y quedó agonizando en el fondo del bote.
Alrededor del vigésimo día, Dudley lo propuso en voz alta: deberían echar a suertes. Uno de ellos moriría para que los demás comieran y vivieran. Brooks se negó a participar. Nunca se hizo ninguna rifa. En su lugar, Dudley —con el acuerdo de Stephens— decidió. Rezó una oración, le dijo al chico que su hora había llegado y mató a Richard Parker con una navaja. Los tres hombres supervivientes se alimentaron de su cuerpo hasta que un barco alemán que pasaba, el Montezuma, los recogió y los llevó de vuelta a Falmouth, Inglaterra, el 6 de septiembre de 1884.
Y aquí está la parte que me deja helado cada vez: Dudley no lo ocultó. Dio un relato completo y honesto a las autoridades, aparentemente asumiendo que cualquier persona razonable lo entendería. Creía sinceramente que la necesidad lo hacía perdonable. En vez de eso, él y Stephens fueron juzgados por asesinato.
(Una nota al pie escalofriante, porque es real y demasiado extraña para saltarla: cuarenta y seis años antes, Edgar Allan Poe publicó una novela en la que marineros náufragos echan a suertes y devoran a un grumete llamado —Richard Parker. La vida imitó a la ficción hasta en el nombre. Haz con eso lo que quieras.)
La defensa y la fiscalía: ambos argumentos son el dilema del tranvía
Escucha cómo argumentaron los dos lados, porque ya los has conocido a ambos.
La defensa fue consecuencialismo puro. Necesidad. Eran hombres desesperados enfrentados a una muerte segura. Parker se estaba muriendo de todos modos y no tenía dependientes, mientras que los otros tenían familias. Al actuar, se salvaron tres vidas a costa de una que estaba casi apagada. Mejor que vivan tres a que mueran cuatro. Si tú giraste el volante del tranvía, ya aceptas la forma de este argumento. La defensa estaba, en esencia, pidiéndole al tribunal que contara cuerpos.
La fiscalía fue Kant puro. El asesinato es asesinato. No puedes autoproclamarte árbitro de quién vive y quién muere, por muy nefastas que sean las circunstancias. El chico era un ser humano inocente, no un recurso a consumir cuando las cuentas se ponen sombrías. Matarlo fue usarlo meramente como medio —la línea exacta que Kant dijo que nunca puedes cruzar. La desesperación explica el acto; no lo justifica.
El tribunal se puso del lado de la fiscalía. Dudley y Stephens fueron condenados por asesinato. Los jueces se negaron célebremente a dejar que la necesidad se convirtiera en "una capa legal para la pasión desatada y el crimen atroz" —porque una vez permites matar al inocente cuando los números lo favorecen, ¿dónde exactamente se traza la línea? Fueron condenados a muerte, aunque la sentencia se conmutó casi de inmediato por seis meses de prisión. La ley había dibujado una frontera categórica: hay cosas que no puedes hacerle a una persona inocente, ni siquiera para salvar a más gente, ni siquiera para salvarte a ti mismo.
Ese fallo aún se cita en los tribunales de common law casi un siglo y medio después. Un puñado de hombres muertos de hambre en un bote salvavidas escribieron accidentalmente una de las líneas más firmes del derecho occidental sobre lo que las consecuencias pueden y no pueden comprar.
Aquí también quiero ir más despacio, porque hay un matiz que creo que importa más que el veredicto —y es el más relevante para la IA.
¿Cambia todo el consentimiento?
Sandel aprieta a sus alumnos con una pregunta que reorganizó mi forma de pensar en toda decisión automatizada: ¿y si Parker hubiera aceptado?
Supón que los cuatro hombres hubieran echado a suertes, todos consintiendo el procedimiento por adelantado, y que a Parker le hubiera tocado la paja corta. O supón que, antes de caer enfermo, Parker hubiera dicho: si se llega a eso, cógeme a mí. ¿Sería entonces permisible matarlo?
Las intuiciones de mucha gente se dan la vuelta aquí. Con una rifa justa que todos aceptaron, el acto deja de parecer un asesinato y empieza a parecer un contrato trágico. El consentimiento parece lavar la maldad del acto. El hombre del puente se vuelve monstruoso porque nunca aceptó ser un freno; a un soldado que se ofrece voluntario para una misión suicida se le honra, no se le venga. Así que quizá el ingrediente mágico no sea el número de cuerpos en absoluto —es el acuerdo.
Pero aprieta también eso y se escapa. ¿Era el silencio de Brooks consentimiento o coacción por las circunstancias? ¿Puede el consentimiento dado bajo la amenaza de la inanición ser realmente libre, o es solo la desesperación disfrazada de elección? Y hay una versión más oscura: si una rifa es legítima, ¿qué impide que los fuertes hagan "rifas" que siempre parecen caer sobre los débiles? La justicia procedimental puede ser una mejora moral genuina —o una capa fina de pintura sobre la misma vieja dominación.
Me quedé con eso mucho tiempo, porque el consentimiento es exactamente la palanca que accionamos en software para hacer que las cosas duras parezcan aceptables. Los términos y condiciones que no leíste. La casilla "Acepto" antes de que el algoritmo decida tu préstamo, tu feed, tu prima de seguro. Nos apoyamos en el consentimiento para transformar un acto que de otro modo encontraríamos inaceptable en uno que dejamos pasar. El bote salvavidas de Sandel plantea la pregunta que todo equipo de producto debería hacerse: ¿es esto autonomía real, o es consentimiento extraído en condiciones en las que nadie podría rechazar de forma significativa?
No tengo una respuesta cerrada. Tampoco la tenía el auditorio. Pero notar la pregunta es todo el asunto.
Lo que esto significa de verdad para el código que desplegamos
Aquí es donde aterrizo tras dejar que todo esto dé vueltas durante semanas, y donde creo que se gana un sitio en un blog dedicado sobre todo a construir con IA.
Todo sistema autónomo codifica un sistema operativo moral, tanto si sus constructores eligieron uno a propósito como si no. Cuando escribes "minimiza los errores totales" como función objetivo, eso es Bentham con bata de laboratorio —consecuencialismo, optimizando el agregado, dispuesto a aceptar que algunos individuos queden aplastados para que la media mejore. Cuando codificas a fuego "nunca expongas los datos privados de un usuario, aunque eso mejore el modelo para todos", eso es Kant —una regla categórica que se niega a tratar al individuo como materia prima para el bien colectivo.
La mayoría de los sistemas de ML tienden por defecto al consecuencialismo, porque la optimización es consecuencialismo. Escoges una métrica y la maximizas. Todo el campo es una aritmética de recuento de cadáveres vestida de álgebra lineal. Y eso muchas veces está bien —para el ranking de anuncios, para el enrutamiento, para la compresión. Nadie necesita a Kant para ordenar una cola.
Pero el dilema del tranvía es la etiqueta de advertencia. En el momento en que tu sistema toca vidas, libertad, dinero o dignidad, la pura optimización empieza a empujar en silencio a hombres corpulentos desde puentes, y lo hará con la conciencia tranquila porque la función de pérdida bajó. La razón por la que construimos barandas, comportamientos de rechazo y restricciones duras en los agentes de IA es que hemos decidido —correctamente— que algunos actos deberían estar categóricamente fuera de la mesa por mucho que puntúen bien. Eso no es una decisión técnica. Es Kant anulando a Bentham, implementado en un archivo de configuración.
En concreto, esta es la diferencia entre dos líneas en el mismo repositorio. if fraud_score > 0.9: auto_decline es una apuesta consecuencialista pura —estás aceptando una tasa conocida de falsos positivos (personas reales bloqueadas injustamente) porque la pérdida agregada es menor. Añádele unless account.is_flagged_vulnerable: require_human_review y acabas de instalar una regla categórica que dice esta clase de persona no es intercambiable contra la media, punto. Ambas son un condicional. Solo una fue elegida a propósito. Ese hueco —una regla que existe frente a una regla que puedes defender— es donde en realidad vive la mayoría de los fracasos éticos que he visto.
Esto conecta con un patrón con el que me cruzo una y otra vez en problemas muy diferentes. Cuando escribí sobre la trampa de los despidos por IA y su lógica de dilema del prisionero, el fracaso era un cálculo consecuencialista puro —cada empresa optimizando sus propios números— produciendo un resultado colectivamente catastrófico. Cuando cubrí el debate sobre los zero-days descubiertos por IA, toda la pelea eran defensores consecuencialistas ("más seguridad en conjunto") contra una objeción categórica ("no le entregues un arma al mundo"). Entonces no tenía el vocabulario para ver que eran el mismo argumento con ropa distinta. Ahora sí. Esa es la transformación que espero pasarte.
Si te llevas una sola cosa práctica de todo esto, que sea este hábito: cuando escribas una regla que decide algo por un humano, párate y pregúntate qué sistema operativo acabas de instalar. ¿Estás contando cuerpos, o honrando una frontera? No hay una respuesta universalmente correcta. Pero hay un mundo de diferencia entre elegir a propósito y caminar dormido hacia una postura moral porque el optimizador era más fácil de escribir.
El único movimiento que nunca está permitido: fingir que la pregunta no está ahí
Hay una salida tentadora a todo esto. La salida del escéptico. Estos problemas no tienen solución real. La moralidad es solo preferencia personal. ¿Quién es quién para decir? He oído a ingenieros echar mano de eso en el segundo en que una discusión se pone incómoda, y yo mismo he echado mano de ello.
Sandel toma prestada la respuesta de Kant, y es lo más afilado de la clase. El escepticismo, escribió Kant, es "un lugar de descanso para la razón humana" —un sitio donde parar y otear la dificultad. Pero no es "una morada para asentarse permanentemente". Puedes descansar ahí. No puedes vivir ahí. Levantar las manos y declararlo todo incontestable no es humildad. Es una evasión —una manera de esquivar el trabajo de razonar de verdad por qué crees lo que crees.
Para quienes construimos sistemas que deciden cosas por otras personas, la salida del escéptico no es solo perezosa. Es negligente. El código se despliega igual. El agente actúa igual. "¿Quién es quién para decirlo?" no detiene al tranvía; solo significa que giraste el volante con los ojos cerrados.
Preguntas Frecuentes
¿Qué es el dilema del tranvía en términos sencillos?
El dilema del tranvía es un experimento mental en el que un tranvía sin control matará a cinco personas a menos que lo desvíes a una vía donde mata a una. Te obliga a elegir entre causar activamente una muerte para prevenir cinco, exponiendo el conflicto entre juzgar los actos por sus resultados y juzgarlos por reglas morales absolutas. Para el desglose completo y sus variantes, mira los escenarios de arriba.
¿Cuál es la diferencia entre consecuencialismo y razonamiento categórico?
El consecuencialismo juzga un acto por completo por sus consecuencias —el mejor resultado es el moral, como en el "mayor bien para el mayor número" del utilitarismo. El razonamiento categórico sostiene que algunos actos son correctos o incorrectos en sí mismos independientemente del resultado, como la regla de Kant de que nunca debes usar a una persona meramente como medio.
¿Por qué no se empuja al hombre grande quien sí tiraría de la palanca?
Ambas elecciones sacrifican una vida para salvar a cinco, pero tirar de la palanca se siente como redirigir una amenaza existente mientras que empujar al hombre se siente como usarlo directamente como herramienta para detenerla. Ese hueco entre una cuenta idéntica y unas intuiciones opuestas es exactamente lo que el dilema del tranvía está diseñado para exponer —mira los casos del médico de arriba para la versión más afilada.
¿Cómo se aplica el dilema del tranvía a la ética de la IA?
Cualquier sistema de IA que actúa sin un humano en el bucle —coches autónomos, algoritmos de triaje, agentes autónomos— tiene que resolver disyuntivas al estilo del tranvía en código. Optimizar una métrica es consecuencialista por defecto, mientras que las barandas y los rechazos duros son reglas categóricas, así que quienes construyen están codificando una postura moral se den cuenta o no.
¿Qué pasó en Queen v. Dudley y Stephens?
En 1884, los marineros náufragos Tom Dudley y Edwin Stephens mataron y se comieron al grumete agonizante Richard Parker para sobrevivir, y luego fueron juzgados por asesinato. El tribunal inglés rechazó su defensa de "necesidad", estableciendo que la necesidad no es una defensa frente al asesinato y que matar a una persona inocente no queda justificado por salvar más vidas.
Ya estás tirando de palancas
Vuelve a mi política de reintentos —el código aburrido con el que abrí. Elegí los noventa y nueve mil registros por encima del único usuario. Bentham habría asentido. Pero tomé esa decisión sin preguntarme nunca si había una línea categórica que no debía cruzar, si el único usuario tenía un derecho que el agregado no podía comprar, si el "consentimiento" enterrado en unos términos y condiciones que nadie lee estaba haciendo un trabajo moral real o solo cubriéndome las espaldas.
Ese es el giro con el que quiero dejarte. El dilema del tranvía nunca fue realmente sobre tranvías. Es sobre el hecho de que no puedes actuar en el mundo —o escribir software que actúe en el mundo— sin tomar una postura moral, y la única elección real es si la tomas conscientemente o por accidente.
Así que aquí tienes tu reto para las próximas veinticuatro horas. Abre la última cosa que construiste que toma una decisión sobre una persona —un ranking, un umbral, un filtro, una acción automatizada. Encuentra la línea donde elige. Y hazte una pregunta: ¿conté cuerpos, o honré una frontera —y sería capaz de defenderla ante la persona al otro lado de esa decisión?
Si puedes responder eso, ya estás haciendo el trabajo que Sandel intentaba provocar. Si no puedes, acabas de encontrar la revisión de código más importante que harás en todo el año.
Construyendo agentes que deciden con responsabilidad
La mayor parte de mi trabajo ahora es escribir la lógica exacta de tirar de la palanca sobre la que trata esta pieza —políticas de reintentos, umbrales de moderación, barandas para agentes— y decidir a propósito qué sistema operativo moral corre dentro de cada uno. Si estás desplegando un sistema de IA que actúa sobre personas reales y quieres que esas fronteras se elijan deliberadamente en vez de heredarlas por accidente del optimizador, acepto un número pequeño de encargos a través de mi perfil de Fiverr. Tráeme la decisión difícil; la codificaremos con los ojos abiertos.
