O Dilema do Trólei na Ética da IA: O Código que Decide por Nós
Estava a meio de escrever uma política de retentativas para um agente — o género aborrecido de código, o género que ninguém revê — quando me apanhei a tomar uma decisão moral e a fingir que era técnica. O agente podia reverter uma migração de base de dados a meio (seguro, lento, irritante para o utilizador que estava à espera) ou avançar e arriscar corromper uns quantos registos para manter intactos os outros noventa e nove mil. Digitei a condição. Escolhi os noventa e nove mil — e percebi que tinha acabado de responder ao dilema do trólei em código, que é exatamente o ponto onde a filosofia deixa de ser abstrata e se transforma em ética da IA.
Se já não te cruzas com ele há algum tempo, o dilema do trólei é simples: um trólei desgovernado está prestes a matar cinco trabalhadores na linha à frente, e podes acionar uma alavanca que o desvia para uma linha secundária onde mata apenas uma pessoa. Cinco vivem, uma morre — mas só porque tu escolheste que assim fosse. A maioria das pessoas arquiva isto sob "enigma filosófico divertido", um dilema de salão para uma sala de seminário. Mas se constróis sistemas de IA que tomam decisões em nome de humanos, não o debates ao café. Codificas a tua resposta num if, colocas em produção, e deixa-la correr um milhão de vezes por dia enquanto dormes. Algures no fundo da minha cabeça, uma voz que não ouvia desde que revi a aula de Michael Sandel em Harvard disse: este é o dilema do trólei, e acabaste de puxar a alavanca sem dares conta.
Por isso quero percorrer isto tudo — o trólei, o homem gordo na ponte, o médico com cinco doentes moribundos, e um julgamento de canibalismo genuinamente perturbador de 1884 que acabou nos manuais de direito inglês. Não como lição de história, mas como mapa das decisões exatas que estamos, sem alarido, a entregar a software.
No fim vais ter dois modelos mentais — dois nomes para os instintos que se batem dentro de ti — que mudam a forma como lês o teu próprio código. O caso do médico, a meio, é onde a confiança da maioria das pessoas colapsa; é também a parte mais útil.
Por que este enigma de seminário corre agora em produção
Sandel não inventou o dilema do trólei. A filósofa Philippa Foot esboçou a primeira versão em 1967, e Judith Jarvis Thomson afinou-a nos anos setenta. O que Sandel fez foi colocá-lo à frente de quase mil estudantes de licenciatura de Harvard num anfiteatro cheio e filmar o seu raciocínio a desmoronar-se em tempo real. Esse curso — Justice: What's the Right Thing to Do? — tornou-se uma das aulas universitárias mais vistas de sempre, e a Aula 1 chama-se "The Moral Side of Murder".
Durante a maior parte dessas décadas, o dilema manteve-se teórico. Uma forma engenhosa de fazer jovens de dezoito anos discutir. Ninguém estava efetivamente a construir uma máquina que tivesse de escolher.
Agora estamos.
Um carro autónomo a aproximar-se de uma colisão inevitável está a correr um dilema do trólei em milissegundos. Um algoritmo de triagem num hospital que decide que doente fica com a última cama de UCI está a correr um. O modelo de moderação de conteúdo que decide se remove uma publicação que pode ser uma ameaça — ou pode ser uma piada — está a correr um. E os agentes que construo para gerir infraestrutura, dinheiro e dados de clientes estão constantemente a correr versões mais pequenas dele, em código que eu escrevi, refletindo uma ética que posso não ter examinado.
Foi por isso que isto deixou de ser abstrato para mim. Escrevo hoje, para viver, a lógica de puxar a alavanca. Se colocas em produção qualquer coisa que age sem um humano no ciclo, também tu. (Escrevi uma peça inteira separada sobre porque é que sistemas construídos por IA continuam a precisar de supervisão humana — este é o piso filosófico por baixo desse argumento.)
Mas antes de conseguires codificar uma boa resposta, tens de reparar que as tuas intuições sobre estes casos contradizem-se planamente umas às outras. Deixa-me mostrar-te o que quero dizer.
O trólei clássico: puxarias a alavanca?
Imagina. Vais a conduzir um carro trólei a rugir pela linha a 100 quilómetros por hora. Cinco trabalhadores estão na linha à frente, ferramentas na mão, de costas. Carregas nos travões. Nada. A linha de travagem está morta.
À direita, uma linha secundária. Um trabalhador nela. A direção ainda funciona. Podes virar.
Vira, e uma pessoa morre em vez de cinco.
Quando Sandel pergunta a um anfiteatro cheio de pessoas, a esmagadora maioria diz para virar. Salva os cinco. A maioria de nós fá-lo-ia. A aritmética parece óbvia — uma morte é uma tragédia menor do que cinco, e se tens o volante nas mãos, serias um monstro se não o rodasses. Uma pequena minoria recusa, e alguns deles pressionam com força: no momento em que começas a justificar matar uma pessoa inocente pelo "bem maior", abriste a porta pela qual regimes totalitários já entraram para justificar horrores. Não é um jogo retórico barato. Segura essa ideia; volta mais à frente.
Mas para já, repara na manchete: a maioria das pessoas sacrificará uma para salvar cinco. Matar o único é a melhor escolha. Isto parece um princípio.
Vê com que rapidez o princípio morre.
O homem gordo na ponte: a mesma matemática, instinto oposto
O mesmo trólei desgovernado. Os mesmos cinco trabalhadores prestes a morrer. Mas agora não és tu o condutor — és um espetador em cima de uma passagem pedonal sobre a linha. Ao teu lado, debruçado sobre a balaustrada, está um homem muito grande.
Fazes as contas na cabeça. Se lhe deres um empurrão, ele cai na linha, o corpo dele para o trólei, e os cinco salvam-se. Ele morre. Não tens nada para atirar — tem de ser ele, e tem de ser com as tuas mãos.
Empurrá-lo-ias?
Quase ninguém diz que sim. As mesmas pessoas que há trinta segundos rodaram o volante com confiança não empurram o homem. E é aqui que o enigma se torna filosoficamente selvagem: a matemática é idêntica. Um morre, cinco vivem. Se sacrificar um para salvar cinco era certo na linha, porque é monstruoso na ponte?
É o momento em que o enigma ganha a sua reputação. Porque agora tens de explicar a diferença, e todas as explicações a que recorres são escorregadias.
"Na ponte, estaria a usá-lo — o corpo dele é a ferramenta." Está bem, mas na linha secundária, o trabalhador solitário não é também uma espécie de ferramenta? "Empurrar é tão direto, tão físico." O peso moral é mesmo uma função da proximidade das tuas mãos ao dano? "O homem gordo não fazia parte da situação — estava só ali." Mas também não fazia o trabalhador na linha secundária; estava só a fazer o seu trabalho num sítio que por acaso era seguro até tu redirecionares a morte para ele.
Toda a distinção a que te agarras dissolve-se um pouco quando a apertas. E, no entanto, a sensação visceral é firme como rocha: rodar o volante é permissível, empurrar o homem é homicídio. A tua intuição está certa sobre algo que a tua lógica não consegue defender.
Esse fosso — entre o que sentimos e o que conseguimos justificar — é o assunto todo. É também exatamente o fosso onde caio quando escrevo lógica de decisão e chamo a uma escolha moral um "padrão técnico".
Os casos do médico: onde a tua confiança se parte de vez
Sandel não fica por aqui, e eu também não, porque o par seguinte é onde o chão cede.
Caso um: és médico de urgências. Chegam seis doentes de um acidente. Um está gravemente ferido e vai levar todo o teu tempo e recursos para salvar. Os outros cinco têm ferimentos moderados — mas se gastares tudo com o único, os cinco morrem. Gasta o teu esforço com os cinco, e o único morre. A maioria das pessoas diz para salvar os cinco. A mesma lógica do trólei, e parece limpa.
Caso dois: és cirurgião de transplantes. Tens cinco doentes, cada um a morrer por falta de um órgão diferente — um precisa de um coração, um de um fígado, dois de rins, um de pulmões. Na sala ao lado, um homem perfeitamente saudável está a fazer um check-up de rotina, a dormitar. Os órgãos dele são compatíveis com os cinco.
Colhes os órgãos? Mata uma pessoa saudável, salva cinco moribundas.
Ninguém diz que sim. Em nenhum anfiteatro, em nenhuma sala em que alguma vez descrevi isto. A repulsa é total.
Mas — e Sandel deixa cair isto como um martelo — é outra vez a mesma aritmética. Uma vida por cinco. Se os números fossem a história toda, o cirurgião devia estar a afiar o bisturi. O facto de cada fibra tua gritar não diz-te que os números nunca foram a história toda. Há qualquer coisa em pegar numa pessoa inocente e usá-la puramente como meio para a sobrevivência de outrem que tratamos como categoricamente vedado, por muito boa que a matemática pareça.
Então o que somos? Somos pessoas que salvam cinco ao custo de um, ou pessoas que se recusam a sacrificar o inocente? A resposta honesta é que somos ambos, dependendo do caso, e na maior parte das vezes não conseguimos articular a regra que troca entre eles.
Os filósofos conseguem. Existem duas grandes famílias de raciocínio moral escondidas por baixo dos quatro cenários, e assim que consigas nomeá-las, vais vê-las em todo o lado — incluindo, apostava, na última funcionalidade que colocaste em produção.
Consequencialismo vs. categórico: os dois sistemas operativos da moralidade
Aqui estão os dois modelos mentais. Penso neles como dois sistemas operativos diferentes para tomar uma decisão.
O raciocínio consequencialista diz que a moralidade de um ato reside inteiramente nas suas consequências. Julga-se o resultado. Ganha o melhor. Antes cinco viverem e um morrer do que o inverso — conta os corpos, faz a subtração, escolhe o número mais pequeno. A alavanca, a linha secundária, a urgência com cinco doentes: todos veredictos consequencialistas. A forma mais conhecida disto é o utilitarismo, e o seu pai fundador é Jeremy Bentham, um filósofo inglês a escrever no final do século XVIII.
A tese de Bentham é quase agressivamente simples. "A natureza colocou a humanidade sob o governo de dois senhores soberanos, a dor e o prazer." A coisa certa a fazer, sempre, é o que maximiza o saldo de prazer sobre dor entre todos os afetados. Soma a felicidade, subtrai o sofrimento, escolhe a pontuação mais alta. O lema que já ouviste — o maior bem para o maior número — é a versão de autocolante. John Stuart Mill, o utilitarista maior seguinte, tentaria mais tarde torná-lo mais humano e menos uma calculadora de prazeres, mas o motor é o mesmo: o que conta são os resultados.
O raciocínio categórico diz que não. Certos atos são certos ou errados em si mesmos, independentemente das consequências. Alguns deveres e direitos são absolutos. Não podes assassinar uma pessoa inocente mesmo que a folha de cálculo diga que resulta em felicidade líquida positiva, porque o ato de assassinar um inocente é categoricamente errado, ponto. O espetador que não empurra o homem gordo, o cirurgião que não colhe o doente — é o raciocínio categórico a sobrepor-se à matemática. A sua figura maior é Immanuel Kant, o filósofo alemão, cuja regra central é que nunca deves tratar uma pessoa meramente como um meio para um fim. As pessoas não são matéria-prima para o resultado de outra.
Agora relê os quatro cenários com esses dois rótulos na mão. O condutor do trólei e o médico de triagem estão a deixar o consequencialismo conduzir. O espetador na ponte e o cirurgião de transplantes estão a deixar a regra categórica travar a fundo. A mesma pessoa, no mesmo dia, dois sistemas operativos diferentes — e a troca entre eles é a coisa que não conseguimos explicar mas sentimos com absoluta certeza.
Não é trivialidade. É a bifurcação para quem desenha decisões automatizadas. Quando escrevo a política de um agente, estou — quer o admita ou não — a escolher que sistema operativo corre. E esses dois sistemas dão respostas opostas nos casos que mais importam.
Se queres ver o quão mal os dois colidem quando vidas reais e consequências reais são empilhadas umas contra as outras, não há exemplo mais limpo do que um julgamento verdadeiro. O que me traz à parte disto que não consigo tirar da cabeça.
Queen v. Dudley and Stephens: quando o dilema do trólei foi a tribunal
Em 1884, o iate Mignonette afundou-se numa tempestade a cerca de 2600 quilómetros do Cabo da Boa Esperança. Quatro homens conseguiram chegar a um pequeno bote salva-vidas: o capitão, Tom Dudley; o imediato, Edwin Stephens; um marinheiro, Edmund Brooks; e o grumete, um jovem de dezassete anos chamado Richard Parker.
Tinham duas latas de nabos e nada de água doce. Durante cerca de dezanove dias andaram à deriva — a comer uma tartaruga que apanharam, a beber água da chuva quando ela vinha, e por fim a beber a própria urina quando não vinha. Parker, o mais novo, ignorou os avisos dos outros e bebeu água do mar. Adoeceu, escorregou para um coma, e ficou moribundo no fundo do bote.
Por volta do vigésimo dia, Dudley propôs em voz alta: deviam tirar à sorte. Um deles morreria para os outros poderem comer e viver. Brooks recusou tomar parte. Nunca se realizou nenhum sorteio. Em vez disso, Dudley — com a concordância de Stephens — decidiu. Disse uma oração, disse ao rapaz que tinha chegado a sua hora, e matou Richard Parker com um canivete. Os três homens sobreviventes alimentaram-se do corpo dele até um navio alemão de passagem, o Montezuma, os recolher e trazer para casa, a Falmouth, Inglaterra, a 6 de setembro de 1884.
E aqui está a parte que me gela sempre: Dudley não escondeu nada. Deu um relato completo e honesto às autoridades, aparentemente a assumir que qualquer pessoa razoável entenderia. Acreditava genuinamente que a necessidade tornava aquilo perdoável. Em vez disso, ele e Stephens foram julgados por homicídio.
(Uma nota de rodapé arrepiante, porque é verdadeira e demasiado estranha para saltar: quarenta e seis anos antes, Edgar Allan Poe publicou um romance em que marinheiros náufragos tiram à sorte e canibalizam um grumete chamado — Richard Parker. A vida imitou a ficção até ao nome. Faz com isso o que quiseres.)
A defesa e a acusação: ambos os argumentos são o dilema do trólei
Ouve como os dois lados argumentaram, porque já conheces os dois.
A defesa foi consequencialismo puro. Necessidade. Eram homens desesperados perante a morte certa. Parker estava a morrer de qualquer forma e não tinha dependentes, enquanto os outros tinham famílias. Ao agir, três vidas foram salvas ao custo de uma que estava quase esgotada. Antes três viverem do que quatro morrerem. Se rodaste o volante do trólei, já aceitas a forma deste argumento. A defesa estava, em essência, a pedir ao tribunal que contasse os corpos.
A acusação foi Kant puro. Homicídio é homicídio. Não podes nomear-te árbitro de quem vive e quem morre, por mais tétricas que sejam as circunstâncias. O rapaz era um ser humano inocente, não um recurso a ser consumido quando a matemática se torna sombria. Matá-lo era usá-lo meramente como um meio — a linha exata que Kant disse que nunca podes atravessar. O desespero explica o ato; não o justifica.
O tribunal ficou do lado da acusação. Dudley e Stephens foram condenados por homicídio. Os juízes recusaram, celebremente, deixar a necessidade tornar-se "uma capa legal para paixão desenfreada e crime atroz" — porque uma vez que permites matar o inocente quando os números o favorecem, onde é que exatamente vai a linha? Foram condenados à morte, embora a sentença tenha sido quase imediatamente comutada para seis meses de prisão. A lei tinha traçado uma fronteira categórica: há coisas que não podes fazer a uma pessoa inocente, mesmo para salvar mais gente, mesmo para te salvares a ti próprio.
Essa decisão continua a ser citada nos tribunais de common law quase um século e meio depois. Um punhado de homens esfomeados num bote salva-vidas escreveu por acidente uma das linhas mais firmes do direito ocidental sobre o que as consequências podem e não podem comprar.
É também aqui que quero abrandar, porque há uma nuance que penso importar mais do que o veredicto — e é a que mais releva para a IA.
O consentimento muda tudo?
Sandel pressiona os alunos numa questão que reorganizou a forma como penso em toda a decisão automatizada: e se Parker tivesse concordado?
Suponhamos que os quatro homens tinham tirado à sorte, todos a consentir no procedimento com antecedência, e Parker tinha tirado a palha mais curta. Ou suponhamos que, antes de adoecer, Parker tinha dito: se chegar a esse ponto, levem-me a mim. Seria então o homicídio permissível?
Muitas das intuições das pessoas invertem-se aqui. Com um sorteio justo com que todos concordaram, o ato deixa de parecer um homicídio e começa a parecer um contrato trágico. O consentimento parece lavar a maldade. O homem na ponte torna-se monstruoso porque nunca concordou em ser um travão; um soldado que se voluntaria para uma missão suicida é honrado, não vingado. Portanto, talvez o ingrediente mágico não seja de todo a contagem dos corpos — é o acordo.
Mas aperta isso também, e vaza. O silêncio de Brooks foi consentimento, ou coerção pelas circunstâncias? O consentimento dado sob a ameaça de fome pode alguma vez ser livre, ou é apenas desespero vestido com a fantasia da escolha? E há uma versão mais sombria: se um sorteio é legítimo, o que impede os fortes de fazerem "sorteios" que sempre parecem cair sobre os fracos? A justiça processual pode ser uma melhoria moral genuína — ou uma fina camada de tinta sobre a mesma velha dominação.
Fiquei sentado com isso durante muito tempo, porque o consentimento é exatamente a alavanca que puxamos no software para tornar aceitáveis coisas difíceis. Os termos de serviço que não leste. A caixa "Concordo" antes de o algoritmo decidir o teu empréstimo, o teu feed, a tua taxa de seguro. Apoiamo-nos no consentimento para transformar um ato que de outra forma acharíamos inaceitável num que deixamos passar. O bote salva-vidas de Sandel está a colocar a pergunta que toda a equipa de produto devia colocar: isto é autonomia real, ou é consentimento arrancado em condições em que ninguém podia recusar de forma significativa?
Não tenho uma resposta fechada. Nem o anfiteatro tinha. Mas reparar na pergunta é a questão toda.
O que isto significa efetivamente para o código que colocamos em produção
Aqui é onde aterro depois de deixar tudo isto a saltar dentro de mim durante semanas, e onde acho que ganha um lugar num blogue essencialmente sobre construir com IA.
Todo o sistema autónomo codifica um sistema operativo moral, quer os seus construtores tenham escolhido um de propósito ou não. Quando escreves "minimizar os erros totais" como função objetivo, é Bentham de bata — consequencialismo, a otimizar o agregado, disposto a aceitar que uns quantos indivíduos sejam esmagados para que a média melhore. Quando fixas em código "nunca expor os dados privados de um utilizador, mesmo que melhore o modelo para toda a gente", é Kant — uma regra categórica que se recusa a tratar o indivíduo como matéria-prima para o bem coletivo.
A maior parte dos sistemas de ML tem por defeito o consequencialismo, porque a otimização é consequencialismo. Escolhes uma métrica e maximizas. Todo o campo é um cálculo de contagem de corpos vestido de álgebra linear. E muitas vezes está bem — para o ranking de anúncios, para o encaminhamento, para a compressão. Ninguém precisa de Kant para ordenar uma fila.
Mas o dilema do trólei é a etiqueta de aviso. No momento em que o teu sistema toca em vidas, liberdade, dinheiro ou dignidade, a otimização pura começa a empurrar em silêncio homens gordos das pontes, e vai fazê-lo com uma consciência tranquila porque a função de perda desceu. A razão pela qual construímos guardas, comportamentos de recusa e restrições rígidas em agentes de IA é porque decidimos — corretamente — que alguns atos devem estar categoricamente fora da mesa por mais bem que pontuassem. Não é uma decisão técnica. É Kant a sobrepor-se a Bentham, implementado num ficheiro de configuração.
Concretamente, esta é a diferença entre duas linhas na mesma base de código. if fraud_score > 0.9: auto_decline é uma aposta consequencialista pura — estás a aceitar uma taxa conhecida de falsos positivos (pessoas reais erradamente bloqueadas) porque a perda agregada é menor. Acrescenta unless account.is_flagged_vulnerable: require_human_review e acabaste de instalar uma regra categórica que diz esta classe de pessoa não é transacionável contra a média, ponto. Ambas são um condicional. Só uma delas foi escolhida de propósito. Esse fosso — uma regra que existe versus uma regra que consegues defender — é onde vive a maioria das falhas éticas que já vi.
Isto conecta-se com um padrão em que continuo a esbarrar em problemas muito diferentes. Quando escrevi sobre a armadilha dos despedimentos da IA e a sua lógica de dilema do prisioneiro, a falha era um cálculo consequencialista puro — cada empresa a otimizar os seus próprios números — a produzir um resultado coletivamente catastrófico. Quando cobri o debate sobre os zero-days descobertos por IA, toda a luta era entre defensores consequencialistas ("mais segurança no total") e uma objeção categórica ("não entreguem uma arma ao mundo"). Não tinha então o vocabulário para ver que eram o mesmo argumento com roupagens diferentes. Tenho agora. É essa a transformação que espero passar-te.
Se tiras uma coisa prática de tudo isto, que seja este hábito: quando escreves uma regra que decide algo por um humano, para e pergunta que sistema operativo acabaste de instalar. Estás a contar corpos, ou a honrar uma fronteira? Não há resposta universalmente certa. Mas há um mundo de diferença entre escolher de propósito e sonambular para uma postura moral porque o otimizador era mais fácil de escrever.
A única jogada que nunca é permitida: fingir que a pergunta não está aí
Há uma saída tentadora para tudo isto. A saída do cético. Estes problemas não podem realmente ser resolvidos. A moral é apenas preferência pessoal. Quem sou eu para dizer? Ouvi engenheiros a agarrarem-na assim que uma discussão fica desconfortável, e eu próprio já a agarrei.
Sandel pede emprestada a resposta de Kant, e é a coisa mais afiada da aula. O ceticismo, escreveu Kant, é "um lugar de descanso para a razão humana" — algures para pausar e observar a dificuldade. Mas não é "um lugar para permanência". É-te permitido descansar ali. Não te é permitido viver ali. Deitar as mãos ao ar e declarar que tudo é irrespondível não é humildade. É uma evasão — uma forma de evitar o trabalho de raciocinar efetivamente sobre aquilo em que acreditas e porquê.
Para quem constrói sistemas que decidem coisas por outras pessoas, a saída do cético não é apenas preguiçosa. É negligente. O código é colocado em produção na mesma. O agente age na mesma. "Quem sou eu para dizer?" não trava o trólei; significa apenas que rodaste o volante de olhos fechados.
Perguntas Frequentes
O que é o dilema do trólei em termos simples?
O dilema do trólei é uma experiência de pensamento em que um trólei desgovernado vai matar cinco pessoas a menos que o desvies para uma linha onde mata uma. Força uma escolha entre causar ativamente uma morte para evitar cinco, expondo o conflito entre julgar as ações pelos seus resultados e julgá-las por regras morais absolutas. Para o detalhe completo e as suas variações, vê os cenários acima.
Qual é a diferença entre consequencialismo e raciocínio categórico?
O consequencialismo julga um ato inteiramente pelas suas consequências — o melhor resultado é o moral, como no "maior bem para o maior número" do utilitarismo. O raciocínio categórico sustenta que alguns atos são certos ou errados em si mesmos independentemente do resultado, como a regra de Kant de que nunca deves usar uma pessoa meramente como meio.
Porque é que as pessoas não empurram o homem gordo se puxariam a alavanca?
Ambas as escolhas sacrificam uma vida para salvar cinco, mas puxar a alavanca parece redirecionar uma ameaça existente, enquanto empurrar o homem parece usá-lo diretamente como ferramenta para a travar. Esse fosso entre matemática idêntica e intuições opostas é exatamente o que o dilema do trólei foi desenhado para expor — vê os casos do médico acima para a versão mais afiada.
Como se aplica o dilema do trólei à ética da IA?
Qualquer sistema de IA que aja sem um humano no ciclo — carros autónomos, algoritmos de triagem, agentes autónomos — tem de resolver trade-offs ao estilo do trólei em código. Otimizar uma métrica é consequencialista por defeito, enquanto guardas e recusas rígidas são regras categóricas, portanto os construtores estão a codificar uma postura moral quer o percebam ou não.
O que aconteceu em Queen v. Dudley and Stephens?
Em 1884, os marinheiros náufragos Tom Dudley e Edwin Stephens mataram e comeram o grumete moribundo Richard Parker para sobreviverem, e foram depois julgados por homicídio. O tribunal inglês rejeitou a defesa de "necessidade", estabelecendo que a necessidade não é defesa para o homicídio e que matar uma pessoa inocente não se justifica por salvar mais vidas.
Já estás a puxar alavancas
Volta à minha política de retentativas — o código aborrecido com que abri. Escolhi os noventa e nove mil registos em vez do único utilizador. Bentham teria acenado com a cabeça. Mas tomei essa decisão sem alguma vez perguntar se havia uma linha categórica que não devia atravessar, se o único utilizador tinha um direito que o agregado não podia comprar, se o "consentimento" enterrado num termos-de-serviço que ninguém lê estava a fazer trabalho moral real ou apenas a cobrir-me.
É essa a mudança com que te quero deixar. O dilema do trólei nunca foi realmente sobre tróleis. É sobre o facto de não conseguires agir no mundo — nem escrever software que age no mundo — sem tomares uma posição moral, e a única escolha real é se a tomas conscientemente ou por acidente.
Por isso aqui vai o teu desafio para as próximas vinte e quatro horas. Abre a última coisa que construíste que toma uma decisão sobre uma pessoa — um ranking, um limiar, um filtro, uma ação automatizada. Encontra a linha onde ela escolhe. E faz-te uma pergunta: contei corpos, ou honrei uma fronteira — e conseguiria defendê-lo à pessoa do outro lado dessa decisão?
Se consegues responder a isso, já estás a fazer o trabalho que Sandel tentava provocar. Se não consegues, acabaste de encontrar a revisão de código mais importante que vais fazer este ano.
Construir agentes que decidem com responsabilidade
A maior parte do meu trabalho é agora escrever exatamente a lógica de puxar alavancas de que esta peça trata — políticas de retentativa, limiares de moderação, guardas de agentes — e decidir de propósito que sistema operativo moral corre dentro de cada uma. Se estás a colocar em produção um sistema de IA que age sobre pessoas reais e queres que essas fronteiras sejam escolhidas deliberadamente em vez de herdadas por acidente do otimizador, aceito um pequeno número de projetos através do meu perfil no Fiverr. Traz-me a decisão difícil; codificamo-la de olhos abertos.
