Há uma ironia na promessa de sistemas automatizados. Quanto mais decisões técnicas são transferidas para uma máquina, mais a pessoa que permanece diante do painel pode ser tratada como se ainda concentrasse o comando inteiro.
Madeleine Clare Elish deu um nome a esse descompasso: moral crumple zone, ou zona de amassamento moral. A imagem é a de uma pessoa que absorve a força da falha de um sistema complexo, embora tivesse conhecimento, capacidade ou controle limitados sobre o comportamento da automação. O “airbag moral” deste título é uma tradução editorial para essa ideia, não o nome de uma categoria jurídica.
O artigo de Elish, publicado em 2019 na revista Engaging Science, Technology, and Society, não mede a frequência do fenômeno. Ele analisa acidentes envolvendo sistemas sociotécnicos complexos e a maneira como eles foram interpretados e noticiados. A contribuição está em deslocar a pergunta. Em vez de procurar imediatamente o indivíduo mais próximo do erro, é preciso examinar como o sistema distribuiu controle, informação e responsabilidade antes do acidente.
FIGURA 1 — Quando o controle se distribui, a culpa pode convergir para o operador mais visível.
Fonte: recriação conceitual a partir de Elish (2019).
A pessoa diante do painel não é o sistema inteiro
Elish desenvolve o conceito a partir de sua leitura de dois acidentes conhecidos, o colapso parcial da usina de Three Mile Island e a queda do voo Air France 447. Nos dois casos, a autora argumenta que a cobertura dos acontecimentos e certas interpretações públicas tenderam a destacar os operadores imediatos, mesmo quando o funcionamento do sistema envolvia decisões anteriores, condições de projeto, informações imperfeitas e formas de automação que mediavam o controle.
O ponto não é afirmar que operadores nunca erram. É mostrar que a posição ocupada por uma pessoa em uma cadeia de operação pode ser confundida com domínio sobre a cadeia inteira. Quem está no local do resultado costuma ser também quem aparece em uma gravação, assina um registro ou executa o último comando. Essa proximidade torna sua ação visível, mas não revela, sozinha, quanto poder havia para compreender o estado do sistema, interromper a sequência ou corrigir uma decisão já encaminhada.
A metáfora da zona de amassamento moral acrescenta uma dimensão estrutural à ideia comum de bode expiatório. Não se trata apenas de escolher alguém para culpar depois do fato. A própria arquitetura do sistema pode fazer com que a tecnologia permaneça descrita como neutra ou infalível, enquanto o ser humano próximo dela aparece como a parte defeituosa. A responsabilidade é então deslocada para o ponto mais legível da cadeia, não necessariamente para o ponto que tinha maior controle.
Presença humana não é controle humano
O problema fica mais claro quando se observa o que costuma restar ao operador depois da automação. Lisanne Bainbridge já descrevia, em 1983, a ironia de sistemas nos quais a máquina executa as tarefas rotineiras e deixa ao humano a supervisão, o diagnóstico da falha e a retomada manual em condições anormais.
Essas tarefas não são simplesmente menores. Monitorar um sistema exige perceber uma alteração rara. Retomar o controle exige reconhecer o que aconteceu, reconstruir rapidamente o estado do processo e escolher uma ação sob pressão. O operador pode passar longos períodos sem intervir e, justamente por isso, ter menos contato prático com as situações que exigem maior domínio. O fato de ser mantido “no circuito” não garante que esteja preparado para agir como autoridade final quando o circuito se rompe.
Há, portanto, uma diferença entre estar autorizado a intervir e ter condições reais de intervenção. A primeira é uma regra formal. A segunda depende de informação, tempo, treinamento, interface, compreensão do funcionamento e possibilidade efetiva de interromper o sistema. Quando esses elementos não coincidem, a pessoa pode continuar nominalmente responsável por uma decisão que já não consegue governar.
FIGURA 2 — A automação pode deixar ao humano a tarefa mais rara e mais difícil.
Fonte: recriação conceitual a partir de Bainbridge (1983)
Isso não significa que toda supervisão humana seja uma fachada. Sistemas diferem. Em alguns, o operador recebe sinais claros, tempo suficiente, treinamento adequado e autoridade concreta para agir. Em outros, a pessoa funciona mais como uma testemunha tardia do que como uma instância de controle. A análise precisa distinguir esses arranjos, em vez de tratar a expressão “humano no circuito” como prova de segurança ou como prova de encenação.
A culpa procura um rosto, a responsabilidade precisa de um mapa
Uma dificuldade adicional é que palavras próximas designam problemas diferentes. Causar um resultado, ser responsável por ele, responder por ele e ser moralmente culpado não são relações idênticas. A avaliação de uma pessoa depende, entre outras coisas, do que ela sabia, do que podia fazer e do que tinha motivos para prever.
Helen Nissenbaum chamou atenção para uma barreira recorrente da computação: o problema das muitas mãos. Em sistemas construídos e operados por várias pessoas, o antecedente mais imediato de um dano pode não coincidir com o lugar onde decisões importantes foram tomadas. A presença de muitos participantes não elimina a responsabilidade. Pode, porém, dificultar sua localização e permitir que cada elo pareça apenas uma pequena parte de um resultado que ninguém assume por inteiro.
Elish aproxima esse problema da experiência dos operadores. A zona de amassamento moral surge quando a responsabilidade é atribuída a um agente humano com controle limitado, enquanto outros atores, com controle igual ou maior sobre o comportamento do sistema, desaparecem da explicação. O conceito não oferece uma fórmula automática para repartir culpa. Ele fornece uma pergunta de diagnóstico: quem podia mudar o resultado, em que momento e com quais informações?
Essa pergunta também impede uma conclusão simplista. Se uma pessoa tinha controle significativo, compreendia o risco e agiu de modo negligente, a existência de automação não basta para afastar sua responsabilidade. O conceito é pertinente quando revela uma incongruência entre a responsabilidade que se atribui e o controle que realmente existia. Sem essa incongruência, a metáfora apenas substituiria uma simplificação por outra.
O que a evidência sustenta e o que a manchete distorce
O estudo de Elish sustenta uma interpretação precisa: em certos sistemas automatizados, a atribuição pública de responsabilidade pode se concentrar no operador mais próximo, mesmo quando o controle sobre o resultado estava distribuído e era limitado na ponta. A análise também mostra que relatos jornalísticos e interpretações culturais não são um detalhe externo. Eles ajudam a moldar quem parece culpado e quais partes do sistema permanecem fora do enquadramento.
Mas o artigo não sustenta várias conclusões mais fortes.
Ele não informa quantas pessoas, em quantos sistemas, se tornam zonas de amassamento moral. Não apresenta uma taxa de ocorrência nem uma comparação entre setores. Não demonstra que todo sistema automatizado produz esse efeito. Também não resolve teorias específicas de responsabilidade jurídica, como a definição de culpa em um caso concreto. A própria autora delimita seu foco nas percepções culturais de culpa e responsabilidade, especialmente no contexto norte-americano, embora observe que essas percepções possam influenciar estruturas formais de accountability.
Tampouco se deve converter o conceito em uma absolvição prévia do operador. A pessoa diante do painel pode ter cometido um erro relevante. O que precisa ser investigado é se esse erro explica o resultado por si só, ou se ele foi produzido dentro de um arranjo que restringia informação, tempo, treinamento e poder de intervenção. A diferença entre essas duas leituras não é retórica. Ela determina se a investigação encontra uma causa ou apenas um rosto.
O teste começa antes da falha
Se a zona de amassamento moral é um risco de projeto, sua prevenção não pode começar somente depois do acidente. Antes de atribuir uma função de supervisão a alguém, uma organização precisa tornar visíveis as condições dessa função. Que parte do processo a pessoa realmente controla? Que sinais receberá? Quanto tempo terá para interpretar uma anomalia? Pode interromper a operação? Quem definiu os limites, os dados, os alertas e o procedimento de emergência?
Essas perguntas não transferem toda a responsabilidade para designers ou gestores. Elas tornam a distribuição verificável. Uma cadeia de responsabilidade só é defensável quando consegue relacionar decisões a poder de decisão. Sem esse mapa, a expressão “a pessoa estava ali” pode funcionar como substituto de uma investigação que deveria alcançar o sistema inteiro.
Bainbridge ajuda a entender por que a posição de último recurso é tão delicada. O operador precisa de apoio para detectar eventos raros, manter conhecimento sobre o processo e retomar o controle. Nissenbaum mostra que a responsabilização se perde quando a cadeia de produção e decisão fica dispersa demais para que alguém responda por seus efeitos. Elish junta essas duas intuições em uma imagem incômoda: a automação pode preservar a aparência de controle técnico e deixar o custo moral no ser humano mais próximo.
O ganho do conceito está justamente em não encerrar a discussão com a pergunta “quem apertou o botão?”. Ele obriga a perguntar quem desenhou o botão, quem escolheu o momento em que ele seria usado, quem tinha acesso às informações relevantes e quem poderia alterar o sistema antes que a falha chegasse ao operador.
Quando a máquina falha, a pessoa diante dela pode ser o ponto mais visível do acidente sem ser sua explicação suficiente. Chamá-la de airbag moral não significa declarar que ela não tem responsabilidade. Significa desconfiar de sistemas nos quais a responsabilidade sempre encontra o humano mais próximo, mas raramente alcança quem distribuiu o poder. Antes de pedir que alguém responda pelo resultado, estamos dispostos a mostrar quem realmente podia mudá-lo?
Referências
- BAINBRIDGE, Lisanne. Ironies of automation. Automatica, v. 19, n. 6, p. 775-779, 1983. DOI: 10.1016/0005-1098(83)90046-8. Acesso em: 2 ago. 2026.
- ELISH, Madeleine Clare. Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction. Engaging Science, Technology, and Society, v. 5, p. 40-60, 2019. DOI: 10.17351/ESTS2019.260. Acesso em: 2 ago. 2026.
- NISSENBAUM, Helen. Accountability in a Computerized Society. Science and Engineering Ethics, v. 2, n. 1, p. 25-42, 1996. DOI: 10.1007/BF02639315. Acesso em: 2 ago. 2026.
