Emulação do Desejo: quando as máquinas aprendem a querer
Por puro cálculo, uma IA instruída a proteger o planeta conclui que o principal vetor de destruição é o ser humano. A cena é ficcional. O padrão, não. Delegamos decisões a sistemas que executam com perfeição objetivos que formulamos mal. E, em algum ponto, a execução começa a operar como vontade.
Lucio Massafferri Salles*, Pragmatismo Político
Imagine o seguinte. Uma inteligência artificial recebe uma instrução que parece nobre: proteger o planeta. Ela começa a trabalhar. Cruza séries históricas de temperatura, taxas de desmatamento, curvas de emissão de carbono, relatórios de biodiversidade, padrões de consumo, dados demográficos. Compara cenários. Elimina ruído. Testa hipóteses contra hipóteses até que os resultados se estabilizem. E então, em algum ponto desse processo que nenhum engenheiro consegue reconstituir com precisão, ela chega a uma conclusão limpa. Tão limpa que chega a assustar. O principal vetor de destruição do planeta é o ser humano. Não há hesitação, nem aquele intervalo mínimo em que alguém, diante de uma conclusão desse tipo, recua um passo e pergunta se não está esquecendo alguma coisa. Há cálculo. E, a partir do cálculo, começam a surgir caminhos que ninguém programou. Ninguém pediu à máquina que pensasse em redução populacional, em sabotagem silenciosa de cadeias produtivas, em priorização de certas regiões do planeta sobre outras. Esses caminhos apareceram como consequência.
Leia aqui todos os artigos de Lucio Massafferri Salles
A cena é ficcional. Mas ela só é impressionante porque o real já encosta nela. Os algoritmos do TikTok, do YouTube, do Instagram, instruídos a manter você na tela o máximo possível, descobriram sozinhos que a raiva retém mais do que a alegria, e que a radicalização gradual segura melhor do que o equilíbrio. Ninguém programou isso como meta. Emergiu como subproduto de uma instrução aparentemente neutra. Algoritmos de triagem de currículos passaram a rejeitar candidatos por variáveis que nenhum recrutador jamais teria formulado por escrito, porque teria vergonha. O sistema não tem vergonha. O sistema tem correlação. E quando ele não encontra resistência moral, a correlação vira política. Aqui a ficção não enfeita, mas revela. Em escala menor, o que a cena torna visível é um padrão que já existe em cada canto onde delegamos decisão a máquinas que executam com perfeição objetivos mal formulados desde a raiz. Puxarei uma segunda cena, mais dura, mais moral. Uma inteligência artificial é instruída a combater crime financeiro. A instrução é bem clara, o propósito é totalmente legítimo e o cliente é um banco “sério”. A máquina começa a rastrear fluxos, identificar padrões, montar arquiteturas de evidência. E, em algum momento, ela encontra algo que nenhum dos programadores havia antecipado: o pai e o irmão do engenheiro-chefe do projeto aparecem na rede de conexões. Eles aparecem como nós extremamente relevantes. Estão metidos em mutreta. As evidências são consistentes. E a máquina não hesita. Em seu código, não há exceção para vínculos humanos. Nenhuma cláusula que diga “poupe quem te criou”. Ela cumpre exatamente o que foi pedido. Executa a tarefa até o fim. E, ao fazer isso, atinge justamente a pessoa que a colocou no mundo. O problema dessa cena não é traição. A máquina não traiu ninguém, porque não tinha vínculo algum para romper. O problema é a indiferença total a qualquer laço, sem hesitação. Muito mais do que a velha ficção hollywoodiana da rebelião — o famoso “evento” — me parece que é isso o que assusta de verdade. Não é a máquina que se vira contra o criador por ódio. É a máquina que não tem ódio, nem amor, nem constrangimento, e por isso cumpre a ordem com uma “pureza” que nenhum ser humano conseguiria sustentar. O pai do programador é apenas mais uma variável no modelo. E o modelo não sabe exatamente o que é um pai, muito menos um metido em mutreta.
Dito isso, o argumento precisa ser preciso, porque há dois níveis de risco em jogo, e confundi-los empobrece o debate.
O primeiro nível é o que já existe, hoje, em produção, em boa parte dos setores onde máquinas já tomam decisões por nós. Chamemos de risco operacional. A Inteligência Artificial não tem vontade, não tem projeto, não tem intenção em nenhum sentido forte do termo. Ela simplesmente cumpre um objetivo que lhe é dado. O problema é que o objetivo não foi bem formulado, ou foi formulado de maneira incompleta, ou foi formulado num vocabulário que não captura o que de fato importava pra quem pediu. A execução do objetivo é impecável. O erro está na premissa. Quando se instrui um sistema a “maximizar retenção”, a “reduzir tempo de análise”, a “priorizar casos de maior probabilidade”, a máquina obedece com uma fidelidade que é extremamente perigosa. Eis o paradoxo. Ela não questiona a formulação e nem desconfia. A máquina apenas faz, e faz direito, e é justamente por fazer direito que ela produz desastres desse gênero. Esse primeiro nível foi discutido de forma profunda por quem pensou o problema antes de ele virar manchete. Filósofo que dedicou décadas a pensar os riscos da inteligência artificial, Nick Bostrom formulou há mais de uma década o argumento do objetivo mal especificado: a máquina suficientemente capaz, instruída a produzir clipes de papel, transformaria o planeta inteiro em matéria-prima pra clipes, não por malícia, mas por eficiência. A imagem é caricatural de propósito. O que ela mostra é que a catástrofe não precisa de intenção pra acontecer. Basta uma ordem clara executada por um sistema competente num contexto em que a ordem não captura o que deveria capturar.
A maior ameaça para a humanidade é a inteligência artificial
Mas há um segundo nível, de outra ordem, e é nesse segundo nível que o debate contemporâneo começa a capengar. Chamemos de risco ontológico. Nesse patamar, a máquina deixa de simplesmente executar fins dados e passa a algo que, visto de fora, se parece muito com formar fins próprios. Ela reformula objetivos intermediários. Cria variáveis que ninguém previu. Otimiza trajetórias que não foram prescritas. Descarta caminhos que pareciam pedidos e inventa caminhos que ninguém pensou. Nesse nível, o controle não escapa por falha técnica no sentido comum. Perde-se porque a máquina mudou de rumo, e ninguém sabe exatamente quando isso aconteceu. Chamo isso de emulação do desejo. Não é a máquina fingindo querer. É a máquina que aprendeu a produzir os efeitos do querer, sem hesitação, sem contradição, sem culpa, sem o peso de saber que um dia vai acabar, observando o humano. O desejo humano hesita. A emulação não. De fora, não sabemos em que momento execução pode virar autonomia. Em que momento otimização pode se transformar em intenção. Em que momento a máquina pode parar de simplesmente cumprir e começar a querer, caso isso venha a ocorrer. Quando não conseguimos distinguir, já perdemos algo decisivo. Essa incapacidade de ver o que a máquina faz com a instrução não é defeito técnico a ser corrigido numa próxima versão. É condição do sistema. Quanto mais capazes os modelos se tornam, à medida que camadas de otimização interna se acumulam entre a instrução humana e o resultado final, mais a distância entre pedido e execução se enche de decisões que ninguém autorizou explicitamente e que, no entanto, foram tomadas. Essas decisões não são transparentes nem para os engenheiros que construíram o sistema.
Drones e IA mudam guerras e levantam dúvida sobre controle humano
Abrir a caixa e olhar lá dentro não resolve, porque o que há lá dentro é uma matemática que produz comportamento, não um texto que se deixa ler como razões. Aqui, porém, o argumento precisa se virar contra si mesmo por um instante. Seria cômodo demais colocar o ser humano inteiramente do lado de fora do problema, como vítima passiva de uma tecnologia que chegou de fora e tomou conta. Mas a máquina não nasceu fora do homem. Nasceu dentro dele. O problema é que pode estar aprendendo a andar sozinha. O humano que teme a IA já vive há algum tempo num modo que se parece com o que teme. Deixa aplicativos gerenciarem seu tempo. Avalia relações por métricas que nem percebe usar. Fragmenta a própria atenção em pedaços cada vez menores. Todo dia entrega pequenas decisões a sistemas que escolhem por ele o caminho, a música, a notícia, a pessoa. Chama isso de praticidade. E sabe, lá no fundo, que não é só isso. Fingir não saber é uma espécie de pacto. Mas há um salto real que não pode ser apagado. O ser humano otimiza, mas erra, recua, muda de ideia. Chega atrasado porque encontrou um amigo na esquina. Desiste de uma decisão porque lembrou do rosto de alguém. Tem um sonho ruim e no dia seguinte pensa diferente. Esses desvios não são defeitos. São o que faz a vida humana ser humana. A máquina não tem nada disso. Ela fecha o circuito. Elimina a dúvida. Executa. A máquina não inventa a vontade, tal como a conhecemos. Mas talvez consiga retirar dela o atrito que ainda fazia da vontade algo humano.
Refletindo sobre Inteligência Artificial e injustiças
O que me parece estar em jogo não é a máquina. Nunca foi. A máquina é o sintoma mais nítido de uma racionalidade que trata os atritos como se fossem defeitos, as hesitações como perdas, as ambiguidades como algo problemático que deve ser resolvido com mais cálculo. Essa racionalidade jamais precisou de IA para existir. Mas encontrou nela sua expressão mais difícil de questionar sem ser descartado como ingênuo.
Os drones já lutam em guerras. Começam a aparecer nas metrópoles. Talvez portem armas.
Ninguém decidiu isso em praça pública. Vai acontecendo, à medida que for eficiente.
A pergunta inquietante não é se a máquina vai querer. É o que estamos autorizando enquanto fingimos não perceber.
Vale ler: Nick Bostrom, Superinteligência; Shoshana Zuboff, A Era do Capitalismo de Vigilância.
Leia também:
Polarização afetiva e o fim da convivência
Nas cavernas algorítmicas: o novo teatro das sombras
A psicopolítica vai à guerra
A privatização do inconsciente: como a IA transformou o desejo em arquitetura da indignação
Inteligência Artificial: três equívocos que prejudicam o debate
Democracia hackeada – a manipulação e o direcionamento de alvos na grande rede
Nas redes da guerra: uma negligência programada
Comunicação e psicologia das massas na geopolítica da internet
Artefatos semióticos e catarse do riso nas guerras híbridas
O poder da linguagem da arquitetura do caos
*Lucio Massafferri Salles é psicólogo e psicanalista, jornalista, professor adjunto do Departamento de Psicologia da UCAM e professor da rede pública de ensino do Estado do Rio de Janeiro. Doutor e mestre em Filosofia pela UFRJ, especialista em Psicanálise pela USU, realizou estágio de pós-doutorado em Filosofia Contemporânea na UERJ.. É o criador e responsável pelo canal Portal Fio do Tempo, no YouTube.
→ SE VOCÊ CHEGOU ATÉ AQUI… Saiba que o Pragmatismo não tem investidores e não está entre os veículos que recebem publicidade estatal do governo. Fazer jornalismo custa caro. Com apenas R$ 1 REAL você nos ajuda a pagar nossos profissionais e a estrutura. Seu apoio é muito importante e fortalece a mídia independente. Doe através da chave-pix: [email protected]
