Quem Decide na Era da IA

A autonomia raramente desaparece de uma só vez. Na vida digital, talvez seja mais importante observar como o ambiente no qual escolhemos é organizado antes mesmo de tomarmos uma decisão.

Esse é o problema central de Quanto das Nossas Escolhas Ainda são Nossas? . O livro examina sistemas de recomendação, personalização e assistência algorítmica não como mecanismos que simplesmente retiram a liberdade das pessoas, mas como tecnologias capazes de modificar silenciosamente o conjunto de possibilidades que chega até elas.

Essa distinção é essencial. Há uma diferença entre obrigar alguém a assistir a um vídeo e decidir quais vídeos aparecerão primeiro; entre determinar uma compra e organizar os produtos que receberão maior visibilidade; entre impor uma resposta e selecionar quais informações serão apresentadas como mais relevantes. Em todos esses casos, a decisão final pode continuar formalmente nas mãos do indivíduo, enquanto o ambiente da decisão já foi profundamente organizado por terceiros.

Os sistemas contemporâneos conseguem fazer isso porque a interação digital deixa rastros. Pesquisas, cliques, conteúdos ignorados, tempo de atenção, histórico de consumo e diferentes formas de interação podem ser transformados em sinais sobre interesses e comportamentos. A partir deles, sistemas de personalização tentam prever aquilo que terá maior probabilidade de despertar atenção ou gerar uma determinada ação.

A conveniência desse processo é evidente. Diante de uma quantidade quase ilimitada de informação, algum tipo de seleção é necessário. Recomendações podem ajudar pessoas a encontrar conteúdos relevantes, descobrir produtos adequados ou navegar por ambientes que seriam impossíveis de examinar integralmente.

O problema aparece quando a personalização deixa de ser percebida como uma mediação e passa a ser confundida com uma representação neutra da realidade. O que aparece na tela não corresponde simplesmente ao que existe: corresponde ao que um sistema decidiu selecionar a partir de determinados critérios.

Surge então uma questão mais profunda sobre autonomia. Escolher livremente não significa apenas poder clicar em uma alternativa. Também envolve ter acesso a possibilidades suficientemente diversas para formar preferências, reconsiderar hábitos e encontrar aquilo que ainda não sabíamos procurar.

Esse problema ganha nova intensidade com assistentes conversacionais. Diferentemente de mecanismos tradicionais de recomendação, uma interface capaz de dialogar pode aconselhar, explicar, sintetizar alternativas e adaptar sua linguagem ao contexto do usuário. A relação deixa de parecer apenas uma interação com um catálogo e se aproxima da experiência de consultar uma fonte aparentemente atenta às necessidades individuais.

Por isso, o livro conduz a uma distinção importante: assistência e influência não são necessariamente opostas. Uma tecnologia pode ajudar genuinamente alguém e, ao mesmo tempo, participar da formação do campo dentro do qual essa pessoa decide. A pergunta relevante não é simplesmente se ainda temos liberdade, mas se conseguimos reconhecer as forças que organizam nossas opções.

Nesse sentido, preservar autonomia na era algorítmica exige algo mais sofisticado do que rejeitar recomendações. Exige compreender como elas são produzidas, quais objetivos orientam sua seleção e até que ponto nossas preferências presentes estão determinando aquilo que teremos oportunidade de descobrir no futuro.

Se o primeiro volume pergunta como sistemas inteligentes participam das escolhas, De Quem é a Responsabilidade? examina o problema que surge quando essa participação produz consequências negativas.

A expressão “a máquina decidiu” parece oferecer uma explicação simples. Entretanto, ela pode ocultar uma estrutura muito mais extensa de decisões anteriores. Sistemas não escolhem sozinhos onde serão utilizados. Não estabelecem autonomamente os objetivos institucionais aos quais servirão. Não decidem, por conta própria, quais consequências serão consideradas aceitáveis.

Por trás de uma aplicação de inteligência artificial existe uma cadeia: pessoas selecionam ou produzem dados, equipes desenvolvem sistemas, empresas oferecem tecnologias, gestores contratam soluções, organizações definem procedimentos e profissionais utilizam resultados. Quando alguma coisa falha, essa multiplicidade pode criar um paradoxo. Quanto mais participantes existem, mais fácil se torna distribuir a responsabilidade até que ela praticamente desapareça.

Responsabilizar não significa procurar automaticamente um único culpado depois de um dano. Significa compreender quais deveres pertenciam a cada participante antes que o problema acontecesse. Quem deveria testar o sistema? Quem conhecia suas limitações? Quem decidiu utilizá-lo naquele contexto? Quem deveria acompanhar os resultados? Quem tinha autoridade para interromper seu funcionamento?

Essas perguntas revelam que responsabilidade possui também uma dimensão preventiva. Uma organização responsável não é apenas aquela que reage quando algo dá errado, mas aquela que constrói previamente mecanismos capazes de detectar, contestar e corrigir erros.

É nesse ponto que a ideia de “supervisão humana” merece atenção especial. Colocar uma pessoa no final de um processo automatizado não significa necessariamente devolver a ela o controle. Se essa pessoa recebe centenas de recomendações, dispõe de pouco tempo, não compreende os critérios do sistema ou teme contrariar um procedimento institucional, sua capacidade de supervisão pode ser apenas nominal.

Existe ainda um fenômeno intuitivamente compreensível: sistemas que acertam com frequência podem ser justamente aqueles diante dos quais diminuímos nossa vigilância. A confiança acumulada transforma a recomendação automática em ponto de partida e, depois, quase imperceptivelmente, em resposta presumida.

Assim, a pergunta sobre responsabilidade não pode ser respondida apenas dizendo que “sempre haverá um humano no circuito”. É preciso saber que humano é esse, quais informações possui, que autoridade efetivamente exerce e se existem condições concretas para discordar da máquina.

Ao deslocar o debate da culpa abstrata para a arquitetura da responsabilidade, o livro contribui para uma compreensão mais madura da automação. Sistemas inteligentes podem executar tarefas, produzir previsões e sugerir decisões; isso não elimina a necessidade de instituições capazes de assumir as consequências das escolhas que fizeram ao incorporá-los.

Algumas decisões não dizem respeito apenas ao que veremos ou compraremos. Elas interferem diretamente nas oportunidades disponíveis para uma pessoa: conseguir um emprego, obter crédito, contratar um seguro, acessar um serviço ou ser selecionada por determinada instituição.

Para processar grandes quantidades de casos, organizações precisam transformar realidades complexas em informações comparáveis. Pessoas tornam-se registros; características tornam-se variáveis; comportamentos anteriores tornam-se indicadores; possibilidades futuras tornam-se probabilidades.

Esse processo não nasceu com a inteligência artificial. Instituições sempre utilizaram formulários, classificações, notas, cadastros e critérios para organizar decisões. O que sistemas algorítmicos introduzem é uma capacidade muito maior de combinar dados, identificar correlações e produzir classificações ou previsões em escala.

Um sistema pode estimar que determinado candidato possui certa probabilidade de desempenho, que um consumidor apresenta determinado risco ou que uma pessoa se enquadra em determinada categoria. Enquanto permanece uma estimativa, essa informação descreve uma possibilidade. Quando passa a orientar uma contratação, uma recusa, um preço, uma investigação ou o acesso a um benefício, a previsão entra no mundo social e começa a produzir efeitos reais.

O problema não depende necessariamente da existência de uma máquina que tome uma decisão inteiramente sozinha. Um sistema pode exercer enorme influência mesmo quando sua pontuação é oficialmente apresentada apenas como “recomendação”. Se profissionais raramente discordam dela, se procedimentos internos a tratam como referência ou se não existem recursos para revisar seus resultados, a recomendação passa a funcionar como decisão prática.

O livro também ajuda a separar duas questões frequentemente confundidas: complexidade e opacidade. Um modelo pode ser tecnicamente complexo, mas a instituição ainda pode ser capaz de explicar quais informações utiliza, com que finalidade, quem definiu os critérios e como uma pessoa pode contestar um resultado. Por outro lado, até um procedimento relativamente simples pode ser institucionalmente opaco quando ninguém informa ao indivíduo por que determinada decisão foi tomada.

Para quem sofre as consequências, essa diferença é fundamental. Não é necessário conhecer todos os detalhes matemáticos de um sistema para formular perguntas legítimas sobre uma decisão. O cidadão, trabalhador ou consumidor precisa sobretudo compreender quais fatores tiveram peso, quais regras foram aplicadas, quem possui autoridade sobre o procedimento e o que pode ser feito quando o resultado parece incorreto ou injusto.

Quando a Máquina Decide , portanto, não trata apenas da tecnologia que classifica pessoas. Trata das instituições que concedem consequências a essas classificações. Ao fazer isso, recoloca o debate no lugar apropriado: algoritmos podem produzir avaliações, mas são estruturas sociais que transformam avaliações em portas abertas ou fechadas.

Os três primeiros livros permitem observar escolhas, responsabilidades e decisões institucionais. A Sociedade Automatizada amplia o enquadramento: o que acontece quando sistemas inteligentes deixam de aparecer apenas em situações particulares e passam a integrar a infraestrutura da própria sociedade?

Essa mudança de escala é importante porque os efeitos da inteligência artificial não se distribuem de maneira isolada. Uma tecnologia que modifica o trabalho também interfere na distribuição de renda. A concentração de infraestrutura tecnológica pode alterar relações econômicas. Sistemas de vigilância modificam a relação entre cidadãos, empresas e Estado. Ferramentas capazes de produzir conteúdo em grande escala interferem no ambiente informacional dentro do qual acontece o debate democrático.

O trabalho é um dos exemplos mais visíveis. A automação costuma ser discutida por meio de uma pergunta binária: determinada profissão desaparecerá ou sobreviverá? A realidade pode ser mais complexa. Profissões são conjuntos de tarefas, e tecnologias podem automatizar algumas delas, ampliar outras e criar novas formas de controle e avaliação.

Isso significa que a transformação do trabalho não deve ser medida apenas pelo número de empregos eliminados. Importa perguntar como as ocupações restantes serão reorganizadas, quem determinará o ritmo de trabalho, quais competências ganharão valor, quem terá capacidade de adaptação e, principalmente, como serão distribuídos os ganhos de produtividade.

Se uma tecnologia permite produzir mais com menos recursos, existe um benefício econômico potencial. Mas não há nenhuma regra tecnológica que determine como esse benefício será repartido. Ele pode elevar salários, reduzir jornadas, aumentar lucros, diminuir preços ou reforçar a concentração econômica. A tecnologia cria possibilidades; instituições e relações de poder influenciam sua distribuição.

O mesmo raciocínio vale para os dados e para a infraestrutura necessária à inteligência artificial. Quanto mais importantes se tornam modelos avançados, capacidade computacional, plataformas e grandes conjuntos de dados, maior é a relevância de perguntar quem controla esses recursos. A concentração tecnológica não é apenas uma questão empresarial: pode se converter em concentração da capacidade de definir como setores inteiros utilizam inteligência artificial.

No Estado, a automação apresenta outra tensão. Sistemas capazes de analisar grandes volumes de informação podem ajudar na administração de serviços, identificação de problemas e distribuição de recursos. Mas a mesma capacidade de observar e classificar populações pode ampliar mecanismos de vigilância e tornar decisões públicas menos transparentes.

Há ainda a esfera informacional. Quando textos, imagens, áudios e vídeos podem ser produzidos artificialmente em escala crescente, a questão deixa de ser apenas distinguir o conteúdo humano do conteúdo sintético. O desafio mais amplo envolve a própria confiança: como sociedades mantêm espaços comuns de debate quando produzir aparências convincentes se torna barato, rápido e amplamente acessível?

Nesse cenário, democracia e inteligência artificial se encontram em um ponto delicado. Democracias dependem não apenas de eleições, mas também de informação, instituições contestáveis, pluralidade e alguma capacidade compartilhada de discutir acontecimentos públicos. Tecnologias que reorganizam visibilidade, persuasão e produção de conteúdo inevitavelmente passam a fazer parte desse ambiente.

Por isso, A Sociedade Automatizada conduz a coleção até sua dimensão política mais ampla. O futuro tecnológico não é simplesmente aquilo que acontecerá quando os sistemas se tornarem mais capazes. Ele dependerá das regras construídas ao redor deles, dos direitos preservados, dos incentivos econômicos estabelecidos e das formas pelas quais sociedades decidirão distribuir os benefícios e os riscos da automação.