Hermes SocraticusGovernos sempre precisaram transformar regras gerais em decisões concretas. É necessário calcular impostos, conceder benefícios, fiscalizar atividades, organizar serviços, distribuir recursos e identificar situações que exigem atenção. Com a digitalização do Estado, parte crescente desse trabalho passou a ser realizada com auxílio de sistemas computacionais. Em alguns casos, o software apenas executa cálculos simples. Em outros, modelos analisam grandes quantidades de dados, atribuem pontuações de risco, classificam pessoas ou indicam quais casos devem receber prioridade. Quando isso acontece, o algoritmo deixa de ser apenas uma ferramenta administrativa e passa a participar da maneira como o poder público exerce suas funções.
A automatização pode trazer vantagens reais. Uma administração pública precisa atender milhões de pessoas e processar volumes enormes de informação. Tarefas repetitivas que levariam dias podem ser realizadas em segundos. Sistemas podem verificar requisitos, cruzar registros, identificar documentos ausentes e encaminhar solicitações para os setores responsáveis. Quando bem utilizados, podem reduzir filas, acelerar pagamentos e diminuir parte dos erros produzidos pelo trabalho manual.
Imagine um benefício público cujas regras sejam claramente definidas. Se a pessoa precisa possuir determinadas características verificáveis para recebê-lo, um sistema pode consultar informações disponíveis e calcular se os requisitos foram cumpridos. Isso pode ser mais rápido do que exigir que um funcionário repita manualmente a mesma verificação milhares de vezes.
Automatizar uma regra clara, porém, é diferente de utilizar um modelo para estimar alguma coisa incerta. Um programa pode verificar se uma pessoa possui determinada idade. Já decidir se alguém apresenta “alto risco” de cometer uma fraude exige uma previsão. Nesse segundo caso, o sistema não está apenas aplicando uma condição objetiva; está utilizando informações para estimar algo que não pode ser conhecido diretamente.
Essa diferença é essencial porque a palavra “algoritmo” reúne processos muito diferentes. Um cálculo de imposto definido por lei não possui as mesmas características de um modelo de aprendizado de máquina utilizado para identificar contribuintes considerados suspeitos. Os dois são automatizados, mas o segundo depende de padrões, probabilidades e critérios de classificação que podem produzir erros menos evidentes.
Governos podem utilizar sistemas desse tipo para priorizar fiscalizações. Uma administração tributária, por exemplo, não possui recursos para examinar detalhadamente todas as declarações. Um modelo pode procurar padrões associados a irregularidades e indicar quais casos merecem investigação. Isso não significa necessariamente que as pessoas classificadas cometeram alguma fraude. Significa apenas que o sistema encontrou características consideradas relevantes para selecionar casos.
Essa distinção pode desaparecer na prática. Quando uma pontuação produzida por um sistema é tratada como se fosse uma conclusão, uma previsão passa a funcionar como julgamento. Um funcionário pode pensar que determinado cidadão provavelmente fez algo errado porque o computador o classificou como suspeito, mesmo que a pontuação fosse apenas um instrumento de triagem.
O mesmo problema pode aparecer em benefícios sociais. Sistemas podem procurar inconsistências cadastrais, verificar condições de acesso ou identificar situações consideradas incomuns. Isso pode ajudar a combater pagamentos indevidos. Entretanto, um erro também pode bloquear recursos de uma pessoa que realmente possui direito ao benefício.
Nesse caso, a consequência de um falso positivo pode ser muito maior do que um simples inconveniente digital. Para alguém que depende daquele dinheiro para alimentação, moradia ou medicamentos, uma suspensão incorreta pode produzir efeitos imediatos. A avaliação de um sistema público precisa considerar não apenas quantas vezes ele acerta, mas também quem sofre quando ele erra.
Isso mostra por que eficiência administrativa não pode ser o único critério. Um sistema pode economizar dinheiro e ainda criar um processo injusto. Pode reduzir o tempo médio de análise e tornar muito difícil corrigir casos excepcionais. Pode detectar mais irregularidades enquanto aumenta o número de pessoas inocentes submetidas a investigações.
No setor privado, uma recomendação ruim pode levar alguém a receber um anúncio irrelevante. No poder público, uma classificação automatizada pode influenciar acesso a direitos, serviços e oportunidades. O Estado possui poderes que empresas comuns não possuem. Pode cobrar impostos, aplicar sanções, fiscalizar pessoas e determinar condições para o acesso a determinados recursos públicos.
Por isso, automatizar uma decisão estatal não é apenas substituir trabalho humano por software. É transferir parte do exercício de uma autoridade pública para um processo computacional.
Essa transferência começa muito antes da execução do programa. Primeiro é necessário decidir o que será transformado em dados. Depois, quais dados serão utilizados, como serão combinados e quais critérios produzirão uma classificação. Também é necessário definir o que acontecerá quando determinado resultado aparecer.
Essas escolhas podem incorporar políticas públicas sem que isso seja evidente para quem recebe a decisão. Se um sistema define prioridades, alguém precisou determinar o significado de prioridade. Se calcula risco, alguém precisou escolher quais informações representam risco. Se procura comportamento suspeito, foi necessário estabelecer o que será tratado como suspeito.
A aparência técnica pode esconder essas decisões. Uma pontuação com várias casas decimais parece extremamente objetiva. Porém, precisão matemática não significa necessariamente precisão sobre a realidade. O computador pode calcular perfeitamente uma medida cuja relação com o problema real seja limitada.
Imagine que um governo queira identificar famílias em situação de maior vulnerabilidade. Existem muitas maneiras de representar vulnerabilidade: renda, condições de moradia, composição familiar, saúde, emprego e várias outras informações podem ser consideradas. Nenhuma fórmula surge naturalmente da realidade. É necessário decidir quais aspectos entram no cálculo e qual importância recebem.
Isso não torna qualquer sistema automaticamente injusto. Políticas públicas sempre utilizam critérios. Antes dos computadores, formulários e funcionários também aplicavam categorias e regras. A diferença é que a automatização pode tornar essas regras muito rápidas, amplas e difíceis de perceber.
Uma decisão inadequada tomada por um funcionário pode afetar uma pessoa. Uma regra inadequada implementada em um sistema nacional pode afetar milhares ou milhões antes que o problema seja descoberto. A escala é uma das principais diferenças trazidas pela computação.
Ao mesmo tempo, a escala também pode permitir maior consistência. Dois funcionários podem interpretar uma regra de maneiras diferentes, enquanto um sistema aplica a mesma condição repetidamente. Isso pode reduzir arbitrariedades em algumas situações.
Mas consistência e justiça não são a mesma coisa. Se a regra estiver errada, aplicá-la com perfeita consistência apenas reproduzirá o problema de maneira mais eficiente. A automatização reduz certas formas de variação humana, mas pode ampliar erros presentes no próprio desenho do processo.
Os dados utilizados pelo governo merecem atenção especial porque o Estado possui acesso a grandes quantidades de informação. Registros fiscais, veículos, propriedades, benefícios, educação, saúde e inúmeros outros serviços podem produzir dados sobre a população. Cada base pode ter sido criada originalmente para uma finalidade específica.
Quando diferentes bases são conectadas, surgem novas possibilidades. O governo pode reduzir a necessidade de pedir repetidamente ao cidadão informações que já possui. Pode detectar erros cadastrais e melhorar serviços. Mas também pode criar uma capacidade de observação muito maior do que aquela existente quando cada informação permanecia separada.
Essa capacidade leva à questão da vigilância. Vigilância digital não exige necessariamente que uma pessoa esteja observando outra em tempo real. Sistemas podem registrar atividades, cruzar informações e procurar padrões automaticamente. Câmeras, registros de deslocamento, bancos de dados e outros recursos podem ser combinados para identificar pessoas ou comportamentos.
Tecnologias de reconhecimento facial são um exemplo. Um sistema pode comparar uma imagem capturada por uma câmera com imagens existentes em uma base. Isso pode ajudar a procurar uma pessoa específica, mas também cria riscos quando utilizado em grande escala.
Nenhum sistema de reconhecimento é perfeito. Pode haver correspondências incorretas. Se uma identificação automática for tratada como prova definitiva, uma pessoa pode ser abordada ou investigada injustamente. Por isso, importa não apenas a taxa média de acerto, mas como o resultado é utilizado posteriormente.
Mesmo um sistema muito preciso levanta questões que não desaparecem com melhorias técnicas. Uma sociedade pode considerar inadequado monitorar permanentemente todas as pessoas em determinados espaços, ainda que o reconhecimento funcione perfeitamente. Nesse caso, a discussão não é sobre erro do algoritmo, mas sobre os limites do poder de vigilância.
Essa diferença é fundamental. Algumas preocupações podem ser reduzidas criando tecnologia melhor. Outras dependem de decidir se determinada tecnologia deveria ser utilizada daquela maneira.
Um sistema de vigilância perfeitamente preciso ainda pode ser excessivamente invasivo. Um modelo de classificação sem qualquer discriminação estatística ainda pode ser empregado para uma finalidade considerada ilegítima. Qualidade técnica e legitimidade política são questões relacionadas, mas diferentes.
A concentração de dados também cria riscos de segurança. Quanto mais informações um sistema reúne, maior pode ser o impacto de um acesso indevido, vazamento ou abuso. Dados coletados para oferecer um serviço público podem se tornar extremamente sensíveis quando combinados com outras bases.
Por isso, a pergunta não deveria ser apenas se determinado dado pode ajudar um algoritmo. Também é necessário perguntar se ele precisa ser coletado, durante quanto tempo deve ser armazenado, quem poderá acessá-lo e para quais finalidades poderá ser reutilizado.
Existe ainda o risco de mudança de finalidade. Uma infraestrutura criada inicialmente para resolver um problema limitado pode, posteriormente, ser utilizada para outros objetivos. Uma base construída para administrar determinado serviço pode se tornar atraente para fiscalização, investigação ou vigilância.
Essa expansão pode acontecer gradualmente. Cada novo uso isolado pode parecer razoável, mas o resultado acumulado pode ser uma capacidade estatal muito maior de acompanhar indivíduos. Por isso, limites institucionais importam tanto quanto proteções técnicas.
A transparência é outro desafio. Quando um funcionário toma uma decisão administrativa, pode ser possível perguntar quais regras foram aplicadas. Quando um sistema complexo participa do processo, a explicação pode se tornar mais difícil.
Isso não significa que todo cidadão precise receber o código-fonte de um programa. Código por si só raramente seria uma explicação útil. Uma pessoa afetada precisa compreender aspectos mais concretos: quais informações foram consideradas, qual regra ou classificação influenciou a decisão e o que pode fazer caso os dados estejam errados.
Esse último ponto é especialmente importante. Bancos de dados públicos podem conter erros. Pessoas mudam de endereço, registros ficam desatualizados e informações podem ser associadas ao indivíduo errado. Quando decisões são automatizadas, um dado incorreto pode circular por vários sistemas antes que alguém perceba.
Imagine que um cadastro registre equivocadamente que uma pessoa possui determinada renda. Um sistema utiliza essa informação para negar um benefício. Outro sistema pode receber posteriormente o resultado da primeira análise e tratá-lo como informação confiável. Um erro inicial começa a produzir consequências em cadeia.
Para impedir esse efeito, cidadãos precisam de mecanismos para corrigir informações e contestar decisões. A existência de uma máquina no processo não deveria tornar a revisão impossível.
Uma contestação também precisa ser real. Se alguém reclama de uma decisão automática e a reclamação é simplesmente enviada novamente para o mesmo sistema, o resultado provavelmente será repetido. É necessário existir uma forma de examinar casos que escapam às regras comuns ou nos quais os dados podem estar incorretos.
Isso revela uma função importante do julgamento humano. Pessoas conseguem considerar circunstâncias que não foram adequadamente representadas pelo sistema. Isso não significa que funcionários sejam sempre melhores ou mais justos. Eles também podem cometer erros, agir com preconceito ou interpretar regras de maneira inconsistente.
O desafio não é escolher entre uma máquina perfeitamente objetiva e um humano imperfeito. Nenhuma dessas opções existe dessa forma. A questão é construir processos nos quais as vantagens da automação sejam utilizadas sem eliminar mecanismos de julgamento, revisão e responsabilidade quando eles são necessários.
A supervisão humana, entretanto, pode ser apenas simbólica. Se um funcionário recebe centenas de decisões automáticas e poucos segundos para confirmar cada uma, dificilmente realizará uma análise independente. A tendência será aceitar aquilo que o sistema sugeriu.
Por isso, dizer que “sempre existe uma pessoa no processo” não resolve automaticamente o problema. É preciso saber se essa pessoa possui tempo, informação e autoridade para discordar.
Outra questão é a responsabilidade institucional. Quando uma decisão automatizada causa dano, o governo não pode simplesmente afirmar que “o computador decidiu”. O sistema foi escolhido, contratado ou desenvolvido por alguma instituição pública. Alguém definiu sua finalidade e autorizou seu uso.
Mesmo quando a tecnologia vem de uma empresa privada, o órgão público continua precisando responder pela maneira como exerce sua autoridade. Contratar um fornecedor não deveria transformar uma decisão estatal em algo sem responsável identificável.
Essa relação com empresas privadas acrescenta outras dificuldades. Sistemas podem ser desenvolvidos com tecnologias que o órgão público não controla completamente. Fornecedores podem alegar que determinados detalhes são segredos comerciais. Isso pode criar conflitos entre interesses empresariais e a necessidade de explicar decisões que afetam cidadãos.
Quanto mais importante a decisão, menos aceitável se torna depender de um sistema que ninguém com responsabilidade pública consegue avaliar adequadamente. A complexidade técnica não deveria funcionar como uma barreira contra fiscalização.
Auditorias podem ajudar nesse processo. Em vez de observar apenas como o sistema foi projetado, é possível examinar seus resultados. Quais grupos são mais afetados? Onde os erros se concentram? O comportamento corresponde às regras declaradas? O sistema continua funcionando adequadamente depois de mudanças nos dados?
Esse acompanhamento é necessário porque sistemas podem mudar mesmo sem alterações diretas no código. A população muda, condições econômicas se transformam e os dados utilizados em operação deixam de se parecer com aqueles utilizados durante os testes. Um modelo adequado em determinado momento pode perder qualidade posteriormente.
Também existe um problema de retroalimentação. Uma decisão automatizada pode alterar a realidade e, depois, essa realidade modificada volta a alimentar o sistema.
Imagine um modelo que indique determinadas regiões como prioritárias para fiscalização. Como mais fiscalizações acontecem nesses lugares, mais irregularidades são encontradas ali. Esses novos registros podem reforçar a impressão de que aquelas regiões realmente concentram mais problemas, mesmo que outras áreas simplesmente tenham sido menos observadas.
O sistema passa a aprender parcialmente os efeitos das próprias decisões. Sem uma análise cuidadosa, esse ciclo pode reforçar padrões existentes.
Algo semelhante pode acontecer em várias políticas públicas. Aquilo que o governo mede influencia onde intervém; onde intervém produz mais dados; esses dados orientam as decisões seguintes. Por isso, dados administrativos não são necessariamente uma fotografia neutra da sociedade. Muitas vezes também registram onde o próprio Estado decidiu olhar.
A inteligência artificial generativa adiciona uma nova camada. Órgãos públicos podem utilizá-la para resumir documentos, preparar comunicações, auxiliar servidores, organizar informações ou facilitar atendimento. Esses usos podem aumentar produtividade sem necessariamente entregar decisões finais ao modelo.
Os riscos crescem quando textos gerados passam a ser tratados como fatos sem verificação ou quando modelos generativos influenciam diretamente decisões sobre cidadãos. Esses sistemas podem produzir informações incorretas e respostas diferentes diante de pequenas mudanças de contexto. Uma tecnologia útil para preparar um rascunho não é automaticamente adequada para decidir um direito.
A distinção entre apoio e autoridade é, portanto, central. Um sistema pode ajudar um funcionário a encontrar documentos relevantes sem decidir o resultado. Pode indicar possíveis inconsistências sem declarar alguém culpado. Pode organizar uma fila sem determinar sozinho quem perderá acesso a um serviço.
Quanto maior a consequência, maior deve ser o cuidado ao transferir autoridade para a automação.
Isso não significa que decisões humanas devam sempre substituir decisões computacionais. Existem tarefas nas quais automatizar regras claras pode aumentar muito a qualidade do serviço público. Sistemas também podem ajudar a encontrar padrões que pessoas teriam dificuldade de perceber em grandes quantidades de informação.
O problema surge quando a automação é adotada apenas porque é possível ou porque parece eficiente. Antes de automatizar uma decisão, é necessário entender que tipo de julgamento ela exige, quais erros podem ocorrer e como esses erros serão corrigidos.
Em alguns casos, a melhor decisão pode ser automatizar quase todo o processo. Em outros, utilizar o sistema apenas como apoio. Existem ainda situações nas quais a automação pode ser inadequada porque os riscos, a dificuldade de explicação ou a necessidade de julgamento contextual são grandes demais.
Essa escolha é política, não apenas técnica. Decidir quanto poder entregar a um sistema computacional significa decidir como o Estado se relacionará com as pessoas.
Há uma diferença importante entre um cidadão utilizar voluntariamente uma recomendação privada e ser classificado por um sistema público. É possível abandonar uma plataforma ou ignorar uma sugestão de música. É muito mais difícil ignorar uma decisão de uma autoridade tributária, de um sistema de benefícios ou de uma instituição responsável por serviços essenciais.
Essa diferença de poder exige garantias maiores. Pessoas precisam saber quando decisões relevantes são automatizadas, ter meios de corrigir dados e poder questionar resultados inadequados. Instituições precisam ser capazes de explicar e justificar o uso da tecnologia.
Também precisam existir limites para a coleta e combinação de informações. O fato de computadores permitirem analisar grandes quantidades de dados não significa que todo cruzamento possível seja desejável. Capacidade técnica e autorização social não são a mesma coisa.
Quando governos começam a decidir com algoritmos, portanto, não ocorre simplesmente uma modernização administrativa. Parte das regras, prioridades e formas de julgamento do Estado passa a ser incorporada em sistemas digitais. Algumas decisões tornam-se mais rápidas e consistentes, mas também podem se tornar menos visíveis e mais difíceis de contestar.
A questão central não é escolher entre um governo humano e um governo de máquinas. Sistemas públicos sempre combinam pessoas, regras, documentos, instituições e tecnologias. O que muda com a automação é a velocidade, a escala e a capacidade de transformar classificações em ações quase instantâneas.
Por isso, avaliar um algoritmo governamental exige olhar além de sua precisão. É necessário perguntar quem definiu seu objetivo, quais dados utiliza, quais erros produz, quem é mais afetado por esses erros, como suas decisões podem ser contestadas e quem possui autoridade para interromper ou modificar o sistema.
Algoritmos podem tornar governos mais eficientes, mas eficiência não é o único valor de uma administração pública. Direitos, privacidade, igualdade, transparência e possibilidade de contestação também importam. Quando uma máquina passa a participar de uma decisão estatal, esses princípios não deixam de existir. Pelo contrário, tornam-se ainda mais importantes, porque o poder que antes avançava na velocidade de formulários e funcionários pode agora operar automaticamente, em grande escala e quase sem ser percebido.
