Em 2020, a Netflix lançou O Dilema das Redes, um docudrama que aborda as relações das pessoas, sobretudo jovens, com seus dispositivos eletrônicos, especialmente as redes sociais. Muito comentado no mundo inteiro, o documentário dramatizado trouxe à tona um debate crucial para os dias de hoje, mas que é pouco conhecido e de difícil compreensão para o público geral. O papel dos algoritmos na sociedade contemporânea é um tema ainda restrito, mas que requer atenção urgente, principalmente pelo seu impacto na vida social. O filme é baseado nos depoimentos de especialistas que deixaram seus cargos em empresas como Facebook, Instagram e Google devido a uma série de dilemas éticos que vivenciaram, principalmente no que diz respeito à indução de consumo de bens e informações.

A interface entre seres humanos e máquinas é feita através das linguagens de programação, que são escritas a partir de uma lógica. Os algoritmos são semelhantes a uma receita prévia que demonstra cada procedimento necessário para que um comando aconteça: uma sequência lógica e definida de instruções a serem seguidas para solucionar um problema ou desempenhar uma tarefa.

Mas como os algoritmos podem influenciar tanto a nossa vida? Pensando nesta pergunta, a Academia Brasileira de Ciências (ABC) convidou professora de ciência da computação na Universidade Clarkson, nos Estados Unidos, Jeanna Matthews, e os professores do Departamento de Ciência Política da Universidade Federal de Minas Gerais (UFMG) Ricardo Fabrino Mendonça e Fernando Filgueiras, para a mesa de debates “Algoritmos comandam a sociedade e precisam de controles”. O presidente da ABC, Luiz Davidovich, e o diretor Virgílio Almeida, foram os moderadores.

A questão central do debate está relacionada à falta de transparência na utilização de algoritmos, sobretudo os baseados em grandes volumes de dados (big data). Segundo os pesquisadores, as consequências disso já se mostram presentes no nosso mundo político e social atual. Ricardo Fabrino Mendonça explicou que os algoritmos são alimentados por seres humanos e as informações geradas por nós no passado e no presente. “Algoritmos não têm vida própria, não são entidades que existem em si. Não são também somente ferramentas que permitem que cada um faça o que bem entender. “A ideia de que algoritmos são meros cálculos, destituídos de subjetividade, é problemática porque legitima um conjunto de decisões tomadas de forma opaca e que impactam as vidas de todos nós”, explicou Mendonça.

O professor acredita que os processos de construção e aplicação de algoritmos precisam de mais transparência e governança, pois eles dialogam com valores, preconceitos, perspectivas e visões de mundo de quem os cria. “Algoritmos existem em um determinado contexto, pensar os algoritmos como instituições nos leva a entender os valores neles inscritos e como impactam a sociedade”, afirmou. Transparência é necessário porque os algoritmos não só aprendem com o comportamento humano, mas também podem interferir em como agimos socialmente. É o que defende Fernando Filgueiras, que alerta para o fato de que os algoritmos alteram o nosso comportamento para diversos fins. “Os algoritmos atuam como instituições, eles estruturam a sociedade, organizam atitudes, formas de pensar e agir coletivamente, transformam a dinâmica de ação coletiva e definem posições e hierarquias sociais”, argumentou Filgueiras.

Inteligência artificial e racismo estrutural

Os participantes do debate também levantaram uma questão importante: o quanto os algoritmos refletem opressões estruturais, como machismo, racismo, LGBTfobia e preconceito de classe? Para Ricardo Fabrino Mendonça, os algoritmos reiteradamente reforçam a sustentação do racismo estrutural. Isso fica evidente não só nas redes sociais e nos mecanismos de pesquisa que usamos todos os dias, mas também em casos de tecnologias utilizadas para construção de políticas públicas. O pesquisador citou o caso do Compass, empresa contratada pelo judiciário estadunidense para calcular penas de pessoas condenadas pela justiça, bem como a possibilidade de reincidência nos crimes cometidos. “É uma empresa privada que sequer revela as fontes dos dados que utiliza, justamente porque tem fins comerciais. A margem de erro de 30 a 40%, comprovadamente, ocorrem com maior frequência entre pessoas negras. São erros racializados”, explicou.

Outro exemplo apresentado por Mendonça é de uma ferramenta algorítmica utilizada para prever gastos com saúde nos Estados Unidos. Após um tempo, foi constatado que pacientes renais que seriam considerados gravíssimos foram alocados como de gravidade média simplesmente porque eram pessoas negras, desconsideradas pelo algoritmo como prioridade.

Tecnologia e democracia

Virgílio Almeida concorda com Mendonça sobre a falta de transparência na gestão dos algoritmos de Inteligência Artificial (IA). Para ele, o julgamento humano vem cada vez mais sendo substituído por algoritmos, o que torna problemática a responsabilização de empresas e governos sobre suas consequências. De acordo com o diretor da ABC, “os algoritmos de IA permitem ao sistema aprender com experiências passadas, um conjunto de dados que refletem a história de determinados eventos. Isso tem impacto na vida humana cotidianamente, às vezes com resultados discriminatórios. O futuro da IA não precisa ser distópico”.

Para Mendonça, as relações de poder são atravessadas por discursos e produções de sentido, assim como os algoritmos. Mendonça acredita que as plataformas digitais evidenciam a criação de caminhos para a inserção de sujeitos em processos discursivos que podem levar à polarização, cujos resultados podem impactar a democracia, consolidando bolhas de desinformação e discurso de ódio a partir da própria polarização política. O pesquisador também explica que comportamentos individuais geram consequências coletivas, estruturam novos padrões internacionais que atravessam as implicações do uso de algoritmos.

“Estruturas opacas e incompreensivas podem operar sobre várias camadas. Como tornar este processo mais aberto/acessível? Como tornar possível a responsabilização em alguns casos? Como pensar formas públicas de regulação e gestão não apenas da criação, mas das consequências do uso desses algoritmos? Essas escolhas morais e políticas são humanas e por isso defendemos a necessidade de gerir de forma pública e coletiva. Este é um grande desafio para a democracia atual”, finalizou.

O mapeamento da nossa vida pessoal através dos algoritmos das redes sociais, por exemplo, é um ponto importante das discussões sobre democracia e tecnologia. A professora Jeanna Mathews afirma que esses algoritmos estão governando nossa vida e há pouquíssima discussão sobre isso. “Eles mudam os ambientes digitais e nós nem sequer percebemos. Há muita responsabilidade dos algoritmos no atual cenário e na tomada de decisões políticas, isso é inegável. A introdução de algoritmos em processos eleitorais, por exemplo, precisa ser discutida com seriedade. São investimentos públicos para propaganda política em plataformas privadas sobre as quais não sabemos quase nada, nem como administram as informações que coletam”, explicou Mathews.