Nos Estados Unidos, o Departamento de Serviços Financeiros de Nova York abriu na semana passada uma investigação sobre como o banco Goldman Sachs determina o limite de crédito do cartão Apple Card. Uma série de relatos em redes sociais levantou suspeitas de que o algoritmo usado pelo banco impõe mais restrições a mulheres, oferecendo limites menores que os ofertados para homens. Um dos depoimentos veio do cofundador da Apple Steve Wozniak, que teve avaliação de crédito distinta da de sua esposa:
“Eu recebi dez vezes mais limite de crédito”, escreveu Wozniak, em seu perfil no Twitter. “Nós não temos contas bancárias, cartões de crédito ou bens separados. E é difícil conseguir uma correção feita por humanos. É a grande tecnologia em 2019”. O caso também virou tema da campanha da senadora Elizabeth Warren, uma das favoritas à candidatura democrata à Casa Branca e ferrenha crítica de bancos.
Em outra frente, o think tank Electronic Privacy Information Center (Epic) apresentou reclamação à Comissão Federal de Comércio (FTC, na sigla em inglês), também nos EUA, sugerindo práticas discriminatórias pelo sistema de inteligência artificial usado pela HireVue, que avalia candidatos a postos de trabalho pela análise de entrevistas por vídeo.
Banco nega discriminação
O Goldman nega qualquer discriminação, garantindo que as “decisões de crédito são baseadas na credibilidade do cliente, não em fatores como gênero, raça, idade, orientação sexual ou qualquer outra base proibida por lei”. A Apple e a HireVue não se manifestaram.
Não está claro como o Goldman Sachs determina o limite de crédito dos seus clientes nem como o HireVue classifica candidatos a empregos, mas especialistas concordam que sistemas de inteligência artificial, principalmente de aprendizado de máquina (machine learning), são muitas vezes enviesados pelo conjunto de dados que os alimentou. Uma possibilidade, por exemplo, é que a concessão de crédito seja historicamente menor para mulheres, pela cultura sexista de analistas do passado que tinham a visão do homem provedor do lar. Ao alimentar o algoritmo com esses dados, a discriminação se torna regra.
— Algoritmos são só um conjunto de regras, treinados com dados. Todo mundo faz uso de tecnologias digitais, enviando uma mensagem ou assistindo filmes. Toda essa informação vai para algum lugar, inclusive para o treinamento de modelos de inteligência artificial, para que eles se comportem como nós — explica Tim O’Brien, gerente-geral de programas de inteligência artificial da Microsoft. — Então, se tivermos vieses, e todos temos, conscientes e inconscientes, eles aparecerão de alguma forma nos algoritmos.
Em meio às polêmicas, o fundador da World Wide Web, Tim Berners-Lee, exigiu que as companhias sejam mais transparentes sobre como seus algoritmos operam, pois suas decisões afetam a vida real das pessoas. Em conferência na quarta-feira no Open Data Institute, em Londres, defendeu que sistemas devem ser testados para garantir que não haja preconceito contra grupos historicamente marginalizados, como mulheres e negros.
Na análise de imagens, uma das maiores preocupações da inteligência artificial é a incapacidade de identificar diferentes tons de pele. As máquinas são treinadas por engenheiros majoritariamente brancos, que usam bancos de dados recheados com fotos de homens brancos. Por isso, elas são extremamente capazes de identificar homens brancos, mas apresentam altas taxas de erro entre mulheres e negros.
O Google foi um dos primeiros a enfrentar problemas. Em 2015, um usuário denunciou que seus amigos negros foram classificados pelo algoritmo de reconhecimento do Google Fotos como gorilas. O sistema de buscas também sofre com o sexismo. Abastecido por palavras, fotos e vídeos publicados em sites, reflete preconceitos.
Uma busca por imagens de “cabelo bonito”, por exemplo, mostra, majoritariamente, mulheres brancas com cabelos lisos ou cacheados. Ao se buscar “cabelo feio”, surgem mulheres, brancas e negras, com cabelos crespos ou cacheados. Em “cabelo ruim”, são todos negros de cabelos crespos. Procurar “mãos” ou “pés” nos transporta para um mundo só de pessoas brancas.
Ponto de vista viciado
Na reclamação à FTC sobre a HireVue, a Epic destaca que “ferramentas de inteligência artificial constantemente possuem vieses de gênero”. “Por exemplo, a Amazon abandonou uma ferramenta de recrutamento de inteligência artificial porque o sistema aprendeu pelos dados históricos de funcionários que candidatos masculinos eram preferidos”, diz o documento.
A entidade ressalta ainda que o sistema pode discriminar candidatos com distúrbios psicológicos, já que o rastreamento dos movimentos dos olhos serve para diagnosticar autismo, Parkinson, Alzheimer e depressão. Estudos já demonstraram que sistemas de reconhecimento facial identificam emoções de maneira diferente para negros e brancos. “Faces negras são lidas como mais raivosas do que faces brancas”, diz a reclamação, destacando ainda que a “tecnologia de reconhecimento facial também tem sido usada para identificar orientação sexual”, o que abre portas para discriminar candidatos gays.
— Não é o algoritmo que é preconceituoso, mas os dados que o alimentaram — diz Edmilson Varejão, da consultoria em inteligência artificial AI Consult. — As amostras podem não ser representativas, e a inteligência artificial capta correlações, não causalidade.
O problema, dizem especialistas, é que ao “aprenderem” com dados enviesados, os sistemas reforçam e perpetuam preconceitos e estereótipos.
— A questão é que a indústria de tecnologia vem ignorando as Ciências Sociais por muitos anos, e não tem sido capaz de prever algumas das consequências da tecnologia — critica O’Brien.
Segundo o especialista da Microsoft, a indústria investe no desenvolvimento de ferramentas para mitigar os algoritmos enviesados, mas ainda não há soluções práticas. Para Varejão, uma das saídas é realizar experimentos, para corrigir a base de dados:
— Se um conjunto de dados está enviesado, é preciso identificar esse viés e corrigi-lo, acrescentando os dados que estão faltando.
*Artigo publicado originalmente no portal O Globo