Sistemas de IA favorecem discriminação programada na Alemanha

Relatório publicado pela DW, ressalta como processos automatizados de decisão baseados em inteligência artificial podem amplificar racismo estrutural e outras formas de discriminação. Legislação para mitigar riscos está repleta de lacunas.”A inteligência artificial (IA) torna muitas coisas mais fáceis – e, infelizmente, também a discriminação.” Foi com esse alerta que Ferda Ataman, comissária federal independente para o combate à discriminação na Alemanha, apresentou nesta quarta-feira (30), em Berlim, um relatório que aborda os potenciais riscos de delegar decisões a sistemas automatizados de inteligência artificial, em órgãos públicos e empresas.

“Os sistemas automatizados de inteligência artificial estão tomando cada vez mais decisões importantes para a vida cotidiana. O que à primeira vista parece objetivo, pode acabar reproduzindo automaticamente preconceitos e estereótipos. Não devemos, em circunstância alguma, subestimar os perigos da discriminação digital.”

O relatório jurídico, intitulado Automaticamente desfavorecidos, aponta que os sistemas algorítmicos de tomada de decisão automatizada (ADM, na sigla em inglês) são propensos a erros, com um “potencial indiscutível de discriminação”, e que há lacunas na legislação alemã visando mitigar esses riscos.

ADMs são máquinas ou softwares encarregadas de, com base nos dados fornecidos, calcular números que servem de base a uma decisão, “aprendendo autonomamente” (self-learning) nesse processo. Ferda Ataman enumerou exemplos típicos da utilização deste tipo de ferramenta: processos de seleção de emprego, empréstimos bancários, obtenção de seguros ou concessão de benefícios como assistência social.

Especificamente, o relatório alerta que a qualidade das decisões digitais depende em grande parte dos dados introduzidos. E não está claro que estes sejam isentos de erros ou mesmo adequados para sua finalidade. “Por isso precisamos de regras claras e abrangentes”, reivindica Ataman.

Histórias distópicas do gênero já são conhecidas. Em 2019, mais de 20 cidadãos da Holanda sofreram os efeitos da utilização incorreta dessa tecnologia supostamente incorruptível, ao ser injustamente obrigados a devolver benefícios sociais, sob ameaça de multa. Um algoritmo discriminatório no software foi parcialmente responsável pela decisão, afetando sobretudo os portadores com dupla cidadania.

“Caixa preta”

Para evitar tais casos discriminatórios, Ferda Ataman pleiteia mais transparência por parte das empresas, permitindo aos afetados obterem informações sobre os dados utilizados e o funcionamento do sistema. No relatório, elaborado pelos juristas Indra Spiecker e Emanuel V. Towfigh, o caráter dos sistemas baseados em IA é classificado como uma “caixa preta”. Ou seja, é praticamente impossível os afetados identificarem as causas da discriminação.

“Um fenômeno específico da utilização dos sistemas de ADM é que o seu potencial de discriminação já pode ser inerente ao próprio sistema”, aponta o relatório. A causa pode ser um conjunto de dados incorretos, distorcidos ou de má qualidade, ou ainda inadequados à finalidade pretendida.

Até CEP pode virar ferramenta de discriminação

O relatório ilustra como alguns dados aparentemente banais podem virar ferramentas de discriminação. “Em si, a característica do código postal (CEP), por exemplo, não é discriminatória. Mas torna-se um sucedâneo da discriminação por nacionalidade, que é proibidas por lei, já que muitos imigrantes costumam habitar em determinados bairros, por razões históricas.”

O relatório adverte que que isso pode ter consequências negativas para quem vive nessas áreas. Ao solicitar empréstimos, por exemplo, podem ser rotulados como risco financeiro e inaptos a pagar suas dívidas. Especialistas costumam denominar essa tática “discriminação estatística”: a atribuição de características obtidas por meios estatísticos, com base em dados médios reais ou presumidos de um grupo.

Necessidade de órgão de arbitragem

Para lidar com casos assim, a comissária Ataman reivindica a criação de um gabinete de conciliação no âmbito da sua agência. Ela também propõe que a Lei Geral de Tratamento Igualitário (AGG) da Alemanha seja complementada com um processo de arbitragem obrigatório.

Para ilustrar a necessidade urgente de ação legal, Ataman mencionou exemplos de outros países. Nos EUA, por exemplo, algoritmos incorretamente programados nos cartões de crédito da Apple discriminaram sistematicamente mulheres na concessão de crédito. Na Austrália, após um erro num sistema de tomada de decisão baseado em IA, centenas de milhares foram forçados a devolver benefícios sociais a que tinham direito.

A conclusão do relatório é simples: “A digitalização é o futuro. Mas não deve se tornar um pesadelo. Os cidadãos devem poder confiar que não serão discriminados pela IA” – e ser capaz de se defender, caso isso aconteça.