“Devemos instruir os algoritmos”

Algoritmos sexistas? A pergunta pode parecer estranha. Codificados por seres humanos, os algoritmos utilizados pela inteligência artificial não estão livres de estereótipos. Porém, embora possam induzir vieses racistas, eles também podem ser usados para promover a causa da igualdade de gênero. É isso o que Aude Bernheim e Flora Vincent demonstram em seu livro L’Intelligence artificielle, pas sans elles! (Inteligência artificial, não sem as mulheres!, em tradução livre)

Entrevista por Agnès Bardon, UNESCO

Como a senhora se interessou pela questão de gênero na inteligência artificial (IA)?

Aude Bernheim: Originalmente, nosso pensamento era voltado às ligações entre a igualdade de gênero e a ciência. Em 2013, fundamos a associação WAX Science, ou WAX (What About Xperiencing Science – Que tal Experimentar a Ciência), para examinar como a falta de diversidade de gênero nas equipes de pesquisa científica poderia afetar os produtos de ciência e tecnologia. Nosso trabalho sobre IA deriva dessa reflexão.

Na verdade, não ficamos surpresas ao encontrar vieses de gênero nessas tecnologias, porque eles existem em muitos outros campos. Não havia razão para IA escapar disso. Contudo, as consequências são inúmeras e vão além dos problemas comuns de igualdade profissional e salarial. Os estereótipos contidos nos algoritmos podem ter um impacto negativo na forma como são examinadas as candidaturas de emprego – excluindo as mulheres de cargos técnicos –, as propostas salariais e até mesmo os diagnósticos médicos.

Flora Vincent: As equipes científicas carecem de diversidade – o fenômeno é bem conhecido. O que não é bem conhecido é que isso tem consequências sobre como as pesquisas são desenvolvidas e quais assuntos têm prioridade. Recentemente, uma historiadora científica norte-americana, Londa Schiebinger, tem trabalhado nesse tema. Ela mostra que, quanto mais mulheres fizerem parte de uma equipe, maior a probabilidade de a questão de gênero ser levada em consideração no próprio estudo.

Existem muitos exemplos dessa discriminação na área de pesquisa. Um exemplo é que os medicamentos são testados mais em ratos machos porque têm menos hormônios e, portanto, é considerado mais fácil mensurar os efeitos colaterais. Outro caso: em testes de colisão, são usados bonecos-padrão de 1,70m e 70kg, modelados na estrutura e no tamanho médios de um homem. Como resultado, o cinto de segurança não leva em conta certas situações, como mulheres grávidas, por exemplo. 

A ciência da computação tem sido uma disciplina predominantemente dominada por homens desde o início?

Bernheim: Não, esse nem sempre foi o caso. No início do século XX, a ciência da computação era uma disciplina que requeria muitos cálculos um tanto quanto tediosos. Na época, esses cálculos eram frequentemente feitos por mulheres. Quando os primeiros computadores surgiram, as mulheres estavam à frente. O trabalho não era visto como prestigioso na época. Em um ano relativamente recente, 1984, 37% dos empregados na indústria de computadores nos Estados Unidos eram mulheres. Em comparação, na França, em 2018, apenas 10% dos estudantes de cursos de ciência da computação eram mulheres; estima-se que apenas 12% dos estudantes no setor de IA sejam mulheres.

Na verdade, uma mudança significativa ocorreu na década de 1980, com o surgimento do computador pessoal (personal computer – PC). A partir de então, a tecnologia da computação adquiriu uma importância econômica sem precedentes. A dimensão de lazer dos computadores também surgiu naqueles anos, desenvolvendo um imaginário cultural muito masculino em torno da figura do geek. Essa tendência dupla foi acompanhada pela marginalização das mulheres. Isso mostra que a afinidade masculina por computadores não é natural, mas é, acima de tudo, cultural e construída.

Pode-se pensar que os algoritmos são neutros por natureza. Em que medida eles contribuem para reproduzir o viés de gênero?

Bernheim: Alguns denunciantes perceberam rapidamente que os algoritmos eram tendenciosos. Eles descobriram, por exemplo, que o software de tradução [para o francês, que tem substantivos masculinos e femininos] tendia a dar um gênero às profissões, traduzindo o termo em inglês doctor como le docteur (“o médico”, masculino), e the nurse, como l’infirmière (“a enfermeira”, feminino). Quando surgiram as assistentes de voz – seja Alexa, Siri ou Cortana – todas tinham nomes femininos e respondiam às ordens de maneira bastante submissa, mesmo quando eram insultadas (veja o box).

Em 2016, Joy Buolamwini, pesquisadora afro-americana do Instituto de Tecnologia de Massachusetts (Massachusetts Institute of Technology – MIT), se interessou por algoritmos de reconhecimento facial. Seu trabalho mostrou que [a IA] foi desenvolvida com bancos de dados que continham principalmente imagens de homens brancos. Como resultado, era muito menos eficaz para [reconhecer] mulheres negras ou homens asiáticos, do que para homens brancos. Você pode imaginar que, se ela fizesse parte da equipe que desenvolveu esses algoritmos, a situação seria diferente.

Vincent: Codificar um algoritmo é como escrever um texto. Existe uma determinada quantidade de subjetividade que se manifesta na escolha das palavras, nas formas de expressão – mesmo que tenhamos a impressão de que estamos escrevendo um texto eminentemente fatual. Para identificar os vieses, a nossa abordagem consistiu em dissecar as diferentes fases do que chamamos de “contágio sexista”. Isso ocorre porque não existe uma causa única que crie um algoritmo tendencioso, mas sim, é o resultado de uma cadeia de causalidade que intervém nas diferentes fases de sua construção. De fato, se as pessoas que codificam, testam, controlam e utilizam algoritmos não estiverem cientes desses preconceitos em potencial, elas os reproduzirão. Na grande maioria dos casos, não há a intenção deliberada de discriminar. Muitas vezes, nós simplesmente reproduzimos estereótipos inconscientes criados ao longo de nossas vidas e de nossa educação.

Existe atualmente uma percepção do viés em certos produtos de IA?

Bernheim: A IA é um campo em que tudo está evoluindo muito rapidamente – a própria tecnologia, mas também o pensamento sobre sua utilização. Comparado a outras disciplinas, o problema da discriminação surgiu bem cedo. Apenas três anos após o início da febre dos algoritmos, os denunciantes começaram a chamar atenção para o tratamento diferenciado de determinados algoritmos. Isso já é um assunto em si na comunidade científica. Alimenta muitos debates e levou a trabalhos de pesquisa sobre a detecção de preconceitos e as implicações de algoritmos dos pontos de vista ético, matemático e da ciência da computação. Essa conscientização também refletiu recentemente na grande mídia. Nem todos os problemas foram solucionados, mas foram identificados e, assim sendo, soluções podem ser implementadas.

Como os algoritmos podem ser mais igualitários?

Bernheim: Em primeiro lugar, nós devemos agir no âmbito dos bancos de dados, para que sejam representativos da população em toda a sua diversidade. Algumas empresas já estão fazendo isso e estão trabalhando com bancos de dados que levam em consideração diferenças de gênero, nacionalidade ou morfologia. Como resultado do trabalho publicado sobre as deficiências dos softwares de reconhecimento facial, algumas empresas treinaram novamente seus algoritmos para serem mais inclusivos. Surgiram também empresas especializadas no desenvolvimento ferramentas para avaliar algoritmos e determinar se eles são tendenciosos.

Vincent: Ao mesmo tempo, nas comunidades científica e de pesquisa, tem havido uma reflexão sobre como implementar uma avaliação mais independente, bem como sobre a necessidade de transparência algorítmica. Alguns especialistas, como Buolamwini, defendem o desenvolvimento e a generalização de um código inclusivo, assim como existe para a escrita inclusiva.

Entre as iniciativas existentes, também devemos mencionar o trabalho feito pelo movimento Data for Good (Dados para o Bem), que pensa sobre maneiras de fazer algoritmos servirem ao interesse geral. Esse movimento elaborou uma carta ética chamada Hippocratic Oath for Data Scientists (Juramento de Hipócrates para cientistas de dados), estabelecendo uma lista de parâmetros muito concretos a serem verificados antes da implementação de um algoritmo, para garantir que ele não seja discriminatório. É importante apoiar esse tipo de iniciativa.

A IA poderia eventualmente se tornar um exemplo de como os preconceitos podem ser combatidos?

Bernheim: De certa forma, sim, na medida em que nos tornamos rapidamente conscientes dos preconceitos que essas novas tecnologias poderiam induzir. A IA está no processo de revolucionar as nossas sociedades, então, também pode fazer as coisas evoluírem de maneira positiva. A IA torna possível administrar e analisar quantidades muito grandes de dados. Ela permitiu que o Google, em particular, criasse um algoritmo em 2016 para quantificar o tempo de fala das mulheres nas grandes produções cinematográficas norte-americanas e mostrar sua sub-representação. Ao mesmo tempo, as equipes que desenvolvem os algoritmos também precisam se tornar mais equilibradas em termos de gênero. Atualmente, no entanto, por várias razões – incluindo a autocensura das mulheres no que se refere a campos científicos e o sexismo que domina as empresas de alta tecnologia –, pouquíssimas mulheres estudam ciência da computação. Levará tempo para que essa tendência seja revertida.

Vincent: Sem dúvida, os algoritmos precisam ser instruídos, mas alterar algumas linhas de código não será o suficiente para solucionar os problemas. Não devemos nos esquecer de que não haverá boa vontade de codificar para a igualdade se as equipes envolvidas não incluírem mulheres.

Leia mais:

Democratizar a IA na África, O Correio da UNESCO, julho–setembro de 2018.