Entrevista Por que a IA precisa ser calibrada para o viés

Prévia do material em texto

1/4
Entrevista: Por que a IA precisa ser calibrada para o viés
Meredith Broussard,Um jornalista de dados da Universidade de Nova York está preocupado com a
versão de Hollywood da inteligência artificial – e a prontidão do público para abraçar a IA fictícia que é
frequentemente retratada na tela.
“As pessoas tendem a dramatizar demais o papel da IA no futuro e implicam que há um futuro glorioso
impulsionado pela IA, onde os humanos não terão que conversar uns com os outros, e os computadores
vão cuidar de atividades mundanas, e tudo será elegante e perfeito”, diz ela. “Eu acho que isso não é
razoável. Eu acho que nossas narrativas em torno da IA não devem se concentrar no que é imaginário,
mas no que é real.
O que é muito real, ela sustenta, é que a IA está causando muitos tipos de danos aqui e agora.
Broussard, uma das poucas mulheres negras que fazem pesquisas em inteligência artificial, gostaria de
nos ver abordando os problemas que se mostraram predominantes nos sistemas de IA de hoje,
especialmente a questão do viés com base em raça, gênero ou capacidade. Essas preocupações estão
na frente e no centro de seu recente livro, “Mais do que uma Glitch: Confrontando a raça, o gênero e o
viés de habilidade na tecnologia”.
“Quando a tecnologia reforça a desigualdade, ela tende a ser chamada de falha, um blip temporário que
é facilmente fixado no código”, escreveu Broussard a Undark em um e-mail. “Mas é muito mais do que
isso.” Os preconceitos que permeiam nossa sociedade estão incorporados nos dados em que nossos
programas de computador treinam, ela observa e, finalmente, as imperfeições do nosso mundo se
refletem nos sistemas de IA que criamos. “Todos os problemas sistêmicos que existem na sociedade
https://meredithbroussard.com/
https://undark.org/2020/07/27/ai-medicine-racial-bias-covid-19/
https://mitpress.mit.edu/9780262047654/
2/4
também existem em sistemas algorítmicos”, escreveu ela. “É mais difícil ver os problemas quando eles
estão incorporados em código e dados.”
Nossa entrevista foi realizada sobre Zoom e foi editada para maior duração e clareza.
Undark: Eu pensei que poderíamos começar com o ChatGPT da OpenAI, e sua última oferta, GPT-
4, que saiu no mês passado. Ao ver as manchetes, e ver suas capacidades aparentemente
impressionantes, o que passa pela sua mente?
Meredith Broussard: Eu gostaria que nossa conversa começasse não apenas com os benefícios
potenciais, mas também com os riscos potenciais das novas tecnologias. Assim, por exemplo, com o
ChatGPT, ele é alimentado com dados que são raspados da web aberta. Bem, quando pensamos sobre
o que está na web aberta, há muitas coisas realmente ótimas, e há muitas coisas realmente tóxicas.
Então, qualquer um que esteja esperando que a tecnologia GPT seja positiva tem uma impressão
irracional do que está disponível na internet.
UD: Há uma longa lista de coisas com as quais as pessoas estão preocupadas – por exemplo, um
aluno vai entregar um ensaio, e o professor vai se perguntar, o aluno escreveu isso sozinho, ou
eles recebem ajuda de um sistema de IA? Mas é mais complicado do que isso, certo?
MB: Existem todos os tipos de vieses sutis que se manifestam dentro dos sistemas de IA. Por exemplo,
acabei de ler um artigo sobre alguns pesquisadores do Hugging Face que tinha uma IA generativa
gerada, com base em alguns prompts. E quando eles colocam no prompt para “CEO”, eles receberam
principalmente imagens masculinas. Portanto, há esses preconceitos muito humanos que se manifestam
dentro dos sistemas tecnológicos.
Por muito tempo, o ethos dominante no Vale do Silício tem sido uma espécie de viés que eu chaoco
ameaço – a ideia de que as soluções computacionais são superiores, de que os computadores são de
alguma forma elevados, mais objetivos, mais neutros, mais imparciais.
O que eu diria é que os computadores são realmente bons em tomar decisões matemáticas, e não tão
bons em tomar decisões sociais. Então, quando criamos sistemas como ChatGPT, ou DALL-E, ou Stable
Diffusion, ou o que quer que seja, você vai ter viés nas saídas desses sistemas, porque você tem viés
nas entradas, nos dados que é usado para construir esses sistemas. E não há como fugir disso, porque
não vivemos em um mundo perfeito. E os dados representam o mundo como ele é, e nosso passado
problemático.
UD: Você aponta que alguns dos problemas em nossos algoritmos remontam à década de 1950.
Você pode expandir isso? O que estava acontecendo naquela época que ainda se manifesta
hoje?
MB: As ideias dos anos 50 sobre gênero ainda estão incorporadas nos sistemas tecnológicos de hoje.
Você vê isso em algo como a maneira como os formulários são projetados – os tipos de formulários que
você preenche o tempo todo – que entram em bancos de dados.
Quando me ensinaram como programar bancos de dados na faculdade, no alvorecer da era da Internet,
me ensinaram que o gênero deveria ser um valor binário e que era fixo. Sabemos agora que o gênero é
um espectro, e a melhor prática agora é tornar o gênero um campo editável, um campo que um usuário
https://openai.com/blog/chatgpt
https://openai.com/research/gpt-4
https://www.nature.com/articles/d41586-022-04397-7
https://www.businessinsider.com/ai-art-generators-dalle-stable-diffusion-racial-gender-bias-ceo-2023-3
https://huggingface.co/tasks/question-answering
https://openai.com/product/dall-e-2
https://stablediffusionweb.com/
3/4
pode editar por si mesmo, em particular, sem falar com o atendimento ao cliente ou o que quer que seja.
Mas não é apenas uma questão de: “Oh, eu vou ter que mudar a forma como este campo é
representado neste formulário do Google que eu estou fazendo” – porque nem tudo é uma forma do
Google.
Quando você se inscreve na escola, por exemplo, você está fazendo uma entrada no sistema de
informações do aluno. Os sistemas de informação dos alunos são geralmente esses monólitos que
foram criados décadas e décadas atrás, e continuam sendo adicionados. As pessoas não tendem a
entrar e revisar seus sistemas corporativos em larga escala. É o mesmo negócio no setor bancário, é a
mesma situação no seguro.
A outra coisa a considerar quando se trata de gênero é que quando falamos sobre o binário de gênero
no contexto da computação, é literalmente sobre zeros e uns – é sobre o espaço da memória no
computador. Um binário ocupa uma pequena quantidade de espaço, e uma letra ou uma palavra ocupa
uma quantidade maior de espaço. E costumávamos ter que escrever nossos programas para ser muito,
muito pequeno, porque a memória era realmente cara – os computadores eram caros.
Portanto, havia um imperativo econômico em torno da manutenção do gênero representado como
binário, bem como um conceito social dominante de que o gênero era um binário.
As coisas estão diferentes agora. Temos muita memória barata. E temos uma compreensão diferente do
gênero. Mas nossos novos sistemas também têm que falar com sistemas legados, e os sistemas
legados têm essa estética normativa que data dos primeiros dias da computação. Portanto, não é
inclusivo para pessoas trans, não-binárias ou não conformes.
UD: Em seu livro, você olha para o impacto da IA que está sendo sentido no sistema de justiça e
no policiamento. O que você está particularmente preocupado quando a IA entra nesse reino?
MB: Estou muito preocupado com as imagens de Hollywood da IA e a maneira como elas dominam a
imaginação das pessoas. As pessoas imaginam que o “Relatório da Minoridade” é um futuro real que
eles querem fazer acontecer. E esse não é um futuro que eu particularmente quero fazer acontecer. E
em uma democracia que podemos falar sobre isso, podemos decidir coletivamente, qual é o futuro que
queremos. Eu não co-sinuo sobre um futuro de maior vigilância; de usar ferramentas de IA para
policiamento que mais frequentemente identificam erroneamente as pessoas com pele mais escura. As
ferramentas de IA geralmente não funcionam, ponto final. Eles geralmente trabalham melhor para
pessoas com pele mais clara do que pessoas com pele mais escura.
E isso é verdade em toda a linha.Então, quando tomamos essas ferramentas problemáticas e depois as
usamos em algo como policiamento, geralmente exacerba os problemas que já temos na América em
torno do policiamento dos bairros negros e marrons, a crise carcerária em geral.
UD: Você também menciona a ideia de auditoria algorítmica. O que é isso e como pode ser útil?
MB: Duas coisas que estou realmente animado são a auditoria algorítmica e as mudanças de política no
horizonte. A auditoria algorítmica é o processo de abrir uma “caixa preta” e avaliá-la para problemas.
Temos uma explosão de trabalho sobre concepções matemáticas de justiça e métodos para avaliar
algoritmos para viés. O primeiro passo é, obviamente, saber que a auditoria algorítmica existe. O
https://undark.org/2017/05/17/facial-recognition-technology-biased-understudied/
4/4
segundo passo é estar disposto a ter conversas difíceis dentro de organizações nas quais as pessoas
confrontam o fato de que seus algoritmos provavelmente estão discriminando.
Eu acho que é importante notar que todos nós temos preconceito inconsciente. Estamos todos tentando
se tornar pessoas melhores a cada dia. Mas todos nós temos preconceito inconsciente – incorporamos
nosso preconceito inconsciente nas coisas que fazemos, incluindo nossas tecnologias. E assim, quando
você começar a procurar problemas dentro de sistemas algorítmicos, você vai encontrá-los.
Podemos incorporar auditorias de viés em processos de negócios comuns. As pessoas já têm processos
de teste para software. Quando você está testando seu software para saber se ele funciona, é uma boa
ideia também testá-lo para viés. E nós sabemos sobre muitos tipos de preconceito que existem.
Provavelmente haverá tipos adicionais de viés que são descobertos no futuro. Também devemos testar
para isso. E se algo é tão tendencioso a respeito de ser discriminatório, talvez não deve ser usado.
UD: Você usou a frase “caixa preta”. Você pode expandir isso?
MB: Se vamos falar sobre justiça, e vamos falar sobre se determinados programas de computador
devem ser usados em contextos específicos, precisamos entrar em matemática, e precisamos falar mais
sobre o que realmente está acontecendo dentro do sistema de software. Por isso, temos de abrir a caixa
preta um pouco.
Essa é uma das coisas que os jornalistas de responsabilidade algorítmica fazem. O jornalismo de
responsabilidade algorítmica é uma espécie de jornalismo de dados. Foi pioneira por Julia Angwin em
sua investigação “Máquina Bias” para a ProPublica. Julia mais tarde passou a fundar o The Markup, que
é uma loja de investigação de responsabilidade algorítmica. E o que fazemos como repórteres de
responsabilidade algorítmica é, nós interrogamos caixas pretas: descobrimos quais são as entradas,
quais são as saídas e o que deve estar acontecendo dentro do sistema.
É uma espécie de auditoria algorítmica. Porque quando você conhece as entradas e as saídas, você
pode descobrir o que está dentro. Isso se chama de auditoria externa. Mas se você estiver dentro de
uma empresa, poderá fazer uma auditoria interna, o que é muito mais fácil porque você tem acesso ao
modelo e ao código, bem como aos dados de treinamento e aos dados de teste.
Eu também diria a qualquer pessoa que leia isso que trabalhe em corporações, você provavelmente
quer fazer auditorias internas, auditorias de responsabilidade algorítmica e auditorias de viés. Porque
dessa forma, você evita ter jornalistas investigativos interessados em fazer auditorias externas de seus
sistemas.
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
https://themarkup.org/