Tanto os seres humanos quanto a IA têm alucinação mas não da mesma maneira

Prévia do material em texto

1/3
Tanto os seres humanos quanto a IA têm alucinação – mas
não da mesma maneira
O lançamento de modelos de linguagem de grande porte sempre capazes (LLMs), como o GPT-3.5,
despertou muito interesse nos últimos seis meses. No entanto, a confiança nesses modelos diminuiu à
medida que os usuários descobriram que podem cometer erros – e que, como nós, eles não são
perfeitos.
Diz-se que um LLM que produz informações incorretas é “alucinante”, e agora há um esforço crescente
de pesquisa para minimizar esse efeito. Mas à medida que lidamos com essa tarefa, vale a pena refletir
sobre nossa própria capacidade de viés e alucinações – e como isso afeta a precisão dos LLMs que
criamos.
Ao entender a ligação entre o potencial alucinatório da IA e o nosso, podemos começar a criar sistemas
de IA mais inteligentes que ajudarão a reduzir o erro humano.
Como as pessoas alucinantes
Não é segredo que as pessoas compõem a informação. Algumas vezes fazemos isso intencionalmente,
e outras vezes sem intenção. Este último é resultado de vieses cognitivos, ou “heuristas”: atalhos
mentais que desenvolvemos através de experiências passadas.
Esses atalhos muitas vezes nascem por necessidade. A qualquer momento, só podemos processar uma
quantidade limitada da informação que inunda nossos sentidos e apenas nos lembrar de uma fração de
todas as informações a que já fomos expostos.
https://help.openai.com/en/articles/6783457-what-is-chatgpt
https://spectrum.ieee.org/ai-hallucination
2/3
Como tal, nossos cérebros devem usar associações aprendidas para preencher as lacunas e responder
rapidamente a qualquer pergunta ou dilema que esteja diante de nós. Em outras palavras, nossos
cérebros adivinham qual a resposta correta pode ser baseada em conhecimento limitado. Isso é
chamado de “confabulação” e é um exemplo de preconceito humano.
Nossos preconceitos podem resultar em mau julgamento. Pegue o viés de automação, que é a nossa
tendência a favorecer informações geradas por sistemas automatizados (como o ChatGPT) sobre
informações de fontes não automatizadas. Esse viés pode nos levar a erros de erro e até mesmo agir
sobre informações falsas.
Outra heurística relevante é o efeito halo, no qual nossa impressão inicial de algo afeta nossas
interações subsequentes com ela. E o viés de fluência, que descreve como favorecemos a informação
apresentada de maneira fácil de ler.
A linha inferior é o pensamento humano é muitas vezes colorido por seus próprios vieses cognitivos e
distorções, e essas tendências “alecinatórias” ocorrem em grande parte fora de nossa consciência.
Como a IA alucina
Em um contexto LLM, a alucinação é diferente. Um LLM não está tentando conservar recursos mentais
limitados para fazer sentido do mundo de forma eficiente. “Hallucinação” neste contexto apenas
descreve uma tentativa fracassada de prever uma resposta adequada a uma entrada.
No entanto, ainda há alguma semelhança entre a forma como os seres humanos e os LLMs alucinam,
uma vez que os LLMs também fazem isso para “preencher as lacunas”.
Os LLMs geram uma resposta prevendo qual palavra é mais provável que apareça em seguida em uma
sequência, com base no que veio antes, e em associações que o sistema aprendeu através do
treinamento.
Como os humanos, os LLMs tentam prever a resposta mais provável. Ao contrário dos humanos, eles
fazem isso sem entender o que estão dizendo. É assim que eles podem acabar produzindo bobagens.
Quanto ao porquê LLMs alucinações, há uma série de fatores. Um dos principais está sendo treinado em
dados que são falhos ou insuficientes. Outros fatores incluem como o sistema é programado para
aprender com esses dados e como essa programação é reforçada através de treinamentos adicionais
em humanos.
Fazendo melhor juntos
Então, se tanto os seres humanos quanto os LLMs são suscetíveis a alucinar (embora por razões
diferentes), o que é mais fácil de corrigir?
Corrigir os dados de treinamento e os processos subjacentes aos LLMs pode parecer mais fácil do que
nos consertarmos. Mas isso não leva a considerar os fatores humanos que influenciam os sistemas de
IA (e é um exemplo de outro viés humano conhecido como erro fundamental de atribuição).
https://dataethics.eu/trust-in-ai-can-be-tool-little-and-too-much
https://dataethics.eu/trust-in-ai-can-be-tool-little-and-too-much
https://www.verywellmind.com/cognitive-biases-distort-thinking-2794763
https://www.researchgate.net/publication/23230162_Fluency_Heuristic_A_Model_of_How_the_Mind_Exploits_a_By-Product_of_Information_Retrieval
https://online.hbs.edu/blog/post/the-fundamental-attribution-error?sf55808584=1
3/3
A realidade são nossas falhas e as falhas de nossas tecnologias estão inextricavelmente interligadas,
então consertar um ajudará a consertar o outro. Aqui estão algumas maneiras de fazer isso.
Gestão de dados responsável. Os preconceitos em IA geralmente resultam de dados de
treinamento tendenciosos ou limitados. As maneiras de abordar isso incluem garantir que os
dados de treinamento sejam diversos e representativos, construindo algoritmos com consciência
de viés e a implantação de técnicas como balanceamento de dados para remover padrões
distorcidos ou discriminatórios.
Transparência e IA explicável. Apesar das ações acima, no entanto, os preconceitos na IA
podem permanecer e podem ser difíceis de detectar. Ao estudar como os vieses podem entrar em
um sistema e se propagar dentro dele, podemos explicar melhor a presença de viés nas saídas.
Esta é a base da “IA explicável”, que visa tornar os processos de tomada de decisão dos sistemas
de IA mais transparentes.
Colocar os interesses do público na frente e no centro. Reconhecer, gerenciar e aprender com
preconceitos em uma IA requer responsabilidade humana e ter valores humanos integrados em
sistemas de IA. Alcançar isso significa garantir que as partes interessadas sejam representativas
de pessoas de diversas origens, culturas e perspectivas.
Ao trabalharmos juntos dessa maneira, é possível construir sistemas de IA mais inteligentes que possam
ajudar a manter todas as nossas alucinações sob controle.
Por exemplo, a IA está sendo usada na área da saúde para analisar as decisões humanas. Esses
sistemas de aprendizado de máquina detectam inconsistências em dados humanos e fornecem
instruções que os levam à atenção do clínico. Como tal, as decisões de diagnóstico podem ser
melhoradas, mantendo a responsabilidade humana.
Em um contexto de mídia social, a IA está sendo usada para ajudar a treinar moderadores humanos ao
tentar identificar abusos, como por meio do projeto Troll Patrol destinado a combater a violência on-line
contra as mulheres.
Em outro exemplo, a combinação de imagens de IA e de satélite pode ajudar os pesquisadores a
analisar as diferenças na iluminação noturna entre as regiões e usar isso como um proxy para a pobreza
relativa de uma área (em que mais iluminação está correlacionada com menos pobreza).
É importante ressaltar que, embora façamos o trabalho essencial de melhorar a precisão dos LLMs, não
devemos ignorar como a falibilidade atual mantém um espelho para o nosso.
Este artigo é republicado de The Conversation sob uma licença Creative Commons. Leia o artigo
original.
https://link.springer.com/chapter/10.1007/978-3-030-98015-3_33
https://link.springer.com/chapter/10.1007/978-3-030-98015-3_33
https://decoders.amnesty.org/projects/troll-patrol/findings
https://www.science.org/doi/10.1126/science.aaf7894
https://www.science.org/doi/10.1126/science.aaf7894
https://theconversation.com/
https://theconversation.com/both-humans-and-ai-hallucinate-but-not-in-the-same-way-205754