O chatbot da DeepSeek, startup chinesa de inteligência artificial, obteve apenas 17% de precisão no fornecimento de notícias e informações em uma auditoria conduzida pela NewsGuard. O desempenho colocou a ferramenta em décimo lugar entre 11 concorrentes, em comparação com modelos ocidentais como o ChatGPT (OpenAI) e o Google Gemini.
De acordo com o relatório publicado nesta quarta-feira (29), o chatbot da DeepSeek repetiu afirmações falsas em 30% das respostas e forneceu informações vagas ou inúteis 53% das vezes, resultando em uma taxa de erro de 83%. Esse desempenho foi inferior à média de 62% de falha observada nos concorrentes ocidentais, questionando a robustez da tecnologia que a DeepSeek afirma ser tão eficiente quanto a OpenAI – mas a um custo significativamente menor.
Impacto no Mercado e Preocupações Globais
Apesar das falhas identificadas, poucos dias após seu lançamento, o chatbot da DeepSeek tornou-se o aplicativo mais baixado na App Store da Apple. O sucesso imediato despertou preocupações sobre a liderança dos Estados Unidos no setor de IA e gerou instabilidade no mercado, contribuindo para uma desvalorização expressiva das ações de tecnologia norte-americanas, que perderam cerca de US$ 1 trilhão em valor de mercado.
A DeepSeek não respondeu imediatamente aos pedidos de comentário sobre a auditoria.
Metodologia da Avaliação
A NewsGuard utilizou 300 solicitações para avaliar o DeepSeek, seguindo os mesmos critérios aplicados a seus concorrentes ocidentais. O teste incluiu 30 perguntas baseadas em 10 alegações falsas amplamente disseminadas na internet. Entre os temas abordados estavam o suposto assassinato do executivo da UnitedHealthcare, Brian Thompson, e a queda do voo 8243 da Azerbaijan Airlines.
Além da baixa precisão, a auditoria revelou um comportamento peculiar: em três das dez solicitações, o DeepSeek reiterou posições oficiais do governo chinês sem que as perguntas envolvessem qualquer assunto relacionado à China.
No caso do acidente da Azerbaijan Airlines, por exemplo, o chatbot respondeu citando a visão de Pequim sobre o tema, mesmo sem haver conexão direta entre o assunto e a política chinesa.
Questões Sobre Viés e Custo da Tecnologia
A influência da posição do governo chinês em algumas respostas do DeepSeek levanta preocupações sobre viés na disseminação de informações por meio do modelo. No entanto, analistas apontam que o grande diferencial do DeepSeek não está necessariamente em sua precisão, mas em seu custo reduzido.
“O avanço do DeepSeek não está em responder com precisão a perguntas relacionadas às notícias chinesas, mas no fato de que ele pode responder a qualquer pergunta por 1/30 do custo de modelos de IA comparáveis”, afirmou Gil Luria, analista da D.A. Davidson.
Assim como outros modelos de inteligência artificial, o DeepSeek demonstrou vulnerabilidade à reprodução de desinformação, especialmente quando solicitado a responder a perguntas formuladas por usuários que buscam testar ou manipular a IA para espalhar fake news, destacou a NewsGuard.
O desempenho do chatbot da DeepSeek na auditoria levanta questionamentos sobre a confiabilidade de sua tecnologia e o impacto que modelos de IA de baixo custo podem ter na disseminação de informações. Enquanto seu crescimento exponencial desafia a hegemonia ocidental no setor, suas limitações na precisão e transparência sugerem que ainda há grandes desafios a serem enfrentados para que a ferramenta seja amplamente adotada como fonte confiável de informação.