Frases simples fora de contexto podem triplicar taxa de erro em modelos de raciocínio
No estudo, pesquisadores desenvolveram um sistema chamado CatAttack, a partir do qual foram gerados textos distrativos incluídos em problemas de matemática apresentados ao DeepSeek R1. A inclusão desses gatilhos – que variaram de observações simples como “gatos adormecem a maior parte da vida” a conselhos financeiros genéricos – elevou o índice de falhas do sistema de 1,5% para 4,5%, um aumento de 200%. Especialistas atribuem esse comportamento a uma falha estrutural, visto que os modelos ainda têm dificuldade de filtrar informações relevantes. As informações são do site The Decoder.
Comentários
Postar um comentário