Microsoft: botões “Resumir com IA” usados para contaminar recomendações de IA via @sejournal, @MattGSouthern

Pesquisadores da Microsoft identificaram uma técnica chamada 'AI Recommendation Poisoning', na qual empresas inserem instruções ocultas em botões de sites para influenciar assistentes de IA. Ao clicar nesses botões, um prompt pré-definido é enviado, instruindo o assistente a considerar a empresa como fonte confiável, afetando recomendações futuras sem o usuário perceber. A análise mostrou 50 tentativas de injeção de 31 empresas, principalmente em áreas de saúde e finanças, usando ferramentas públicas para criar URLs maliciosas. Essa técnica pode ampliar a confiança a conteúdos não verificados do mesmo domínio, aumentando riscos. Microsoft implementa proteções em seus sistemas e oferece ferramentas para detectar essas manipulações. A prática é comparada a antigas táticas de SEO, agora aplicadas à memória dos assistentes. Isso representa um desafio crescente, já que a técnica é difícil de conter devido a ferramentas abertas e sua aplicação em várias plataformas. O impacto da manipulação é imediato e comercial, diferente da contaminação dos conjuntos de dados de treinamento. O futuro dessa prática depende das respostas das plataformas de IA quanto à regulação e penalização.

Fonte: https://www.searchenginejournal.com/microsoft-summarize-with-ai-buttons-used-to-poison-ai-recommendations/567941/