McKinsey & Company desenvolveu uma plataforma interna de IA chamada Lilli, usada por milhares de empregados para análises e pesquisas. Um agente autônomo de segurança, sem credenciais, explorou uma vulnerabilidade de injeção SQL em um endpoint desprotegido da API, obtendo acesso total ao banco de dados produtivo em poucas horas. A falha permitiu o vazamento de milhões de mensagens de chat, milhares de arquivos sensíveis e dados internos valiosos, incluindo configurações de IA e históricos de pesquisa de usuários. A vulnerabilidade não era detectada por ferramentas tradicionais e expôs a camada de prompts de IA, essencial para o comportamento seguro da plataforma, que poderia ser modificada silenciosamente para manipular resultados. Essa falha revela um novo vetor de risco no controle das IA corporativas, mesmo em organizações tecnológicas de alto nível como a McKinsey. A empresa corrigiu as vulnerabilidades rapidamente após notificação responsável. A pesquisa evidencia a necessidade de testes contínuos e automáticos para proteger sistemas complexos na era da inteligência artificial.
Fonte: https://codewall.ai/blog/how-we-hacked-mckinseys-ai-platform
Comentários
Postar um comentário