Pular para o conteúdo principal

Postagens

Mostrando postagens com o rótulo chunked prefill

Dosagem contínua a partir dos princípios básicos (2025)

Modelos de linguagem grande (LLMs) geram texto um token por vez, exigindo muita computação para cada palavra nova. Para otimizar isso, utiliza-se o mecanismo de atenção, que conecta tokens entre si, porém com custo quadrático na sequência. O KV-cache é uma técnica que armazena estados intermediários para evitar recomputações e acelerar a geração de tokens subsequentes. Prompts grandes são divididos em pedaços menores na técnica de chunked prefill para lidar com limitações de memória. Para melhorar o desempenho no atendimento simultâneo a vários usuários, usa-se continuous batching, que combina prompts de diferentes comprimentos sem necessidade de padding excessivo, utilizando uma máscara de atenção que impede a interação entre tokens de prompts distintos (ragged batching). A dinâmica de substituir prompts concluídos por novos durante a geração, chamada dynamic scheduling, evita o desperdício de recursos. Essa abordagem maximiza a eficiência ao lidar com múltiplas conversas em paralelo...