Pular para o conteúdo principal

Postagens

Mostrando postagens com o rótulo arquivos de contexto

Avaliando AGENTS.md: eles são úteis para agentes de codificação?

A prática comum de adaptar agentes de codificação a repositórios por meio de arquivos de contexto tem sido recomendada, mas sua eficácia não foi rigorosamente testada. Este estudo avalia o desempenho desses agentes em tarefas reais, usando arquivos de contexto gerados por LLMs e arquivos fornecidos por desenvolvedores. Os resultados mostram que, em geral, a presença desses arquivos reduz as taxas de sucesso nas tarefas e aumenta os custos de inferência em mais de 20%. Comportamentalmente, os agentes exploram mais o ambiente, realizando testes mais extensivos e navegando por arquivos em maior profundidade. No entanto, esses arquivos parecem impor requisitos extras que dificultam a conclusão das tarefas. Conclui-se que os arquivos de contexto devem conter apenas informações mínimas e essenciais para não prejudicar o desempenho dos agentes. A pesquisa sugere reavaliar o uso e o conteúdo desses arquivos para otimizar seu impacto em agentes de codificação. Fonte: https://arxiv.org/abs/2...