A nova GPU CPX da Nvidia pretende mudar o jogo na inferência de IA - como o lançamento da memória GDDR7 mais barata e mais fria pode redefinir a infraestrutura de inferência de IA.
A Nvidia apresentou a Rubin CPX, uma GPU especializada projetada para acelerar a fase de contexto de computação pesada da inferência de contexto longo em grandes modelos de IA, permitindo o manuseio mais eficiente de cargas de trabalho de milhões de tokens ao transferir essa tarefa de GPUs 'grandes' com HBM me...Leia mais em:Tom's Hardware UK
Comentários
Postar um comentário