Modelos de Linguagem
Quantização EXL2 versus AWQ em GPUs locais: velocidade e consumo de memória
Compare o desempenho de quantização EXL2 e AWQ em placas de vídeo locais, avaliando taxas de inferência de…
EXL2
Assuntos relacionados
3 matérias
Modelos de Linguagem
Quantização EXL2 para modelos de 70B em estações de trabalho: balanceamento entre VRAM e tokens
Entenda o formato EXL2 (ExLlamaV2) com precisão variável por camada para rodar modelos de 70 bilhões de parâmetros…
Modelos de Linguagem
Quantização de modelos de IA (GGUF, AWQ e EXL2): guia prático
Aprenda como funciona a quantização de modelos abertos de IA (GGUF, AWQ e EXL2) para rodar Llama 3,…