Modelos de Linguagem
Arquitetura Mixture of Experts (MoE): como funciona e custos de inferência
Entenda o funcionamento da arquitetura Mixture of Experts (MoE) em modelos de linguagem e como o roteamento esparso…
Inferência
Assuntos relacionados
4 matérias
Modelos de Linguagem
Prefix caching no vLLM: reduza o processamento repetido
Aprenda a configurar prefix caching no vLLM, organizar prompts repetidos e medir latência, acertos e custo real da…
Tutoriais e Guias
Testes de carga e estresse em endpoints de inferência com Locust
Aprenda a testar carga e estresse em endpoints de inferência com Locust, validar respostas e analisar latência, filas,…
Modelos de Linguagem
Técnicas de Speculative Decoding com modelos draft leves para acelerar a inferência de IA
Aprenda como funciona a decodificação especulativa com modelos draft leves para dobrar a velocidade de geração de tokens…