Modelos de Linguagem
Quantização EXL2 para modelos de 70B em estações de trabalho: balanceamento entre VRAM e tokens
Entenda o formato EXL2 (ExLlamaV2) com precisão variável por camada para rodar modelos de 70 bilhões de parâmetros…
Modelos abertos
Assuntos relacionados
20 matérias
Modelos de Linguagem
Quantização AWQ e GPTQ para modelos de 70B: como rodar IA local com duas GPUs RTX 4090
Aprenda a hospedar modelos abertos de 70 bilhões de parâmetros localmente com quantização AWQ e GPTQ de 4…
Modelos de Linguagem
Quantização AWQ vs GGUF para servidores Linux com GPU Nvidia: comparativo de latência e VRAM
Comparativo técnico entre quantização AWQ e GGUF: descubra qual formato entrega menor latência, economia de VRAM e estabilidade…
Modelos de Linguagem
Como treinar adaptadores LoRA para manter o tom de voz da marca da empresa
Guia técnico sobre treinamento de adaptadores LoRA: ensine as diretrizes editoriais e vocabulário corporativo a modelos abertos gastando…
Modelos de Linguagem
Gemma e EmbeddingGemma: como usar os modelos abertos do Google na empresa
Guia completo sobre a familia Gemma do Google: arquitetura, modelos leves para rodar localmente e como o EmbeddingGemma…
Modelos de Linguagem
LoRA e QLoRA: como fazer fine-tuning eficiente de LLMs com hardware modesto
Veja como funcionam LoRA e QLoRA na prática, por que adaptadores reduzem a VRAM necessária de 80GB para…
Modelos de Linguagem
Llama 3.2 vs Mistral Nemo: qual o melhor modelo aberto para rodar local
Comparação prática entre Llama 3.2 e Mistral Nemo para inferência local: consumo de VRAM, janela de contexto, suporte…
Modelos de Linguagem
Quantização de modelos de IA (GGUF, AWQ e EXL2): guia prático
Aprenda como funciona a quantização de modelos abertos de IA (GGUF, AWQ e EXL2) para rodar Llama 3,…
Modelos de Linguagem
Modelos de IA abertos: DeepSeek, Llama, Qwen e quando vale usar
Open-weights x open-source, licenças de DeepSeek, Llama, Qwen, Mistral e Gemma, hardware, quantização e riscos para decidir quando…
Tutoriais e Guias
Como rodar IA no seu computador com Ollama: guia completo
Instale o Ollama no Windows, macOS ou Linux, escolha o modelo pelo seu hardware, use a API local…