Agentes, RAG e evals para IA que funciona de verdade.
Sou Paulo Vitor Souza, engenheiro de IA com mais de 4 anos de experiência em engenharia de software. Construo agentes e assistentes que respondem com os documentos da empresa, e os benchmarks que mostram se eles acertam antes de chegar ao cliente.
| Caso de teste | Modelo base | Ajustado |
|---|---|---|
| Cita a cláusula correta | passou | passou |
| Recusa quando não há fonte | falhou | passou |
| Usa o vocabulário do domínio | falhou | passou |
| Responde no formato pedido | passou | passou |
| Total | 2 de 4 | 4 de 4 |
Pergunte ao meu assistente
Ele foi feito com a mesma técnica que eu uso para empresas: responde com base no que publiquei neste site. Não sabe o que ficou de fora e pode errar.
O que eu faço
- Integração de IA nos fluxos
- IA onde o trabalho acontece: agentes e automações que entram nos fluxos da empresa para reduzir trabalho manual e ganhar eficiência.
- Evals e benchmarks sob medida
- Benchmarks específicos para o seu domínio e harnesses de avaliação para medir qualidade, comparar modelos e travar regressões antes de ir para produção.
- Fine-tuning e adaptação de modelos
- Ajuste de modelos a vocabulário, tom e tarefas da empresa, com dados curados e avaliação antes e depois.
- RAG e assistentes sobre documentos
- Assistentes que respondem com base nos documentos da empresa: ingestão, busca semântica e respostas citando as fontes.
Também faço produtos web em TypeScript, do React/Next.js às APIs, e cuido de observabilidade em produção.
Projetos
| Projeto | O que é | Ferramentas |
|---|---|---|
| Eval harness e benchmarks | Benchmark de domínio com runner de múltiplos modelos, score por caso e teste que trava regressão de qualidade. Roda as mesmas perguntas em todos os modelos do chat deste site. | LLM evals, Benchmarks, TypeScript |
| Fine-tuning de domínio | Ajuste de um modelo pequeno a um dataset de domínio, com avaliação antes e depois para medir o ganho real. | Fine-tuning, LoRA, Unsloth |
| RAG sobre documentos | Ingere documentos, faz busca semântica e responde citando as fontes. O retrieval híbrido do playground acerta 35 de 35 perguntas do conjunto de avaliação (recall@5 de 100%). | RAG, Embeddings, Vector DB |
| Este portfólio | Site estático em Next.js com export para Cloudflare Pages, assistente de IA em Worker separado e experimentos com Three.js. Estudo de caso: Como o chat funciona. | Next.js, TypeScript, Cloudflare Workers, Three.js |
Ferramentas do dia a dia: TypeScript, Node.js, React / Next.js, Python, PostgreSQL, AWS, Docker, LLM APIs, Embeddings / Vector DB, Evals, Datadog.
Textos
- Como o chat funciona A arquitetura do assistente deste site: Worker, RAG híbrido, AI Gateway e streaming.
- Postmortem: o eval que derrubou o chat A cota do Workers AI acabou, a busca do chat falhou em silêncio e as métricas seguiram verdes. Como chegar na causa.
- Hobbies Path of Exile, web novels, manhwas e mangás: meus favoritos.