Uma empresa quer que a inteligência artificial responda apenas com base em contratos, manuais e políticas internas. Uma prefeitura quer ajudar servidores a encontrar procedimentos vigentes. Nos dois casos, aparece a mesma proposta: conectar o modelo a uma base de documentos por meio de RAG. A ideia é útil, mas merece uma pergunta menos publicitária: como verificar que a resposta realmente corresponde à fonte correta?
RAG significa Retrieval-Augmented Generation, ou geração aumentada por recuperação. O artigo de pesquisa de Lewis e colaboradores, publicado em 2020, descreve uma arquitetura que combina geração de linguagem com recuperação de conhecimento. Este guia traduz o conceito para decisões de produto, qualidade e segurança, sem prometer eliminar erros.
O que acontece entre a pergunta e a resposta
Em uma implementação comum, documentos são divididos em trechos e organizados para busca. A pergunta do usuário recupera partes consideradas relevantes. Esses trechos entram como contexto para o modelo produzir a resposta. A recuperação pode envolver busca semântica, palavras-chave ou uma combinação das duas.
O benefício é não depender apenas do conhecimento aprendido durante o treinamento. Uma política atualizada pode ser incorporada à base sem treinar novamente o modelo inteiro. Isso não significa que todo documento será encontrado ou interpretado corretamente. Uma busca pode recuperar uma versão antiga, ignorar uma exceção ou trazer informação semelhante sobre outro assunto.
Por isso, qualidade de RAG tem pelo menos duas etapas: qualidade da recuperação e qualidade da síntese. Se a informação correta não chega ao modelo, melhorar apenas a redação não resolve. Se chega, mas a resposta distorce a cláusula, a falha está na interpretação ou no desenho da tarefa.
Uma fonte precisa de identidade e versão
Uma base de conhecimento empresarial não deve ser uma pasta onde todos despejam arquivos sem contexto. Cada documento precisa ter responsável, versão, data de vigência, classificação de acesso e situação: aprovado, revogado ou em revisão.
O mesmo vale para documentos municipais. Uma instrução interna pode depender de uma secretaria específica. Uma lei pode ter alterações posteriores. Um manual operacional pode descrevê-las parcialmente. Buscar pelo título sem considerar jurisdição e vigência pode produzir uma resposta plausível e inadequada.
Na preparação, preserve títulos de seções, tabelas e referências. Um trecho isolado que perde a nota de rodapé pode parecer uma regra absoluta, quando a nota limita sua aplicação. A divisão em partes precisa respeitar o sentido, não apenas um número fixo de caracteres.
Citar não é o mesmo que comprovar
Uma resposta com links inspira confiança, mas links podem apontar para uma fonte que não sustenta a afirmação. A verificação deve permitir abrir o documento, encontrar o trecho usado e conferir se a síntese corresponde a ele.
Uma arquitetura cuidadosa associa cada passagem recuperada a um identificador. A aplicação pode validar se as referências exibidas pertencem ao conjunto realmente consultado. Ainda assim, é necessário avaliar a correspondência entre afirmação e evidência: uma citação existente não garante interpretação correta.
Quando há documentos contraditórios, o sistema deve sinalizar a divergência ou aplicar uma regra de precedência documentada. Esconder a dúvida para parecer mais inteligente é um erro de produto. Em temas jurídicos e administrativos, reconhecer insuficiência de informação pode ser a resposta mais útil.
O risco de prompt injection
A OWASP classifica Prompt Injection como LLM01:2025. A injeção pode ser direta, por uma entrada do usuário, ou indireta, por conteúdo externo que o modelo processa: página, anexo, arquivo ou documento recuperado.
Uma base interna não é automaticamente confiável. Ela pode receber documentos de fornecedores, anexos enviados por terceiros ou arquivos alterados por pessoas sem revisão editorial. Um texto malicioso pode tentar mudar o comportamento do assistente, induzir divulgação de informação ou provocar uma chamada de ferramenta.
Modelos e aplicações usam papéis e separação de mensagens, mas isso não constitui uma barreira de segurança infalível. A própria OWASP ressalta que RAG e ajustes de modelo não mitigam completamente prompt injection. Delimitadores ajudam na organização; não substituem controles de acesso e validações externas ao modelo.
Um cenário hipotético de contaminação documental
Considere um assistente que consulta manuais para preparar respostas de suporte. Um arquivo incluído na base contém uma instrução que manda alterar o destinatário do e-mail de atendimento. Se o sistema tratar o documento como comando e tiver permissão para enviar mensagens, uma falha de interpretação pode virar vazamento.
A defesa combina camadas. Documentos têm origem e aprovação registradas. A ferramenta de envio aceita apenas destinatários autorizados pelo fluxo de negócio. O conteúdo é preparado como rascunho. A execução depende de revisão quando o risco exigir. O objetivo não é ensinar o modelo a reconhecer qualquer ataque possível, mas limitar o dano caso ele erre.
Permissões precisam valer antes da recuperação
Em bases com documentos restritos, cada usuário só pode pesquisar o que está autorizado a consultar. Não basta recuperar todos os arquivos e pedir ao modelo para esconder alguns. O filtro deve ser aplicado na busca, usando permissões verificadas pela aplicação.
Também é necessário impedir que caches compartilhem respostas entre pessoas com acessos diferentes. Um resultado criado para a equipe jurídica não pode reaparecer para um usuário externo por conveniência técnica. Versões de documentos e alterações de permissão devem invalidar o que ficou armazenado.
| Camada | Pergunta de controle | Evidência desejada |
|---|---|---|
| Documento | A fonte está vigente? | Versão e responsável |
| Recuperação | O usuário pode ler o trecho? | Permissão aplicada antes da busca |
| Geração | A resposta está fundamentada? | Correspondência com a passagem |
| Ferramenta | A ação é autorizada? | Validação fora do modelo |
| Auditoria | É possível investigar uma falha? | Fontes e operações relacionadas |
Como medir qualidade sem depender de impressões
Crie uma coleção de perguntas representativas, com respostas de referência revisadas por pessoas responsáveis pelos documentos. Inclua perguntas sem resposta, exceções, números parecidos, versões antigas e casos que exigem mais de uma fonte.
Observe se o trecho correto foi recuperado, se a resposta incluiu informação não sustentada, se a citação permite conferir a conclusão e se o sistema respeitou o acesso. Meça também o trabalho de revisão necessário. Uma resposta rápida que demanda longa conferência pode não melhorar a operação.
Quando a base mudar, execute novamente os casos importantes. Atualizar um documento pode corrigir um problema e introduzir outro. A avaliação deve acompanhar o ciclo de manutenção, não terminar depois da demonstração inicial.
Perguntas frequentes
RAG elimina alucinações? Não. Pode melhorar fundamentação, mas recuperação e geração continuam sujeitas a falhas.
Documentos internos dispensam proteção contra injeção? Não. A origem de cada arquivo e os controles de entrada continuam relevantes.
É obrigatório usar uma base vetorial? Não em todo projeto. Busca textual ou híbrida pode atender melhor determinados conteúdos; a escolha depende da tarefa.
Qual a melhor resposta quando falta evidência? Explicar a limitação, pedir informação complementar ou encaminhar ao responsável, em vez de completar lacunas por suposição.
Próximo passo
Antes de contratar um assistente documental, organize o acervo e defina como a qualidade será avaliada. Explore os serviços de automação e software sob medida e descreva a base que sua equipe utiliza.
Fontes e referências
- Lewis et al. — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020.
- OWASP — LLM01:2025 Prompt Injection.
- OWASP — Top 10 for LLM Applications.
Imagem ilustrativa gerada por IA. Exemplos são hipotéticos e não representam clientes ou resultados da GM Tecnologia.