API mode (OpenAI Stored Completions)

Zero mudança de código — ative uma configuração na OpenAI e cole uma chave somente leitura.

API mode está planejado, mas não está disponível no MVP atual. O caminho previsto é para clientes OpenAI que querem zero mudança de código: ativar uma configuração na OpenAI, criar uma chave somente leitura, colar na rendfly e deixar a rendfly buscar Stored Completions.

O fluxo

Três passos, todos em dashboards:

Ative Stored Completions na organização OpenAI. O recurso Stored Completions da OpenAI retém registros de conversas no servidor e permite consultá-los via API. Você ativa isso nas configurações da plataforma OpenAI. O toggle fica no nível da organização, então você precisa de acesso owner ou admin.
Crie uma API key admin somente leitura. No dashboard da OpenAI, gere uma API key com permissão somente leitura limitada a Stored Completions. Essa chave permite que a rendfly puxe registros de conversa e nada mais — ela não pode criar chamadas de API, não pode ler billing e não toca outros recursos. Somente leitura é requisito obrigatório; a rendfly rejeita chaves com permissão de escrita na conexão.
Cole nas configurações do projeto na rendfly. Esse fluxo de dashboard ainda não foi publicado. Até lá, use proxy mode.

Depois de conectado, o pipeline de eval da rendfly recebe as mesmas conversas que veria via proxy mode. Extração de regras, pontuação LLM-as-judge e detecção de drift funcionam de forma idêntica, independentemente do caminho de ingestão.

O que lemos e o que não lemos

Quando a rendfly conecta à sua conta OpenAI em API mode, ela lê:

Conteúdo de conversas (mensagens, papéis, tool calls) dos registros de Stored Completions
Metadados da conversa: modelo, timestamp, contagem de tokens, motivo de término

A rendfly nunca toca:

Seu histórico padrão de chamadas de API (não armazenadas)
Informações de cobrança ou relatórios de uso
Outras API keys da sua organização OpenAI
Fine-tunes de modelo, arquivos, assistants ou qualquer outro recurso da API

A conexão é somente leitura por desenho e aplicada no nível da chave. Se a OpenAI adicionar uma permissão mais granular especificamente para Stored Completions, a rendfly passará a exigir apenas esse escopo.

Quando usar API mode vs proxy mode

API mode é a escolha certa quando:

Você já usa OpenAI e tem Stored Completions ativado (ou aceita ativar).
Você não quer tocar no código nem no deploy do agente.
Um terceiro gerencia a infraestrutura do agente e mudar o base_url exigiria uma rodada de coordenação.

Proxy mode é a escolha certa quando:

Seu agente usa vários providers (Anthropic, Groq, Mistral etc.) além ou em vez da OpenAI.
Você decidiu não usar Stored Completions por motivos de retenção de dados ou jurídicos — as conversas ficariam nos sistemas da OpenAI por mais tempo do que sua política permite.
Você quer o mesmo caminho de ingestão independentemente do provider usado, para que trocar de provider depois não altere o setup de monitoramento.

Os dois modos alimentarão o mesmo pipeline de eval quando API mode sair. Hoje, use proxy mode para tráfego de produção.

Relacionados

Proxy mode — a alternativa para setups multi-provider ou quando você quer zero dados retidos na OpenAI
O que é a rendfly — como a rendfly usa as conversas capturadas