Proxy mode

Troque o base_url e ganhe monitoramento. Universal entre providers.

Proxy mode é o caminho padrão para conectar um agente à rendfly. No MVP atual, ele suporta OpenAI e Anthropic por uma única URL base de proxy:

https://api.rendfly.com/v1

Você conecta sua chave do provider no dashboard e depois usa a chave de projeto emitida pela rendfly no código do agente. A rendfly encaminha a requisição upstream, captura a conversa, redige PII antes do armazenamento e avalia a transcrição de forma assíncrona.

Por que proxy mode é o padrão

A maioria dos agentes de produção já fala com um provider por HTTPS. Proxy mode entra nesse caminho e espelha o tráfego para o pipeline de eval da rendfly sem mudar nada no comportamento do agente.

O conector de produção cobre OpenAI e Anthropic hoje. Gemini, Groq, Mistral, OpenRouter e outros providers compatíveis estão planejados, mas ainda marcados como em breve no app.

Respostas em streaming são espelhadas conforme chegam, sem buffering, então o perfil de latência do agente permanece intacto. Tool calls e idas e voltas de function calling passam como tráfego do provider e são renderizadas no detalhe da conversa quando capturadas.

O overhead de infraestrutura existe, mas é pequeno: a meta da rendfly é adicionar ≤30ms no p99. O pipeline de eval é assíncrono — o julgamento roda depois que a resposta é encaminhada, então seu agente nunca espera por nós.

A mudança ilustrativa de uma linha

Veja como fica a mudança nos dois providers suportados.

OpenAI Python SDK:

from openai import OpenAI

client = OpenAI(
    api_key="rfk_proj_...",              # chave de projeto da rendfly
    base_url="https://api.rendfly.com/v1" # antes: https://api.openai.com/v1
)

Anthropic Python SDK:

import anthropic

client = anthropic.Anthropic(
    api_key="rfk_proj_...",              # chave de projeto da rendfly
    base_url="https://api.rendfly.com"    # antes: https://api.anthropic.com
)

cURL:

curl https://api.rendfly.com/v1/chat/completions 
  -H "Authorization: Bearer rfk_proj_..." 
  -d '{ "model": "gpt-4o", "messages": [...] }'

O que você precisa

Três coisas antes de proxy mode começar a observar seu agente:

  1. Um projeto na rendfly. Criado pelo dashboard — cada projeto mapeia para um agente e acompanha suas próprias regras e alertas de forma independente.
  2. Sua chave de API atual do provider. A rendfly encaminha requisições para o provider upstream em seu nome. Sua chave sai do seu ambiente apenas para chegar ao provider; a rendfly nunca a armazena em texto puro.
  3. Uma chave de projeto da rendfly. Emitida por projeto, com prefixo rfk_proj_.... Use como API key no SDK do provider ou como Authorization: Bearer ... em chamadas HTTP diretas. Isso liga o tráfego recebido ao projeto correto.

Limites e casos de borda

Alguns comportamentos úteis antes de conectar:

  • Streaming. Streams de server-sent events são encaminhados chunk por chunk conforme chegam. A rendfly reconstrói a mensagem completa para eval em background depois do último chunk.
  • Tool calls. Conversas multi-turno com tool/function calls são rastreadas entre turnos e julgadas como uma unidade. A ida e volta até seu tool server não passa pelo proxy — apenas as chamadas de LLM.
  • Headers específicos do provider. Headers como anthropic-version, x-request-id e openai-organization passam sem alteração nas duas direções.
  • Respostas de erro. Se o provider upstream retorna 4xx ou 5xx, a rendfly encaminha literalmente. A requisição com falha é registrada, mas não julgada.

Relacionados

  • O que é a rendfly — como o pipeline de eval funciona depois que as conversas começam a fluir
  • LLM-as-judge — o que acontece com uma conversa depois que a rendfly a captura
Updated 2026-05-09