BlackCat Validator Gateway

Gateway de IA com roteamento inteligente entre modelos (Anthropic Claude, Groq, Ollama), cache semântico com SQLite, auditoria de custos e healthcheck de serviços.

Roteamento de Modelos IA

Prioridade padrão:
1. Ollama (local) — llama4:maverick
2. Groq — llama-3.3-70b-versatile (fallback)
3. Anthropic — claude-haiku-4-5 (fallback)

Pode ser forçado por: { "model": "anthropic" | "groq" | "ollama" }

Endpoints

{
  "prompt": "string",
  "history": [],           // histórico de mensagens anteriores
  "model": null,           // null = auto-roteamento | "anthropic" | "groq" | "ollama"
  "app": "my-app",         // identificador para auditoria
  "skip_cache": false,     // true = ignora cache e regera
  "ttl": 3600              // TTL do cache em segundos
}

Schema do Cache (SQLite)

cache:
  key (hash SHA256 do prompt+model+history)
  response TEXT
  model TEXT
  tokens_in INT
  tokens_out INT
  created_at INT (unix timestamp)
  ttl INT (segundos)

audit:
  id INT PRIMARY KEY
  ts INT
  app TEXT
  model TEXT
  prompt_hash TEXT
  tokens_in INT
  tokens_out INT
  latency_ms INT
  cached INT (0/1)
  cost_usd REAL

Serviços Monitorados

Variáveis de Ambiente

Gerado automaticamente — BlackCat Corp • Voltar ao índice