Beta · Q2 2026

LLM-Kosten senken. Null Produktionsrisiko.

Eine URL tauschen. Prompts werden nie gespeichert. Bei Ausfall gehen Requests unverändert durch. Fail-Open by Default.

// Einzige Änderung:
baseURL: "api.openai.com" "gw.costghost.dev"

So funktioniert CostGhost

Request rein

Ihr Code sendet LLM-Requests an CostGhost statt direkt an OpenAI/Anthropic. Eine Zeile ändern. Keine SDK-Änderung.

Deklarativ routen

Edge-Klassifikation in <1ms. 23 Routing-Regeln, 5 Budget-Phasen und ein lernender Cache bestimmen das optimale Modell.

Sparen ohne Qualitätsverlust

Niedrige Priorität? Haiku statt Opus. Kritisch? Bestes Modell, garantiert. Sie sparen bei Requests, die nie das teure Modell brauchten.

Architektur

Client → CostGhost Gateway → Budget State Machine → Optimales Modell → Provider

Cloudflare Workers · Durable Objects · 300+ Edge-Locations · <5ms Routing

<5ms

Routing-Latenz

Routing-Regeln

Budget-Phasen

Modelle, 4 Provider

Gebaut für Produktion

ZERO-RETENTION

Prompts werden nie gespeichert. Audit-Logs enthalten nur Metadaten: Modell, Kosten, Latenz, Tenant-ID. Prompt-Logging ist explizites Opt-in.

60 automatisierte Tests garantieren das.

FAIL-OPEN + KILL-SWITCH

Bei DO-Timeout (>800ms): Request geht unverändert an den Provider. Budget-Kontrolle ist im Bypass deaktiviert — Verfügbarkeit vor Kostenkontrolle. BYPASS_GATEWAY=true deaktiviert CostGhost komplett. Per-Tenant konfigurierbar: Fail-Open (Default) oder Fail-Closed für strikte Budget-Einhaltung.

Default ist Fail-Open. Kein Produktionsrisiko.

SHADOW MODE

X-CG-Mode: observation — kein Request wird verändert. CostGhost berechnet hypothetische Einsparungen asynchron im Hintergrund.

Risikoloser Proof of Concept. Null Impact.

Native Provider-Unterstützung

Zwei API-Formate: /v1/chat/completions + /v1/messages. Routing nur innerhalb desselben Providers. Kein Cross-Provider-Format-Rewrite.

Anthropic

Claude 4.x + 3.x (nativ)

OpenAI

GPT-4o, GPT-4o-mini

Mistral

Large, Small

Google

Gemini 2.5 Pro + Flash

5% Platform-Fee auf LLM-Spend

Kein Minimum. Kein Commitment. Keine versteckten Kosten.

Beispiel: $10.000/Monat LLM-Spend

Ihr LLM-Spend              $10.000
CostGhost-Routing spart    ~$3.000  (30%)
Platform-Fee (5%)          -$500
Netto-Ersparnis            $2.500/Monat

Die 5% Fee gilt auf den gesamten Spend, der durch CostGhost geroutet wird. Nicht auf die Ersparnis.

Integration in 30 Sekunden

app.ts

// OpenAI — eine Zeile ändern:
const client = new OpenAI({
  baseURL: "https://api.openai.com/v1"
  baseURL: "https://gw.costghost.dev/v1"
});

// Anthropic — gleiche Idee:
const client = new Anthropic({
  baseURL: "https://gw.costghost.dev"
});

// Optional: Priorität setzen
headers: { "X-CG-Priority": "low" }