uncensoredlabs
AnmeldenLoslegen
Doku
API-ReferenzAnmelden

Streaming

Empfangen Sie Chat-Completions-Deltas als Server-Sent Events, statt auf die gesamte Antwort zu warten.

Streaming aktivieren

Streaming 
curl -N "https://uncensoredlabs.dev/v1/chat/completions" \
  -H "Authorization: Bearer $UNCENSOREDLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"YOUR_APPROVED_MODEL_ID","messages":[{"role":"user","content":"Hello"}],"max_tokens":256,"stream":true}'

Die Antwort verwendet text/event-stream. Ein SSE-Parser sollte vollständige Ereignisse über mehrere Netzwerklesevorgänge hinweg zusammensetzen; ein einzelner Netzwerkblock ist nicht zwingend ein Ereignis.

Stream-Ereignisse

SSE-Struktur 
data: {"choices":[{"delta":{"content":"Hello"}}]}

data: {"usage":{"prompt_tokens":128,"completion_tokens":6,"total_tokens":134}}

data: [DONE]

Delta- und Nutzungsdaten dienen zur Veranschaulichung. Ignorieren Sie leere Deltas, verarbeiten Sie die Endmarkierung und zeigen Sie Protokoll- oder Verbindungsfehler an, statt eine Teilantwort als vollständig zu behandeln.

Abrechnung und Verbindungsabbrüche

Das Gateway fordert abschließende Nutzungsdaten vom Anbieter an. Ein Verbindungsabbruch beweist nicht, dass der Anbieter keine Arbeit geleistet hat. Lassen sich keine vertrauenswürdigen Nutzungsdaten ermitteln, bleibt das reservierte Guthaben bis zum Abgleich ausstehend.