uncensoredlabs
ВойтиНачать
Документы
Справочник APIВойти

Потоковая передача

Получайте дельты Chat Completions как серверные события, не ожидая полного ответа.

Включить потоковую передачу

Потоковая передача 
curl -N "https://uncensoredlabs.dev/v1/chat/completions" \
  -H "Authorization: Bearer $UNCENSOREDLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"YOUR_APPROVED_MODEL_ID","messages":[{"role":"user","content":"Hello"}],"max_tokens":256,"stream":true}'

Ответ использует text/event-stream. SSE-парсер должен собирать полные события из сетевых чтений; один сетевой блок не обязательно равен одному событию.

События потока

Структура SSE 
data: {"choices":[{"delta":{"content":"Hello"}}]}

data: {"usage":{"prompt_tokens":128,"completion_tokens":6,"total_tokens":134}}

data: [DONE]

Дельты и данные использования приведены для примера. Пропускайте пустые дельты, обрабатывайте конечный маркер и показывайте ошибки протокола или соединения, а не считайте частичный ответ завершённым.

Оплата и отключения

Шлюз запрашивает итоговое использование у провайдера. Отключение не доказывает, что провайдер не выполнил работу. Если достоверное использование не установлено, резерв остаётся до сверки.