Tool-Aufrufe

Tool definieren

{
  "model": "YOUR_APPROVED_MODEL_ID",
  "messages": [
    {
      "role": "user",
      "content": "What is the weather in Paris?"
    }
  ],
  "max_tokens": 256,
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Look up weather for a city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string"
            }
          },
          "required": [
            "city"
          ]
        }
      }
    }
  ],
  "tool_choice": "auto"
}

Tool-Schleife ausführen

1. Lesen Sie die tool_calls des Assistenten aus der Antwort.
2. Validieren Sie die angeforderte Funktion und die Argumente in Ihrer eigenen Anwendung.
3. Holen Sie alle für die Aktion erforderlichen Genehmigungen ein und führen Sie dann das Tool aus.
4. Senden Sie das Tool-Ergebnis mit der passenden tool_call_id zurück.

Das Gateway leitet Tool-Definitionen und Ergebnisse weiter. Es führt keine Tools aus. Behandeln Sie Modellausgaben und Tool-Argumente als nicht vertrauenswürdige Eingaben.

Fähigkeitsfehler

Ein Modell ohne verifizierte Tool-Unterstützung gibt den Fehler unsupported_capability zurück, wenn Tools oder Tool-Nachrichten übermittelt werden. Prüfen Sie den Katalog, bevor Sie den Tool-Modus eines Clients aktivieren.