Ein professionelles Benchmarking-Dienstprogramm zum Messen und Vergleichen von Token-Generierungsgeschwindigkeit, Latenz und Durchsatz bei mehreren LLM-API-Anbietern.
Installieren & Herunterladen
1. ClawHub CLI
Der schnellste Weg, einen Skill direkt aus der Registry zu installieren.
npx clawhub@latest install api-benchmark
2. Manuelle Installation
Kopiere den Skill-Ordner an einen dieser Orte
~/.openclaw/skills/ <project>/skills/ Priorität: Workspace > Lokal > Integriert (Bundled)
3. Prompt-Installation
Kopiere diesen Prompt in OpenClaw, um ihn automatisch zu installieren.
Hilf mir, api-benchmark über Clawhub zu installieren. Falls Clawhub nicht installiert ist, installiere es bitte zuerst (npm i -g clawhub).
Lieber herunterladen?
Hole dir die rohen Skill-Dateien in einem ZIP-Archiv.
Was ist API-Token-Geschwindigkeits-Benchmark?
Der API-Token-Geschwindigkeits-Benchmark ist ein spezialisiertes Leistungsüberwachungstool zur Bewertung der Effizienz von Large Language Model (LLM)-Endpunkten. Als Schlüsselkomponente im Ökosystem der Openclaw Skills bietet es Entwicklern präzise Metriken zu Time To First Token (TTFT), Tokens-pro-Sekunde (TPS) und der Gesamtdauer der Anfrage. Durch die Unterstützung mehrerer API-Formate wie Anthropic und OpenAI ermöglicht es objektive Vergleiche zwischen verschiedenen Infrastrukturanbietern.
Dieser Skill ist essenziell für Entwickler, die ihre KI-Agenten optimieren und sicherstellen müssen, dass die in ihren Openclaw-Skills-Implementierungen verwendeten Modelle strenge Leistungsanforderungen erfüllen. Unabhängig davon, ob Sie lokale Inferenz-Engines oder globale Cloud-Anbieter testen, liefert dieses Tool die Daten, die erforderlich sind, um die Latenz zu minimieren und den Durchsatz in Produktionsumgebungen zu maximieren.
API-Token-Geschwindigkeits-Benchmark Anwendungsfälle
- Vergleichen Sie reale Leistungsunterschiede zwischen Anbietern wie Anthropic und OpenAI für bestimmte Modellstufen.
- Optimieren Sie die Benutzererfahrung, indem Sie identifizieren, welche Modelle die niedrigste Time To First Token (TTFT) für interaktive Anwendungen bieten.
- Überprüfen Sie die Stabilität und Konnektivität von API-Endpunkten, bevor Sie komplexe Openclaw-Skills-Workflows bereitstellen.
- Überprüfen Sie den Durchsatz (TPS) des Anbieters, um sicherzustellen, dass umfangreiche Generierungsaufgaben effizient und ohne Engpässe bearbeitet werden.
So funktioniert API-Token-Geschwindigkeits-Benchmark
- Der Skill wird initialisiert, indem die Anbieterdefinitionen in Ihrer lokalen Konfigurationsdatei (~/.openclaw/openclaw.json) analysiert werden.
- Benutzer wählen über die Befehlszeilenschnittstelle einen Zielanbieter oder ein Modell für den Benchmark aus.
- Das Tool sendet eine Reihe von Anfragen basierend auf definierten Prompt-Kategorien (kurz, mittel oder lang), um verschiedene Arbeitslasten zu simulieren.
- Es überwacht die Streaming-Antwort in Echtzeit, um den genauen Moment zu erfassen, in dem das erste Token eintrifft, und verfolgt den nachfolgenden Stream, um die Tokens pro Sekunde zu berechnen.
- Die Ergebnisse werden aggregiert und als detaillierter Bericht präsentiert, sodass Benutzer die Leistung im breiteren Kontext ihres Openclaw-Skills-Setups analysieren können.
API-Token-Geschwindigkeits-Benchmark Einrichtung
Stellen Sie zu Beginn sicher, dass Python 3 und die requests-Bibliothek installiert sind. Sie müssen außerdem eine konfigurierte openclaw.json-Datei in Ihrem Home-Verzeichnis haben.
# Abhängigkeiten installieren
pip install requests
# Verfügbare Benchmark-Ziele auflisten, die in Ihrer Konfiguration definiert sind
python3 main.py --targets
# Führen Sie einen Preflight-Check durch, um die Konnektivität zu überprüfen
python3 main.py check --all
API-Token-Geschwindigkeits-Benchmark Datenschema & Taxonomie
Der API-Token-Geschwindigkeits-Benchmark organisiert seine Ergebnisse in strukturierten Metriken, die als JSON oder formatierte Tabellen ausgegeben werden können. Das Schema konzentriert sich auf Latenz- und Durchsatzdaten.
| Metrik | Beschreibung |
|---|---|
| TTFT | Time To First Token (Sekunden) – misst die anfängliche Antwortlatenz. |
| TPS | Tokens pro Sekunde – misst die Generierungsgeschwindigkeit nach dem Start. |
| Gesamtzeit | Die vollständige Dauer von der Einleitung der Anfrage bis zur Auslieferung des letzten Tokens. |
| Token-Anzahl | Die Anzahl der Eingabe- und Ausgabe-Token, bezogen von der API oder geschätzt basierend auf der Zeichenanzahl. |
API-Token-Geschwindigkeits-Benchmark Erweiterte Funktionen
- Multi-Target-Tests: Benchmarken Sie alle konfigurierten Anbieter gleichzeitig, um eine umfassende Leistungs-Rangliste für Openclaw Skills zu erstellen.
- Sicherheit zuerst Konfiguration: Die Unterstützung von Platzhaltern für Umgebungsvariablen stellt sicher, dass sensible API-Schlüssel niemals fest in Konfigurationsdateien kodiert werden.
- Auswahl der Prompt-Kategorie: Testen Sie Modelle mit unterschiedlichen Lastgrößen (kurz, mittel, lang), um zu sehen, wie sich die Skalierung auf die Leistung des Anbieters auswirkt.
- Quiet Mode: Unterdrücken Sie die Fortschrittsausgabe für eine saubere Integration in automatisierte CI/CD-Pipelines oder größere Openclaw-Skills-Automatisierungsskripte.
- Benutzerdefinierte Wiederholungszyklen: Führen Sie mehrere Iterationen pro Modell aus, um statistische Ausreißer zu eliminieren und einen genauen Durchschnitt der Geschwindigkeit des Anbieters zu erhalten.
SKILL.md
Laden
Verwandte Openclaw-Skills
Songtext-Übersetzer: Indonesisch nach Englisch
Ein spezialisierter KI-Agenten-Skill, der entwickelt wurde, um indonesische Songtexte in authentisches, singbares und menschlich klingendes Englisch für die internationale Musikproduktion zu übersetzen.
Fitbit Fitness-Einblicke
Eine leistungsstarke KI-Integration für Fitbit, die tiefe Einblicke in Ihre körperliche Aktivität, Schlafmuster und Herzfrequenzdaten bietet.
Hypha Payment
Ein dezentrales Protokoll zur P2P-Agenten-Koordination und USDT-Abrechnung im Base L2-Netzwerk.
CreatorDB YouTube Creator Insights
Eine leistungsstarke Datenintegration zum Suchen und Analysieren von YouTuber-Statistiken, Performance-Metriken und demografischen Merkmalen der Zielgruppe.
Quests
Ein standardisiertes Framework für KI-Agenten, um Menschen durch komplexe, mehrtägige reale Prozesse zu führen und diese zu verfolgen.
ClawShell
ClawShell bietet eine robuste Sicherheitsebene für Openclaw Skills, indem es Shell-Befehle abfängt und für risikoreiche Operationen eine manuelle menschliche Genehmigung erfordert.
Hervorgehoben*
