oMLX
Was ist oMLX?
oMLX ist ein nativer macOS-Inferenzserver zum Ausführen lokaler KI-Modelle auf Apple-Silicon-Geräten mithilfe des MLX-Frameworks von Apple. Er bietet ein seitenweise organisiertes SSD-KV-Caching, um die Zeit bis zum ersten Token für Coding-Agenten zu verkürzen, kontinuierliches Batching für einen höheren Durchsatz sowie mit OpenAI und Anthropic kompatible APIs. oMLX unterstützt LLM-, Vision-Language-, Embedding- und Reranker-Modelle sowie Tool-Aufrufe, MCP-Integration, die Bereitstellung mehrerer Modelle und eine native Menüleisten-App mit Web-Dashboard.
Wie benutzt man oMLX?
Laden Sie die signierte macOS-DMG-Datei herunter und ziehen Sie oMLX in den Ordner „Programme“. Konfigurieren Sie anschließend das Modellverzeichnis, starten Sie den Server und laden Sie ein MLX-Modell herunter oder wählen Sie eines aus. Alternativ können Sie oMLX mit Python 3.10 oder höher aus dem Quellcode installieren, indem Sie die bereitgestellten Git-Befehle verwenden, und es mit „omlx serve“ sowie einem Modellverzeichnis starten. Verbinden Sie Claude Code, OpenClaw, Cursor oder andere kompatible Clients über die OpenAI- oder Anthropic-API-Endpunkte.
oMLX's Hauptmerkmale
Seitenweise organisiertes SSD-KV-Caching für schnellere Antworten und eine kürzere Zeit bis zum ersten Token
Kontinuierliches Batching für einen höheren Durchsatz bei gleichzeitigen Anfragen
Mit OpenAI und Anthropic kompatible APIs
Native macOS-Menüleisten-App
Web-Dashboard zur Modellverwaltung, zum Chatten und zur Anzeige von Echtzeitmetriken
Bereitstellung mehrerer Modelle für LLM-, VLM-, Embedding- und Reranker-Modelle
Tool-Aufrufe und MCP-Integration
Unterstützung für MLX-Modelle von Hugging Face
LRU-Modellverdrängung bei begrenztem Speicher
Automatische Wiederverwendung vorhandener Hugging-Face- und LM-Studio-Modell-Caches
oMLX's Anwendungsfälle
Lokale Coding-Agenten mit schnelleren Antworten auf Apple-Silicon-Macs ausführen
Claude Code, OpenClaw oder Cursor mit einem lokalen KI-Backend verwenden
Mehrere lokale Sprach- und Vision-Modelle über kompatible APIs bereitstellen
Anwendungen mit lokaler, OpenAI- oder Anthropic-kompatibler Inferenz entwickeln
Tool-Aufrufe und MCP-Workflows testen, ohne auf Cloud-Inferenz angewiesen zu sein
Private lokale Chat-, Embedding-, Reranking- und multimodale Workloads ausführen
FAQ von oMLX
Wie unterscheidet sich oMLX von Ollama oder LM Studio?
Welche Hardware benötigt oMLX?
Funktioniert oMLX mit Claude Code, OpenClaw und Cursor?
Müssen vorhandene Modelle erneut heruntergeladen werden?
Welche Modelle werden unterstützt?
Unterstützt oMLX Tool-Aufrufe?
Wie kann oMLX installiert werden?
Ist oMLX kostenlos nutzbar?
oMLX Bewertungen (0)
Analyse von oMLX
oMLX Website-Traffic-Analyse
Geografischer Verkehr
Top 5 Regionen
oMLX Einbettungen starten
Verwenden Sie Website-Badges, um die Unterstützung Ihrer Community für Ihren Toolify-Launch zu fördern. Sie lassen sich einfach auf Ihrer Homepage oder in der Fußzeile einbetten.
Alternative von oMLX
17.46%
Social Media Listening