oMLX
Qu'est-ce que oMLX ?
oMLX est un serveur d'inférence natif pour macOS qui permet d'exécuter des modèles d'IA en local sur les appareils Apple Silicon grâce au framework MLX d'Apple. Il propose une mise en cache paginée des KV sur SSD afin de réduire le délai avant le premier token pour les agents de programmation, ainsi qu'un traitement par lots continu pour améliorer le débit. Il fournit des API compatibles avec OpenAI et Anthropic. oMLX prend en charge les modèles LLM, de vision et langage, d'embeddings et de reranking, ainsi que l'appel d'outils, l'intégration MCP, le service de plusieurs modèles et une application native dans la barre des menus avec tableau de bord web.
Comment utiliser oMLX ?
Téléchargez le DMG macOS signé et faites glisser oMLX dans le dossier Applications, puis configurez le répertoire des modèles, démarrez le serveur et téléchargez ou sélectionnez un modèle au format MLX. Vous pouvez également l'installer depuis les sources avec Python 3.10 ou une version ultérieure en utilisant les commandes Git fournies, puis exécuter omlx serve avec un répertoire de modèles. Connectez Claude Code, OpenClaw, Cursor ou d'autres clients compatibles via les points de terminaison des API OpenAI ou Anthropic.
Fonctionnalités de base de oMLX
Mise en cache paginée des KV sur SSD pour accélérer les réponses et réduire le délai avant le premier token
Traitement par lots continu pour augmenter le débit des requêtes simultanées
API compatibles avec OpenAI et Anthropic
Application native macOS dans la barre des menus
Tableau de bord web pour la gestion des modèles, le chat et les métriques en temps réel
Service de plusieurs modèles : LLM, VLM, modèles d'embeddings et de reranking
Appel d'outils et intégration MCP
Prise en charge des modèles au format MLX provenant de Hugging Face
Éviction LRU des modèles lorsque la mémoire est limitée
Réutilisation automatique des caches de modèles Hugging Face et LM Studio
Les cas d'utilisation de oMLX
Exécuter des agents de programmation en local avec des réponses plus rapides sur les Mac Apple Silicon
Utiliser Claude Code, OpenClaw ou Cursor avec un backend d'IA local
Servir plusieurs modèles locaux de langage et de vision via des API compatibles
Développer des applications à l'aide d'une inférence locale compatible avec les API OpenAI ou Anthropic
Tester l'appel d'outils et les flux de travail MCP sans dépendre d'une inférence cloud
Exécuter localement des conversations privées ainsi que des tâches d'embedding, de reranking et multimodales
FAQ de oMLX
En quoi oMLX se distingue-t-il d'Ollama ou de LM Studio ?
Quel matériel est requis pour utiliser oMLX ?
oMLX fonctionne-t-il avec Claude Code, OpenClaw et Cursor ?
Faut-il télécharger à nouveau les modèles existants ?
Quels modèles sont pris en charge ?
oMLX prend-il en charge l'appel d'outils ?
Comment installer oMLX ?
oMLX est-il gratuit ?
oMLX Avis (0)
Analyse de oMLX
oMLX Analyse du trafic du site Web
Trafic géographique
Top 5 Régions
oMLX Lancer les intégrations
Utilisez les badges de site web pour obtenir le soutien de votre communauté lors du lancement de Toolify. Ils sont faciles à intégrer à votre page d'accueil ou à votre pied de page.
Alternative à oMLX
7.95%
Écoute des médias sociaux