









oMLXは、AppleのMLXフレームワークを使用してApple Silicon上でローカルAIモデルを実行するための、macOSネイティブの推論サーバーです。ページドSSD KVキャッシュによりコーディングエージェントの初回トークン生成までの時間を短縮し、継続的バッチ処理によってスループットを向上させます。OpenAI互換およびAnthropic互換APIに対応しています。LLM、視覚言語モデル、埋め込みモデル、リランカーモデルに加え、ツール呼び出し、MCP連携、複数モデルの同時提供、ネイティブのメニューバーアプリ、Webダッシュボードもサポートしています。
署名済みのmacOS DMGをダウンロードして、oMLXをアプリケーションフォルダにドラッグします。その後、モデルディレクトリを設定してサーバーを起動し、MLX形式のモデルをダウンロードまたは選択します。別の方法として、Python 3.10以降を使用し、提供されているGitコマンドでソースからインストールして、モデルディレクトリを指定して「omlx serve」を実行することもできます。Claude Code、OpenClaw、Cursorなどの互換クライアントから、OpenAIまたはAnthropic APIエンドポイント経由で接続できます。


ソーシャルリスニング