









oMLX는 Apple의 MLX 프레임워크를 사용해 Apple Silicon에서 로컬 AI 모델을 실행하는 macOS 네이티브 추론 서버입니다. 코딩 에이전트의 첫 토큰 생성 시간(TTFT)을 줄이는 페이징 SSD KV 캐싱, 처리량을 높이는 연속 배칭, OpenAI 및 Anthropic 호환 API를 제공합니다. oMLX는 LLM, 비전-언어, 임베딩, 리랭커 모델을 지원하며, 도구 호출, MCP 통합, 멀티 모델 서빙, 네이티브 메뉴 막대 앱과 웹 대시보드도 제공합니다.
서명된 macOS DMG를 다운로드한 뒤 oMLX를 응용 프로그램 폴더로 드래그하고, 모델 디렉터리를 설정한 다음 서버를 시작하고 MLX 형식의 모델을 다운로드하거나 선택하세요. 또는 Python 3.10 이상 환경에서 제공된 Git 명령을 사용해 소스에서 설치한 후 모델 디렉터리와 함께 `omlx serve`를 실행할 수 있습니다. OpenAI 또는 Anthropic API 엔드포인트를 통해 Claude Code, OpenClaw, Cursor 및 기타 호환 클라이언트에 연결할 수 있습니다.


소셜 리스닝