RunInfra
什么是RunInfra？
RunInfra 是一个 AI 推理优化与部署平台，能够根据对开源模型或完整应用的自然语言描述，自动生成可直接上线的生产级 API。该平台由 Y Combinator 支持，会在不同 NVIDIA GPU 上对 vLLM、SGLang、TensorRT-LLM 等服务引擎进行基准测试，找出最省钱、延迟最低的配置。它借助自动化 Forge 智能体来优化内核、量化模型（AWQ、GPTQ、FP8），并处理连续批处理和 KV 缓存调优。用户既可以把模型部署到 RunInfra 的托管基础设施上，享受按需缩容到零的能力，也可以导出完整可运行的部署套件（Dockerfile、配置文件），部署到 RunPod、Modal 或本地硬件等自有基础设施上。
如何使用 RunInfra？
用通俗自然语言描述你的模型工作负载，或者直接粘贴 Hugging Face 上的开源模型。RunInfra 的自动化系统会先生成执行方案，再在不同服务引擎和 GPU 配置上对模型进行基准测试并完成优化。找到最优方案后，你可以将其部署为全托管 API 端点，也可以导出容器化部署套件，在自己的硬件上自托管。
RunInfra 的核心功能
无需配置，直接用自然语言部署模型
自动化推理引擎基准测试（vLLM、SGLang、TensorRT-LLM）
Forge 智能体用于自定义 CUDA 内核生成与调优
多种格式模型量化（AWQ、GPTQ、FP8）
可导出的开源技术栈部署套件（Dockerfile、yaml）
支持缩容到零的托管服务，按百万 token 计费
面向多云部署（RunInfra Cloud、Modal、RunPod、Vast.ai）
RunInfra 的使用案例
部署 Llama 3.3、Qwen 2.5 等开源大模型，并优化延迟和成本
使用 Whisper 和 vLLM-Omni 搭建实时多模态语音流水线
将 Qwen 2.5 Coder 32B 这类大模型量化后，部署到更小、更便宜的 GPU 上
为企业 AI 工作负载生成完全透明、可导出的 Docker 技术栈，便于自托管
来自 RunInfra 的常见问题
什么是 RunInfra？
RunInfra 和使用闭源 API 有什么区别？
RunInfra 会用到哪些优化技术？
RunInfra 评价 (0)
RunInfra 价格
免费额度
免费
新注册账号可获得价值 5 美元的免费额度，用于体验优化和基准测试。
核心版
每月 100 美元
包含 105 个额度（1 美元 = 1 额度）。包含量化（AWQ、GPTQ、FP8）、标准 GPU 资源（T4、L4、L40S、A100、H100）、托管的按需缩容到零 OpenAI 兼容端点，以及可导出的部署套件。
企业版
定制定价
包含核心版全部功能，另加自托管和定制 GPU 部署、B200/H200 GPU 访问、审计日志、基于角色的访问控制（RBAC）、SOC 2 Type II 合规、最高 99.99% 的定制 SLA，以及专属客户成功经理（CSM）。
RunInfra数据分析
RunInfra 网站流量分析
地理位置
Top 3 国家/地区
RunInfra 启动嵌入功能
使用网站徽章推动社区对 Toolify 启动的支持。它们很容易嵌入到您的主页或页脚。
RunInfra替代品
社交媒体聆听