搜索结果：llm-serving（3 个）
按分类缩小范围
OpenLLM
综合 77
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
TensorRT-LLM
综合 70
提供易用的 Python API，针对 NVIDIA GPU 优化 LLM 高效推理加速。
skypilot
综合 64
AI 算力编排平台，将分散的 AI 算力整合为虚拟超级计算机，加速模型研发。