搜索结果：inference（15 个）
按分类缩小范围
OpenLLM
商机 79
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
omlx
商机 78
面向 Apple Silicon 的 LLM 推理服务器，支持连续批处理与 SSD 缓存，可在 macOS 菜单栏管理。
NemoClaw
商机 74
在 NVIDIA OpenShell 中更安全地运行智能体并托管推理服务。
gitleaks
商机 74
用于检测并防止代码仓库泄露密钥、密码等敏感信息的工具。
TensorRT-LLM
商机 71
提供易用的 Python API，针对 NVIDIA GPU 优化 LLM 高效推理加速。
vcluster
商机 70
创建轻量级、完全隔离的虚拟 Kubernetes 租户集群，每个集群拥有独立的 API server 与 CRD。
server
商机 68
专为云端和边缘计算场景优化的 Triton AI 推理服务器解决方案。
serviceradar
商机 66
开源的网络管理、监控、IT 运维管理（ITOM）、可观测性与安全分析系统。
sam3
商机 61
提供 Meta SAM 3 的推理与微调代码、模型权重下载及示例 Notebook。
private-gpt
商机 56
基于本地模型的私有 AI 应用 API 层，支持 RAG、工具、MCP 及 Text-to-SQL 等，兼容 OpenAI 接口。
mlx-serve
商机 53
面向 Apple Silicon 的原生 LLM 推理服务，兼容双 API，无 Python，含多模态功能。
OmniRoute （AI 模型聚合网关）
商机 49
免费 MIT 协议 AI 网关，单接口聚合数百家服务商及上千款模型，兼容 Cursor、Cline 等工具。
Strata
商机 47
消费级硬件上的本地推理引擎，支持 Windows/Linux 一键部署及 OpenAI 兼容 API。
ComfyUI （节点式 AI 绘图工作流工具）
商机 45
基于节点流程图的扩散模型 GUI 与后端工具，支持 API 调用，用于灵活、模块化地进行本地 AI 内容生成与推理。
TensorRT
商机 43
NVIDIA GPU 高性能深度学习推理 SDK，本仓库包含其开源组件。