搜索结果：inference（53 个）
按分类缩小范围
nano-vllm
综合 61
Nano vLLM
ts-pattern
综合 60
适用于 TypeScript 的穷尽模式匹配库，具备智能类型推断功能。
server
综合 58
专为云端和边缘计算场景优化的 Triton AI 推理服务器解决方案。
DeepInfer 是面向 DeepSeek 模型的高性能推理框架，开源版本提供支持大规模服务所需的核心离线推理能力。
vcluster
综合 57
创建轻量级、完全隔离的虚拟 Kubernetes 租户集群，每个集群拥有独立的 API server 与 CRD。
gpt4all （本地大模型运行工具）
综合 57
支持在任意设备上本地运行 LLM 的开源工具，允许免费商业使用。
turbo-fieldfare
综合 56
可在任意 M 系列 MacBook 上以约 2GB 内存运行 Gemma 4 26B-A4B 推理。
private-gpt
综合 56
基于本地模型的私有 AI 应用 API 层，支持 RAG、工具、MCP 及 Text-to-SQL 等，兼容 OpenAI 接口。
ubicloud
综合 54
AWS 开源替代方案，提供弹性计算、存储、K8s 及托管 Postgres 等服务。
colibri
综合 53
C 语言编写的 MoE 分层推理引擎，按热度在 GPU、RAM 与 NVMe 间调度专家权重。
mlx-serve
综合 53
面向 Apple Silicon 的原生 LLM 推理服务，兼容双 API，无 Python，含多模态功能。
kimi-k3-in-c
综合 53
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
flux
综合 53
FLUX.1 系列模型的官方推理代码仓库。
local-dream
综合 52
在 Android 设备上运行 Stable Diffusion，支持骁龙 NPU 加速及 CPU/GPU 推理。
BitNet
综合 51
微软官方出品，针对 1-bit LLM 的推理框架。
sam3
综合 49
提供 Meta SAM 3 的推理与微调代码、模型权重下载及示例 Notebook。
DeepSpeed
综合 49
专注于提升分布式训练与推理效率的深度学习优化库。
pytorch-image-models
综合 49
PyTorch 图像骨干网络合集，包含各类主流模型、预训练权重及训练推理脚本。
OmniRoute （AI 模型聚合网关）
综合 49
免费 MIT 协议 AI 网关，单接口聚合数百家服务商及上千款模型，兼容 Cursor、Cline 等工具。
Strata
综合 47
消费级硬件上的本地推理引擎，支持 Windows/Linux 一键部署及 OpenAI 兼容 API。