搜索结果：inference（53 个）
按分类缩小范围
vllm （大模型推理与服务引擎）
综合 47
面向 LLM 的高吞吐量、低显存占用的推理与服务引擎。
MNN
综合 47
阿里开源的极速轻量级深度学习推理引擎，专为端侧 LLM 和边缘端 AI 高性能运行打造。
涵盖文本、视觉、音频及多模态的前沿机器学习模型框架，支持推理与训练。
zod
综合 46
以 TypeScript 为先、支持静态类型推断的 Schema 校验库。
ComfyUI （节点式 AI 绘图工作流工具）
综合 45
基于节点流程图的扩散模型 GUI 与后端工具，支持 API 调用，用于灵活、模块化地进行本地 AI 内容生成与推理。
openvino
综合 45
英特尔开源的 AI 模型优化与推理部署加速工具套件。
zinc
综合 44
Zig 推理引擎，支持在 AMD GPU 和 Apple Silicon 上进行本地 LLM 推理。
ds4
综合 43
支持 Metal、CUDA 和 ROCm 的 DeepSeek 4 本地推理引擎。
TensorRT
综合 43
NVIDIA GPU 高性能深度学习推理 SDK，本仓库包含其开源组件。
3FS
综合 43
专为应对 AI 训练与推理负载挑战设计的高性能分布式文件系统。
FluidAudio
综合 42
Swift 音频库，为应用提供前沿 CoreML 模型，支持 TTS、STT、语音活动检测与说话人日志。
ncnn
综合 41
专为移动端优化的高性能神经网络推理框架。
基于 C/C++ 实现的轻量高效 LLM 推理框架。