搜索结果：inference（53 个）
按分类缩小范围
ktransformers
综合 67
灵活的异构 LLM 推理与微调优化实验框架。
Halfrost-Field
综合 65
冰霜之地技术博客，包含深度源码解析、系统设计与工程实践笔记。
yolov3
综合 64
YOLOv3 系列的 PyTorch 实现，支持实时目标检测的训练、验证、推理及多格式导出
kimi-k3-in-c
综合 63
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
nano-vllm
综合 61
Nano vLLM
ts-pattern
综合 60
适用于 TypeScript 的穷尽模式匹配库，具备智能类型推断功能。
sam3
综合 60
提供 Meta SAM 3 的推理与微调代码、模型权重下载及示例 Notebook。
DeepInfer 是面向 DeepSeek 模型的高性能推理框架，开源版本提供支持大规模服务所需的核心离线推理能力。
gpt4all （本地大模型运行工具）
综合 57
支持在任意设备上本地运行 LLM 的开源工具，允许免费商业使用。
turbo-fieldfare
综合 56
可在任意 M 系列 MacBook 上以约 2GB 内存运行 Gemma 4 26B-A4B 推理。
private-gpt
综合 56
基于本地模型的私有 AI 应用 API 层，支持 RAG、工具、MCP 及 Text-to-SQL 等，兼容 OpenAI 接口。
mlx-serve
综合 53
面向 Apple Silicon 的原生 LLM 推理服务，兼容双 API，无 Python，含多模态功能。
flux
综合 53
FLUX.1 系列模型的官方推理代码仓库。
BitNet
综合 51
微软官方出品，针对 1-bit LLM 的推理框架。
DeepSpeed
综合 49
专注于提升分布式训练与推理效率的深度学习优化库。
pytorch-image-models
综合 49
PyTorch 图像骨干网络合集，包含各类主流模型、预训练权重及训练推理脚本。
OmniRoute （AI 模型聚合网关）
综合 49
免费 MIT 协议 AI 网关，单接口聚合数百家服务商及上千款模型，兼容 Cursor、Cline 等工具。
ubicloud
综合 48
AWS 开源替代方案，提供弹性计算、存储、K8s 及托管 Postgres 等服务。
Strata
综合 47
消费级硬件上的本地推理引擎，支持 Windows/Linux 一键部署及 OpenAI 兼容 API。
vllm （大模型推理与服务引擎）
综合 47
面向 LLM 的高吞吐量、低显存占用的推理与服务引擎。