搜索结果：inference（12 个）
按分类缩小范围
litgpt
综合 75
支持 20+ 款高性能 LLM，提供规模化预训练、微调及部署方案。
web-llm
综合 73
直接在浏览器内运行的高性能 LLM 推理引擎。
ml-engineering
综合 71
机器学习工程开源电子书。
faster-whisper
综合 67
基于 CTranslate2 的高速 Whisper 转录工具。
Halfrost-Field
综合 65
冰霜之地技术博客，包含深度源码解析、系统设计与工程实践笔记。
yolov3
综合 65
YOLOv3 系列的 PyTorch 实现，支持实时目标检测的训练、验证、推理及多格式导出
kimi-k3-in-c
综合 63
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
nano-vllm
综合 61
Nano vLLM
sam3
综合 60
提供 Meta SAM 3 的推理与微调代码、模型权重下载及示例 Notebook。
DeepSpeed
综合 49
专注于提升分布式训练与推理效率的深度学习优化库。
涵盖文本、视觉、音频及多模态的前沿机器学习模型框架，支持推理与训练。
TensorRT
综合 43
NVIDIA GPU 高性能深度学习推理 SDK，本仓库包含其开源组件。