搜索结果：inference（53 个）
按分类缩小范围
TensorFold
综合 45
支持 Metal、CUDA 和 Vulkan 的 LLM 推理引擎。
FunASR
综合 80
支持训练、推理、流式 ASR、VAD、标点恢复及 OpenAI/MCP 兼容服务的开源语音识别工具包。
OpenLLM
综合 78
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
omlx
综合 77
面向 Apple Silicon 的 LLM 推理服务器，支持连续批处理与 SSD 缓存，可在 macOS 菜单栏管理。
litgpt
综合 75
支持 20+ 款高性能 LLM，提供规模化预训练、微调及部署方案。
web-llm
综合 73
直接在浏览器内运行的高性能 LLM 推理引擎。
NemoClaw
综合 73
在 NVIDIA OpenShell 中更安全地运行智能体并托管推理服务。
gitleaks
综合 73
用于检测并防止代码仓库泄露密钥、密码等敏感信息的工具。
LMCache
综合 71
专为 LLM 设计的高速 KV Cache 缓存层，有效加速大模型推理与响应。
Langchain-Chatchat
综合 71
基于 Langchain 与主流开源 LLM 构建的本地知识库 RAG 与 Agent 应用框架。
ml-engineering
综合 71
机器学习工程开源电子书。
TensorRT-LLM
综合 70
提供易用的 Python API，针对 NVIDIA GPU 优化 LLM 高效推理加速。
CosyVoice
综合 70
多语言大规模语音生成模型，提供涵盖推理、训练和部署的全栈能力。
ChatTTS
综合 69
专注于日常对话场景的生成式文本转语音（TTS）模型。
FreeToken
综合 68
将数据中心级模型服务带到桌面端，在本地快速高效运行超大模型。
faster-whisper
综合 67
基于 CTranslate2 的高速 Whisper 转录工具。
airllm
综合 67
单张 4GB 显卡即可运行超大规模 LLM 的轻量化推理框架。
ktransformers
综合 67
灵活的异构 LLM 推理与微调优化实验框架。
Halfrost-Field
综合 65
冰霜之地技术博客，包含深度源码解析、系统设计与工程实践笔记。
yolov3
综合 65
YOLOv3 系列的 PyTorch 实现，支持实时目标检测的训练、验证、推理及多格式导出