搜索结果：llm-inference（5 个）
按分类缩小范围
OpenLLM
综合 78
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
litgpt
综合 75
支持 20+ 款高性能 LLM，提供规模化预训练、微调及部署方案。
gitleaks
综合 73
用于检测并防止代码仓库泄露密钥、密码等敏感信息的工具。
kimi-k3-in-c
综合 63
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
gpt4all （本地大模型运行工具）
综合 57
支持在任意设备上本地运行 LLM 的开源工具，允许免费商业使用。