搜索结果：llm-inference（6 个）
按分类缩小范围
OpenLLM
综合 77
支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。
litgpt
综合 76
支持 20+ 款高性能 LLM，提供规模化预训练、微调及部署方案。
gitleaks
综合 74
用于检测并防止代码仓库泄露密钥、密码等敏感信息的工具。
TensorFold
综合 68
支持 Metal、CUDA 和 Vulkan 的 LLM 推理引擎。
kimi-k3-in-c
综合 53
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
gpt4all （本地大模型运行工具）
综合 48
支持在任意设备上本地运行 LLM 的开源工具，允许免费商业使用。