搜索结果：inference（56 个）

〔中文简介暂未生成〕 CSGHub is a brand-new open-source platform for managing LLMs, developed by the OpenCSG team. It offers both open-source and on-premise/SaaS solutions, with features comparable to Hugging Face. Gain full control over the lifecycle of LLMs, datasets, and agents, with Python SDK compatibility with Hugging Face. Join us! ⭐️

支持将 DeepSeek、Llama 等开源 LLM 作为兼容 OpenAI 的 API 端点在云端运行。

基于 Langchain 与主流开源 LLM 构建的本地知识库 RAG 与 Agent 应用框架。

面向 Apple Silicon 的 LLM 推理服务器，支持连续批处理与 SSD 缓存，可在 macOS 菜单栏管理。

支持 20+ 款高性能 LLM，提供规模化预训练、微调及部署方案。

直接在浏览器内运行的高性能 LLM 推理引擎。

用于检测并防止代码仓库泄露密钥、密码等敏感信息的工具。

机器学习工程开源电子书。

支持训练、推理、流式 ASR、VAD、标点恢复及 OpenAI/MCP 兼容服务的开源语音识别工具包。

〔中文简介暂未生成〕 A PHP static analysis tool for finding errors and security vulnerabilities in PHP applications

YOLOv3 系列的 PyTorch 实现，支持实时目标检测的训练、验证、推理及多格式导出

冰霜之地技术博客，包含深度源码解析、系统设计与工程实践笔记。

AWS 开源替代方案，提供弹性计算、存储、K8s 及托管 Postgres 等服务。

〔中文简介暂未生成〕 Run Stable Diffusion on Android Devices with Snapdragon NPU acceleration. Also supports CPU/GPU inference.

在 NVIDIA OpenShell 中更安全地运行智能体并托管推理服务。

适用于 TypeScript 的穷尽模式匹配库，具备智能类型推断功能。

多语言大规模语音生成模型，提供涵盖推理、训练和部署的全栈能力。

专为 LLM 设计的高速 KV Cache 缓存层，有效加速大模型推理与响应。

〔中文简介暂未生成〕 Native LLM inference server for Apple Silicon. OpenAI + Anthropic API compatible. No Python. Zig backend, Swift frontend macOS app with chat, music, voice, video generation.

提供易用的 Python API，针对 NVIDIA GPU 优化 LLM 高效推理加速。