搜索结果：inference（6 个）
按分类缩小范围
airllm
综合 67
单张 4GB 显卡即可运行超大规模 LLM 的轻量化推理框架。
turbo-fieldfare
综合 56
可在任意 M 系列 MacBook 上以约 2GB 内存运行 Gemma 4 26B-A4B 推理。
ubicloud
综合 54
AWS 开源替代方案，提供弹性计算、存储、K8s 及托管 Postgres 等服务。
BitNet
综合 51
微软官方出品，针对 1-bit LLM 的推理框架。
pytorch-image-models
综合 49
PyTorch 图像骨干网络合集，包含各类主流模型、预训练权重及训练推理脚本。
ncnn
综合 39
专为移动端优化的高性能神经网络推理框架。