登录 注册

llama.cpp （C/C++ 大语言模型推理）

去点 Star
AI 模型与开发框架
134,066
Stars
0
Forks
0
Watchers
0
Open Issues
未知
许可证
C++
语言
创建时间
最近更新

项目能做什么

基于 C/C++ 实现的轻量高效 LLM 推理框架。
来源：AI 基于仓库事实生成 · 内容以仓库实际 README 为准

使用说明 查看原始 README 原仓库文档

项目简介

llama.cpp 是一个基于 C/C++ 开发的高性能大语言模型（LLM）与视觉语言模型（VLM）推理工具，底层依托 ggml 库构建。其核心目标是在极简配置要求下，跨多种本地和云端硬件实现业界领先的推理性能。

核心功能

  • 纯 C/C++ 实现：原生无第三方依赖。
  • 全面硬件优化：
  • Apple Silicon 深度优化：针对 ARM NEON、Accelerate 和 Metal 框架调优。
  • x86 架构：支持 AVX、AVX2、AVX512 和 AMX 指令集。
  • RISC-V 架构：支持 RVV、ZVFH、ZFH、ZICBOP 及 ZIHINTPAUSE。
  • 多 GPU 与加速后端：支持 NVIDIA GPU（自研 CUDA 内核）、AMD GPU（HIP）、摩尔线程 GPU（MUSA），以及 Vulkan、SYCL、CANN（华为昇腾）、OpenCL 等。
  • 多级别模型量化：支持 1.5-bit、2-bit、3-bit、4-bit、5-bit、6-bit 和 8-bit 整数量化，有效降低显存占用并提升推理速度。
  • CPU + GPU 混合推理：当模型大小超出显存容量时，支持将部分层卸载至 GPU 协同加速。
  • 开箱即用的工具：自带命令行交互工具（llama cli）与兼容 OpenAI API 规范的高性能服务（llama serve，内置 Web UI）。

适合谁用

适合希望在各种本地硬件（如 Mac、普通 PC、各类型 GPU 或 NPU 设备）上低资源占用、轻量化、无需复杂运行环境部署与运行大语言模型及视觉模型的开发者。

安装步骤

根据系统环境选择以下任一方式：

1. 快捷一键脚本安装

  • Linux / macOS（curl）： bash curl -LsSf https://llama.app/install.sh | sh

  • Windows（PowerShell）： bash irm https://llama.app/install.ps1 | iex

2. 其他安装方式

  • 访问官方引导网站：https://llama.app 并按照页面提示操作。
  • 使用 Docker 镜像运行（详情参考官方文档 docs/docker.md）。
  • 直接前往 Releases 页面 下载对应系统的预编译二进制文件。
  • 克隆源码自行编译（详情参考官方构建文档 docs/build.md）。

3. 快速上手运行

安装完成后，可直接拉取并运行模型：

# 直接从 Hugging Face 下载并以命令行交互模式运行模型
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

# 启动兼容 OpenAI 接口规范的 API 服务（包含内置 Web UI）
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

配置说明

此部分原文未说明，请查看原仓库。

常见问题

此部分原文未说明，请查看原仓库。

原始 README 摘录（英文原文，节选前 3000 字符） 
# llama.cpp

![llama](https://raw.githubusercontent.com/ggml-org/llama.brand/refs/heads/master/cover/llama-cpp/cover-llama-cpp-dark.svg)

<div align="center">

<b>LLM inference in C/C++</b>

[![License: MIT](https://img.shields.io/badge/license-MIT-blue.svg)](https://opensource.org/licenses/MIT)
[![Release](https://img.shields.io/github/v/release/ggml-org/llama.cpp?filter=v*&color=brightgreen)](https://github.com/ggml-org/llama.cpp/releases?q=tag:v0)
[![Nightly](https://img.shields.io/github/v/release/ggml-org/llama.cpp?label=nightly&filter=b*&color=orange)](https://github.com/ggml-org/llama.cpp/releases?q=b)
[![Server](https://img.shields.io/github/actions/workflow/status/ggml-org/llama.cpp/server.yml?label=Server)](https://github.com/ggml-org/llama.cpp/actions/workflows/server.yml)
[![Docker](https://img.shields.io/github/actions/workflow/status/ggml-org/llama.cpp/docker.yml?label=Docker)](https://github.com/ggml-org/llama.cpp/actions/workflows/docker.yml)
[![Winget](https://img.shields.io/github/actions/workflow/status/ggml-org/llama.cpp/winget.yml?label=Winget)](https://github.com/ggml-org/llama.cpp/actions/workflows/winget.yml)

[ggml](https://github.com/ggml-org/ggml) / [ops](https://github.com/ggml-org/llama.cpp/blob/master/docs/ops.md) / [maintainer PRs](https://github.com/ggml-org/llama.cpp/pulls?q=is%3Apr%20is%3Aopen%20draft%3AFalse%20(author%3Asanmai%20OR%20author%3Argerganov%20OR%20author%3AKitaitiMakoto%20OR%20author%3Adanbev%20OR%20author%3Aaldehir%20OR%20author%3Amax-krasnyansky%20OR%20author%3ACISC%20OR%20author%3Aggerganov%20OR%20author%3Aam17an%20OR%20author%3Ajhen0409%20OR%20author%3Abartowski1182%20OR%20author%3Anikwen%20OR%20author%3Ahipudding%20OR%20author%3Aravi9%20OR%20author%3AServeurpersoCom%20OR%20author%3Athelittlefireman%20OR%20author%3Apwilkin%20OR%20author%3Areeselevine%20OR%20author%3Angxson%20OR%20author%3Ajeffbolznv%20OR%20author%3Amarty1885%20OR%20author%3A0cc4m%20OR%20author%3ATitaniumtown%20OR%20author%3Aangt%20OR%20author%3AIMbackK%20OR%20author%3Aarthw%20OR%20author%3AJohannesGaessler%20OR%20author%3AORippler%20OR%20author%3Aruixiang63%20OR%20author%3Axctan%20OR%20author%3AmasterFoad%20OR%20author%3Aallozaur%20OR%20author%3AAndreas-Krebbel%20OR%20author%3Ayomaytk%20OR%20author%3Aaendk%20OR%20author%3Awine99%20OR%20author%3Agaugarg-nv%20OR%20author%3Ataronaeo%20OR%20author%3Aforforever73%20OR%20author%3Achaxu01%20OR%20author%3Alhez%20OR%20author%3AAlekseiNikiforovIBM%20OR%20author%3Anetrunnereve%20OR%20author%3Afairydreaming%20OR%20author%3Aynankani)%20sort%3Aupdated-desc) / [dev stats](https://github.com/ggml-org/llama.cpp-dev) / [lib llama API](https://github.com/ggml-org/llama.cpp/issues/9289) / [llama-server REST API](https://github.com/ggml-org/llama.cpp/issues/9291)

</div>

## Quick start

A few options to get `llama.cpp` installed on your machine:

```bash
# curl
curl -LsSf https://llama.app/install.sh | sh

# powershell
irm https://llama.app/install.ps1 | iex
```

- Visit https://llama.app and follow
阅读完整原文

商业机会分析 AI 生成

隐私优先的垂直行业本地多模态桌面端应用

产品构想基于 MIT 协议将 llama.cpp 预编译二进制或 libllama 封装进本地桌面客户端，结合其 VLM（视觉语言模型）和本地量化推理能力，面向特定离线场景（如本地文档/票据/图纸分析、隐私知识库问答）提供零配置的商用软件。
核心功能一键下载匹配本地硬件的 GGUF 模型（类似内置 llama cli -hf 能力）；文档与图像本地解析（利用 VLM 支持）；针对 Apple Silicon/普通 PC 的自动硬件后端探测与显存保护。
目标用户推测：律师、财务、医生、科研人员及对云端 API 数据泄露敏感的个人/小微团队。
难度/周期中（无需修改 C++ 推理内核，主要工作在跨平台 UI 封装与业务工作流，推测） · 4-8 周完成 MVP（推测） · 成本：低，主要为个人开发时间及测试用主流 PC/Mac 设备与签名证书费用（推测）
收费模式一次性买断授权、年度更新订阅或高级业务插件付费（推测，不承诺收益）
竞争风险同质化竞争激烈（市面上已有基于 llama.cpp 的开源 UI 如 LM Studio/Ollama 生态竞争）；底层模型更新快需持续跟进版本集成（推测）。
依据 AI推测

企业内网异构算力私有推理管理平台

产品构想原生 llama-server 提供无状态的 OpenAI 兼容接口（部署特征显示原生无内置数据库与外部 API Key 管理体系）。以此为基础开发企业级控制面，增加多用户 API Key 鉴权、配额限流、多模型动态加载卸载及 CPU+GPU 混合节点监控面板。
核心功能统一 API 网关与权限数据库集成；自动化 Docker 部署编排（基于 docs/docker.md 扩展）；多节点/多进程生命周期管理与推理延迟监控面板。
目标用户推测：拥有闲置旧服务器、工作站或异构 GPU（NVIDIA/AMD/Intel SYCL/摩尔线程 MUSA 等）但缺乏运维能力的成长型企业与研发部门。
难度/周期中高（需兼顾并发调度、进程隔离与稳定运维，推测） · 8-12 周完成 MVP（推测） · 成本：中，需多硬件环境（CUDA/HIP/纯 CPU 服务器）进行兼容性测试（推测）
收费模式B2B 私有化部署年度许可费、按节点数收费或企业运维支持服务（推测，不承诺收益）
竞争风险与 vLLM、Ollama 等成熟推理服务生态存在正面竞争；大企业采购周期长，独立开发者在商务与售后 SLA 方面面临挑战（推测）。
依据 尚需验证的假设

端侧与异构硬件的 GGUF 量化及性能调优技术服务

产品构想利用项目对 RISC-V、ARM NEON、x86 AVX512/AMX、Vulkan、SYCL、MUSA 等广泛硬件的支持，为硬件厂商或嵌入式应用团队提供专有模型转 GGUF 格式、不同比特（1.5-bit 到 8-bit）量化精度损失评测与推理延迟优化服务。
核心功能定制模型算子适配评估；1.5-bit 至 8-bit 量化基准评测报告；CPU+GPU 混合推理参数调优与编译构建交付。
目标用户推测：边缘计算设备商、国产/异构算力卡厂商、需要将大模型塞入低内存终端的软硬件集成商。
难度/周期高（要求具备扎实的 C++、底层架构指令集及大模型量化原理能力，推测） · 2-4 周搭建评测工具链即可接单（推测） · 成本：低至中，主要依赖目标硬件样机采购或客户远程测试环境提供（推测）
收费模式项目制技术咨询费、定制算子开发外包费或年度技术顾问费（推测，不承诺收益）
竞争风险高度依赖个人底层工程口碑，交付难以完全标准化和规模化（推测）。
依据 数据支持的判断
AI 基于仓库公开数据分析生成，含推测成分，不构成收益承诺。
报告会保存到 个人中心

竞品与相似项目 GitHub Search 真实检索

项目中文简介Stars语言
ggml-org/ggml 中文介绍暂未生成
Tensor library for machine learning
 15,603 C++
leejet/stable-diffusion.cpp 中文介绍暂未生成
Diffusion model(SD,Flux,Wan,Qwen Image,Z-Image,Minimax H3,..
 7,972 C++
rustformers/llm 中文介绍暂未生成
[Unmaintained, see README] An ecosystem of Rust libraries fo
 6,145 Rust
0xShug0/audio.cpp 中文介绍暂未生成
An all-in-one, pure C++ inference engine for audio models, p
 4,151 C++
handy-computer/transcribe.cpp 中文介绍暂未生成
ggml speech-to-text inference for 16+ model families
 2,157 C++
guinmoon/LLMFarm 中文介绍暂未生成
llama and other large language models on iOS and MacOS offl
 2,080 C
以上为通过 GitHub 官方 Search API 检索的相似项目，功能差异与优劣势需进一步人工确认，配置 AI 后可生成对比分析。

项目优势与风险

技术成熟度创建于 ，最近推送 ，发布过 100 个 Release
社区活跃Star 134,066 / Fork 0 / Issue 0（数据支持，可自行核实）
许可证未检测到（需人工确认）
主要风险上游项目方向可能变化；同赛道竞争者较多（见竞品表）；热度与需求不完全等价

安装与使用

快速开始（以仓库 README 为准）
git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
# 请阅读仓库 README 获取确切安装步骤（依赖、配置、启动命令）
阅读原仓库文档
术语说明：Docker＝应用容器（把程序和依赖打包运行）；API Key＝调用外部服务的密钥；Git Clone＝把仓库代码下载到本地。常见错误：API Key 未配置 / 端口占用 / 数据库连接失败，多数项目在 README 的 Troubleshooting 章节有说明。