DeepInfer （DeepSeek模型推理框架）

{
  "name": "DeepInfer",
  "description": "DeepSeek 官方开源的高性能大规模模型推理框架，支撑其线上生产服务，提供离线推理及面向大规模服务优化的核心特性。",
  "target_users": "拥有 NVIDIA SM100 或华为昇腾 950 等高端硬件环境，需要对 DeepSeek 系列模型（当前为 DeepSeek-V4.1-Flash）进行高性能大规模离线推理和算子调优的进阶开发者或企业团队。",
  "features": [
    "极致优化的底层算子：集成 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及定制的 TileLang 算子",
    "丰富的并行策略：支持 Attention DP / balanced CP、MoE EP + EPLB",
    "投机解码加速：支持 DSpark 与基于置信度调度的验证机制（confidence-scheduled verification）",
    "SWA 有界回放（bounded replay）：通过仅重放有界后缀减少解码预填充工作量",
    "异步调度：零开销批处理调度器，CPU 批处理与硬件执行重叠运行（默认开启）",
    "一致性与确定性推理：支持 Batch-invariant 推理（跨不同 batch 组合输出一致）与确定性采样（Deterministic sampling，仅限 NVIDIA）",
    "结构化输出：支持通过正则表达式、JSON schema 或 EBNF 语法约束生成结果"
  ],
  "installation": [
    {
      "step": 1,
      "command": "# 需提前准备 Linux、GCC >= 13.0 以及纯净的 Python 3.12 虚拟环境\n# 若使用华为昇腾平台，请将 nvidia 替换为 ascend\nexport DEEPINFER_ACCELERATOR=nvidia",
      "description": "配置目标加速硬件环境变量（运行 DeepInfer 时环境需保持该变量）"
    },
    {
      "step": 2,
      "command": "./build.sh",
      "description": "执行源码编译脚本完成安装"
    }
  ],
  "configuration": [
    {
      "name": "DEEPINFER_ACCELERATOR",
      "type": "string",
      "default": "无",
      "description": "指定底层硬件加速器类型，可选 'nvidia' 或 'ascend'。"
    },
    {
      "name": "DEEPINFER_HF_MODEL_DIR",
      "type": "string",
      "default": "无（默认从 Hugging Face 自动下载 deepseek-ai/DeepSeek-V4.1-Flash-1017）",
      "description": "本地模型权重目录路径，用于替代从 Hugging Face 线上下载。"
    },
    {
      "name": "DEEPINFER_ENABLE_MTP_VARLEN",
      "type": "integer",
      "default": "无",
      "description": "设为 1 时启用 DSpark 和基于置信度的投机解码验证。"
    },
    {
      "name": "DEEPINFER_USE_NEXTN_DECODE",
      "type": "integer",
      "default": "5",
      "description": "控制投机解码时的最大 draft token 长度。"
    },
    {
      "name": "DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE",
      "type": "string",
      "default": "无（V4.1 推荐设置为 'compact'）",
      "description": "设置解码器 SWA 有界回放截断模式。"
    },
    {
      "name": "DEEPINFER_YOCO_PREFILL_KEEP_TOKENS",
      "type": "integer",
      "default": "无（V4.1 推荐设置为 140）",
      "description": "设置有界回放保留的后缀 token 数量，必须覆盖 SWA 窗口加上最大回溯长度。"
    },
    {
      "name": "DEEPINFER_BATCH_INVARIANT",
      "type": "integer",
      "default": "无",
      "description": "设为 1 时启用 Batch-invariant 推理，确保不同 batch 组合输出一致（仅限 NVIDIA）。"
    }
  ],
  "faq": [
    {
      "question": "DeepInfer 支持哪些硬件和模型？",
      "answer": "模型目前支持 DeepSeek-V4.1-Flash。硬件仅支持 NVIDIA SM100 GPU（需 CUDA 13）和华为昇腾 Ascend 950 NPU（需 CANN 9.2）。"
    },
    {
      "question": "可以直接用它搭建完整的生产级线上 API 推理服务吗？",
      "answer": "当前开源版本主要提供离线推理功能。搭建完整在线推理服务所需的部分组件（如独立的 KV cache 系统、Prefill/Decode 分离架构的完整服务串联、Prefill 和 Decode 副本间的数据并行负载均衡等）本版本暂未包含。"
    },
    {
      "question": "如何进行结构化输出和确定性采样？",
      "answer": "确定性采样需设置环境变量 DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0，并在 SamplingParams 中传入固定的 seq_seed（仅限 NVIDIA）；结构化输出需在 SamplingParams 中配置 so_args={\"schema_type\": ..., \"schema\": ...}。"
    },
    {
      "question": "如何运行离线推理示例？",
      "answer": "配置好环境后执行命令：python examples/offline_inference.py 即可。若已下载模型，可先设置 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017。"
    }
  ],
  "quick_start_markdown": "## 项目简介\n\nDeepInfer 是支撑 DeepSeek 大规模线上生产服务的高性能模型推理框架。当前开源版本提供了离线推理能力以及大规模服务所需的关键核心技术。\n\n**当前支持模型：**\n- DeepSeek-V4.1-Flash\n\n**支持硬件：**\n- NVIDIA SM100 GPUs (CUDA 13)\n- 华为昇腾 Huawei Ascend 950 NPUs (CANN 9.2)\n\n> **注意（完整服务说明）：** 构建完整推理服务所需的组件（如 KV cache 系统、VE/Prefill/Decode 分离架构以及数据并行副本间的负载均衡）此版本尚未包含。\n\n## 核心功能\n\n- **算子与运行时深度优化：** 包含 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及专用 TileLang 算子。\n- **先进并行架构：** 支持 Attention DP / balanced CP、MoE EP + EPLB。\n- **DSpark 与置信度调度验证：** 借助草稿 token 加速解码，并利用置信度评估进行验证调度。\n- **Decoder SWA 有界回放：** 仅重放有界后缀，降低解码预填充阶段开销。\n- **异步调度机制：** CPU 批处理调度与计算设备执行并行重叠，默认开启且零开销。\n- **Batch-invariant 与确定性推理：** 消除批次组合对输出结果的影响（仅限 NVIDIA）。\n- **结构化输出约束：** 允许通过正则表达式、JSON Schema 或 EBNF 语法强制规范模型输出。\n\n## 适合谁用\n\n拥有 NVIDIA SM100 或华为昇腾 950 硬件，且需要对 DeepSeek 系列模型进行极高吞吐量离线推理、算子实验或架构探索的系统级开发人员。\n\n## 安装步骤\n\n### 环境要求\n- Linux 系统\n- GCC >= 13.0\n- Python 3.12 纯净环境\n- CUDA 13（NVIDIA 平台）或 CANN 9.2（Ascend 平台）\n\n### 源码编译安装\n\n在激活的 Python 3.12 环境中运行：\n\n```bash\n# 若在昇腾平台运行，请将 nvidia 改为 ascend；运行时也需维持该环境变量\nexport DEEPINFER_ACCELERATOR=nvidia\n./build.sh\n```\n\n### 离线推理测试\n\n首次运行会自动下载 Hugging Face 权重 `deepseek-ai/DeepSeek-V4.1-Flash-1017`；若已有本地文件，请配置本地路径后运行：\n\n```bash\n# 可选：指定本地权重路径\n# export DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017\n\npython examples/offline_inference.py\n```\n\n## 配置说明\n\n通过环境变量或参数传入控制框架行为：\n\n- `DEEPINFER_ACCELERATOR`：硬件后端，设为 `nvidia` 或 `ascend`。\n- `DEEPINFER_HF_MODEL_DIR`：模型权重本地目录路径。\n- `DEEPINFER_ENABLE_MTP_VARLEN=1`：开启 DSpark 和投机解码验证。\n- `DEEPINFER_USE_NEXTN_DECODE`：最大 draft 长度（默认值为 `5`）。\n- `DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact` 与 `DEEPINFER_YOCO_PREFILL_KEEP_TOKENS=140`：V4.1 默认设置下的 SWA 有界回放配置。\n- `DEEPINFER_BATCH_INVARIANT=1`：开启批次无关推理（仅 NVIDIA）。\n- 确定性采样设置：配置 `DEEPINFER_BATCH_INVARIANT=1 DEEPINFER_ENABLE_MTP_VARLEN=0` 并在调用 `SamplingParams` 时指定固定 `seq_seed`。\n- 结构化输出设置：在 `SamplingParams` 中传递 `so_args={\"schema_type\": ..., \"schema\": ...}`。\n\n## 常见问题\n\n- **问：支持消费级显卡（如 RTX 4090）或其他数据中心 GPU（如 H100/A100）吗？**  \n  答：原文明确支持的硬件仅列出了 NVIDIA SM100 GPUs 与 Huawei Ascend 950 NPUs，其他硬件支持情况请查看原仓库动态。\n- **问：如何复现官方 Benchmark 性能数据？**  \n  答：请参阅仓库提供的脚本 `examples/sweep/run_sweep.sh`，更多评测细节可参考 `eval/README.md`。"
}