登录 注册

Speech

去点 Star
图像、视频与音频内容创作与媒体工具AI 模型与开发框架 asrdeeplearninggenerative-aimachine-translationneural-networksspeaker-diariazation
18,727
Stars
3,685
Forks
230
Watchers
443
Open Issues
Apache-2.0
许可证
Python
语言
2019-08-05
创建时间
2026-11-11
最近更新

项目能做什么

NVIDIA 的生成式 AI 框架，专为大语言模型、多模态及语音 AI（ASR 与 TTS）研究与开发打造。
来源：AI 基于仓库事实生成 · 内容以仓库实际 README 为准

使用说明 查看原始 README 原仓库文档

中文使用说明暂未生成。下面保留原仓库 README 摘录，命令与配置均以原文为准。
原始 README 摘录（英文原文，节选前 3000 字符） 
[![Project Status: Active -- The project has reached a stable, usable state and is being actively developed.](http://www.repostatus.org/badges/latest/active.svg)](http://www.repostatus.org/#active)
[![CodeQL](https://github.com/NVIDIA-NeMo/Speech/actions/workflows/codeql.yml/badge.svg?branch=main&event=push)](https://github.com/NVIDIA-NeMo/Speech/actions/workflows/codeql.yml)
[![NeMo Speech license](https://img.shields.io/badge/License-Apache%202.0-brightgreen.svg)](https://github.com/NVIDIA-NeMo/Speech/blob/main/LICENSE)
[![Release version](https://badge.fury.io/py/nemo-toolkit.svg)](https://badge.fury.io/py/nemo-toolkit)
[![Python version](https://img.shields.io/pypi/pyversions/nemo-toolkit.svg)](https://badge.fury.io/py/nemo-toolkit)
[![PyPi total downloads](https://static.pepy.tech/personalized-badge/nemo-toolkit?period=total&units=international_system&left_color=grey&right_color=brightgreen&left_text=downloads)](https://pepy.tech/project/nemo-toolkit)
[![Code style: black](https://img.shields.io/badge/code%20style-black-000000.svg)](https://github.com/psf/black)

# **NVIDIA NeMo Speech**
Checkout our [HuggingFace🤗 collection](https://huggingface.co/collections/nvidia/nemotron-speech) for the latest open
weight checkpoints and demos!

## Updates

> NeMo Speech 3.0 is now available as [release v3.0.0](https://github.com/NVIDIA-NeMo/Speech/releases/tag/v3.0.0)
> and in the [26.07.00 NeMo Speech NGC container](https://catalog.ngc.nvidia.com/orgs/nvidia/containers/nemo-speech?version=26.07.00).
> The final NeMo release before the repository split was
> [v2.7.3](https://github.com/NVIDIA-NeMo/Speech/releases/tag/v2.7.3), available in the
> [26.04 NeMo NGC container](https://catalog.ngc.nvidia.com/orgs/nvidia/containers/nemo?version=26.04).

- 2026-10: [Nemotron 3.5 Transcribe](https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B)
    is now available: an open-weight, offline speech LLM for 40 languages and recordings up to one hour.
    Control transcription with instructions and vocabulary context, request speaker-attributed transcripts with
    word timestamps, translate speech, and ask questions about audio. Start with the
    [NeMo Speech quickstart](https://docs.nvidia.com/nemo/speech/nightly/speechlm2/nemotron_transcribe.html)
    or try the [demo](https://huggingface.co/spaces/nvidia/nemotron-transcribe).
- 2026-07: [MagpieTTS v2607](https://huggingface.co/nvidia/magpie_tts_multilingual_357m) has been released with support
    for 3 new languages (Ar, Ko, Pt) + 9 existing languages (En, Es, De, Fr, Vi, It, Zh, Hi, Ja). Try out
    [the demo](https://huggingface.co/spaces/nvidia/magpie_tts_multilingual_demo)!
- 2026-06: [Nemotron-3.5-ASR-Streaming-0.6B](https://huggingface.co/nvidia/nemotron-3.5-asr-streaming-0.6b) has been released with 40 languages supported, controllable latency 80ms-1s, and 240-2400 1xH100 concurrent streams. Built on cache-aware Fastconformer architecture.
- 2026-04: [Parakeet-unified-en-0.6b](https://hu
阅读完整原文

商业机会分析 AI 生成

垂类行业高精度实时 ASR 与说话人分离微服务

产品构想基于 NeMo 的 Conformer-CTC/AED 识别模型与说话人日志（Diarization）模块，针对医疗问诊、法庭庭审或金融客服等垂直领域进行声学与语言模型微调，打包为高性能流式 WebSocket 容器化 API 交付。
核心功能实时流式语音转文字、多发言人自动切割与角色标识、行业专业术语纠错热词库、私有化一键部署容器
目标用户医院信息化部门、在线会议 SaaS 厂商、呼叫中心质检团队
难度/周期高 · 2 - 4 个月 · 成本：高（需要高端 NVIDIA GPU 如 A100/H100 进行微调与推理基准测试）
收费模式私有化部署授权费（按节点计费）+ 年度维护/模型持续优化服务费
竞争风险垂直领域专有语音语料收集难度大；开源竞品（如 OpenAI Whisper）在通用场景下认知度极高，需在专有术语和实时性上体现明显差异。
依据 数据支持的判断

面向出海视频制作的高保真声音克隆与多语言配音工具

产品构想利用 NeMo 的 FastPitch、HiFi-GAN 及语音翻译能力，构建一个将短视频/播客一键翻译并复刻原作者音色语调的自动化配音平台。
核心功能少样本音色克隆（Few-shot Voice Cloning）、跨语种语音合成（保持原说话人音色）、口型匹配辅助导出、字幕时间轴自动对齐
目标用户跨境电商带货主播、YouTube/TikTok 出海内容创作者、游戏本地化团队
难度/周期中等 · 1 - 3 个月 · 成本：中等（依赖云端 GPU 推理实例及前端开发）
收费模式SaaS 订阅制（按生成语音时长或字数阶梯收费）
竞争风险跨语言情感和韵律还原难度大；面临 ElevenLabs 等成熟商业化产品的强力竞争。
依据 AI推测

NeMo 模型轻量化与边缘端/低算力推理优化解决方案

产品构想针对企业在消费级显卡（如 RTX 4090）或边缘工控机上的部署痛点，利用 TensorRT-LLM / TensorRT 对 NeMo 语音模型进行模型剪枝、量化（INT8/FP8）与算子级优化，提供高性能推理 Runtime 和优化咨询。
核心功能模型 INT8/FP8 量化脚本工具包、TensorRT 深度加速 Runtime、吞吐量与显存占用优化评估报告、开箱即用的推理服务镜像
目标用户边缘计算硬件厂商、机器人/智能座舱研发团队、自建机房的中小企业
难度/周期高 · 2 - 3 个月 · 成本：中等（需要多种规格的硬件测试环境）
收费模式技术咨询与实施服务费、定制化推理引擎授权费
竞争风险对底层 CUDA/TensorRT 工程能力要求极高；受硬件架构迭代影响较大。
依据 已验证事实
AI 基于仓库公开数据分析生成，含推测成分，不构成收益承诺。
报告会保存到 个人中心

竞品与相似项目 GitHub Search 真实检索

项目中文简介Stars语言
fighting41love/funNLP 中文介绍暂未生成
中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、
 84,505 Python
m-bain/whisperX 中文介绍暂未生成
WhisperX: Automatic Speech Recognition with Word-level Time
 25,201 Python
modelscope/FunASR 中文介绍暂未生成
Open-source speech recognition toolkit for training, inferen
 20,993 Python
k2-fsa/sherpa-onnx 中文介绍暂未生成
Speech-to-text, text-to-speech, speaker diarization, speech
15,865 C++
kaldi-asr/kaldi 中文介绍暂未生成
kaldi-asr/kaldi is the official location of the Kaldi projec
 15,514 Shell
alphacep/vosk-api 中文介绍暂未生成
Offline speech recognition API for Android, iOS, Raspberry P
 15,240 Jupyter Notebook
以上为通过 GitHub 官方 Search API 检索的相似项目，功能差异与优劣势需进一步人工确认，配置 AI 后可生成对比分析。

项目优势与风险

技术成熟度创建于 2019-08-05，近 30 天仍在推送，发布过 87 个 Release
社区活跃Star 18,727 / Fork 3,685 / Issue 443（数据支持，可自行核实）
许可证Apache-2.0
主要风险上游项目方向可能变化；同赛道竞争者较多（见竞品表）；热度与需求不完全等价

安装与使用

快速开始（以仓库 README 为准）
git clone https://github.com/NVIDIA-NeMo/Speech.git
cd Speech
docker compose up -d   # 或参考 README 中的 docker run 命令
阅读原仓库文档
术语说明：Docker＝应用容器（把程序和依赖打包运行）；API Key＝调用外部服务的密钥；Git Clone＝把仓库代码下载到本地。常见错误：API Key 未配置 / 端口占用 / 数据库连接失败，多数项目在 README 的 Troubleshooting 章节有说明。