搜索结果：attention（7 个）
按分类缩小范围
RWKV-LM
综合 71
兼具出色 LLM 性能的 RNN 架构，支持像 Transformer 一样并行训练，融合二者优势。
OpenMythos
综合 66
基于公开研究文献与第一性原理，对 Claude Mythos 架构进行的理论性重构项目。
Qwen
综合 63
阿里云开源的通义千问（Qwen）预训练与对话大语言模型官方代码仓库。
vit-pytorch
综合 63
Vision Transformer（ViT）的 PyTorch 简洁实现，用于图像分类任务。
使用 PyTorch 从零开始、循序渐进实现类似 ChatGPT 的大语言模型教程。
kimi-k3-in-c
综合 63
纯 C99 实现的 Kimi K3 推理，无需 GPU、BLAS 或任何框架，单 CPU 和 8.24 GB 内存即可运行。
多种注意力机制、MLP、重参数化及卷积的 PyTorch 实现，辅助理解学术论文。