TokenEconomizer (代码智能体Token成本控制)
开发者工具AI 应用与 AI AgentAI 模型与开发框架
agentic-aiagentic-codingai-codingai-coding-assistantanthropicartificial-intelligence
5,575
Stars
345
Forks
19
Watchers
30
Open Issues
Apache-2.0
许可证
Python
语言
2026-10-13
创建时间
2026-11-08
最近更新
项目能做什么
面向代码 Agent 的经验驱动黑盒成本控制工具,旨在帮助开发者控制并降低调用开销。
来源:AI 基于仓库事实生成
· 内容以仓库实际 README 为准
使用说明 查看原始 README 原仓库文档
项目简介
TokenEconomizer 是由加州大学伯克利分校(UC Berkeley)与微软研究院(Microsoft Research)等团队联合开发的开源工具,旨在为编程智能体(Coding Agents)提供基于经验的“黑盒”成本控制。
在开发过程中,智能体在同一代码仓库内往往会重复浪费 Token(例如重新摸索仓库构建命令、加载无用工具或陷入报错循环)。TokenEconomizer 无需修改智能体本身的实现,而是通过分析历史会话经验,在后续会话中削减冗余开销。在 SWE-Bench 基准测试中,它在 5 种 Agent 与模型组合下实现了 18.4%–30.9% 的平均成本降幅,在全部 30 个测试场景中均降低了花费,并在其中 4 组测试中提升了 Pass@1 任务解决率。
核心功能
TokenEconomizer 主要通过以下三大机制来降低 Token 开销:
- 微技能(Micro-skills)—— 记住仓库特性
智能体在不同会话中往往会反复摸索相同信息(例如:优先执行的构建步骤、必须用
python -m pytest代替pytest、用npx tsc代替tsc、所需环境变量等)。微技能机制通过捕获跨会话的重复报错,并由模型定期复盘(每 k = 3 次会话复盘一次)来总结经验。经 3 次会话验证的事实会在每次新会话开始时注入上下文;若后续出现矛盾则自动剔除。 - 工具修剪(Tool pruning)—— 停止加载闲置工具 智能体每加载一个工具,其定义都会随每次请求发送并占用上下文。如果某个工具在至少 m = 2 次会话的 p = 10 个 Prompt 中均未被使用,或在任意长度的 s = 5 次会话中未被调用,后续会话将通过智能体原生配置将其排除(支持通过单条命令重新启用)。
- 失败循环干预(Failure-loop intervention / Loop guard)—— 阻止卡死循环 当智能体在单次 Prompt 任务(Turn)中反复遇到相同错误时,评估模型会判断其是否陷入死循环。若置信度达到 c = 0.7,系统会在上下文注入提示引导智能体更换实现思路(每次任务最多干预 r = 1 次)。若干预后仍卡住,它会向用户说明如何手动停止,本身绝不会擅自强制终止会话。
适合谁用
- 适合在固定项目/仓库中高频使用 Coding Agents,并希望大幅压缩 API 账单与 Token 消耗的开发者。
- 官方支持的 Agent:Claude Code、Codex、GitHub Copilot CLI、Pi。
- 实验性支持的 Agent:opencode、Cursor Agent、Grok Build、Hermes Agent、Antigravity CLI。
- 基础环境要求:Python 3.10+。
安装步骤
此部分原文未说明,请查看原仓库。
配置说明
此部分原文未说明具体配置文件格式,请查看原仓库。README 中涉及的策略控制参数如下:
- k(默认值 3):模型定期复盘历史会话并提取微技能的会话间隔。
- p(默认值 10)、m(默认值 2)、s(默认值 5):工具修剪判定阈值(跨至少 m 次会话且连续 p 次 Prompt 未使用,或累计 s 次会话未使用)。
- c(默认值 0.7):死循环介入评估模型的置信度阈值。
- r(默认值 1):单次任务(Turn)内引导重试的最大允许次数。
常见问题
此部分原文未说明,请查看原仓库。
原始 README 摘录(英文原文,节选前 3000 字符)
# TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents
<p align="center">
Aaron J. Li<sup>1</sup>,
Weijia Xu<sup>2</sup>,
Chandan Singh<sup>2</sup>,
Zixiao Chen<sup>3</sup>,
Jeevana Priya Inala<sup>2</sup>,
Charlotte Siska<sup>3</sup>,
<br>
Acar Tamersoy<sup>3</sup>,
Bin Yu<sup>1</sup>,
Ion Stoica<sup>1</sup>,
Michel Galley<sup>2</sup>,
Jianfeng Gao<sup>2</sup>
</p>
<p align="center">
<sup>1</sup>UC Berkeley <sup>2</sup>Microsoft Research <sup>3</sup>Microsoft Security
</p>
<p align="center">
<a href="https://arxiv.org/abs/2610.22732"><img src="https://img.shields.io/badge/arXiv-2610.22732-b31b1b.svg" alt="arXiv"></a>
<a href="https://tokeneconomizer.github.io"><img src="https://img.shields.io/badge/project-page-2f6fb0.svg" alt="Project page"></a>
<a href="https://x.com/aaron_jli/status/2114797313613053952"><img src="https://img.shields.io/badge/X-post-000000.svg?logo=x&logoColor=white" alt="X post"></a>
<img src="https://img.shields.io/badge/python-3.10%2B-3776ab.svg" alt="Python 3.10+">
<img src="https://img.shields.io/badge/license-Apache%202.0-blue.svg" alt="Apache 2.0 license">
</p>
<p align="center">
<a href="https://trendshift.io/repositories/315380"><img src="https://trendshift.io/api/badge/trendshift/repositories/315380/daily?language=Python" alt="#1 Python repository of the day on Trendshift" width="250" height="55"></a>
<a href="https://trendshift.io/repositories/315380"><img src="https://trendshift.io/api/badge/trendshift/repositories/315380/weekly?language=Python" alt="#10 Python repository of the week on Trendshift" width="250" height="55"></a>
</p>
<p align="center">
Our measurement on SWE-Bench tasks: <b>18.4–30.9% lower mean cost</b> across five agent–model
combinations, cheaper in <b>all 30</b> repository × combination cells, and Pass@1 up in
<b>4 of 5</b>. <a href="#results">Results</a>
</p>
<p align="center">
<picture>
<source media="(prefers-reduced-motion: reduce)" srcset="docs/assets/teaser.png">
<img src="docs/assets/teaser.gif" width="100%" alt="An animation that opens on a title card: TokenEconomizer, experience-driven black-box cost control for coding agents, with its three mechanisms (micro-skills, tool pruning, failure-loop intervention), the agents it works with (Claude Code, Codex, GitHub Copilot CLI, Pi) and the UC Berkeley and Microsoft logos. Then a schematic of six sessions in one repository, each a bar of what it cost: the work itself plus three kinds of waste, namely re-learning the repo, tools never used, and getting stuck in loops. Each of the first three sessions teaches TokenEconomizer one thing, in order: 1 micro-skills remember how the repo works (run tests with python -m pytest), 2 tool pruning skips tools never used here (Read and Edit kept, Notebook and Browser left out), and 3 failure-loop intervention spots loops and steps in (the same error three times meets a nudge to try another way). In the session
阅读完整原文
商业机会分析 AI 生成
开发者本地/团队版 Token 节流 CLI 代理(Drop-in Proxy / Wrapper)
| 产品构想 | 基于开源核心机制(微技能记忆、工具剪枝、循环拦截),将其包装为开箱即用的本地代理或 CLI 包装器,自动劫持或适配 Claude Code / Copilot CLI / 各种 Agent 流量,提供可视化仪表盘显示省下的 Token 费用。 |
| 核心功能 | 一键包装主流 Coding Agent 命令、自动提取并持久化 repo-level micro-skills、动态 Tool Pruning 过滤配置、实时死循环检测与熔断提示、Token 节省额度统计面板。 |
| 目标用户 | 重度使用各类 Coding Agent 导致个人 API 账单过高的独立开发者、自由职业者及小团队工程师。 |
| 难度/周期 | 中等 · 3-5 周 · 成本:开发机器 + 各大模型 API 测试验证费用(约 $200-$500) |
| 收费模式 | 免费增值模式(个人单仓库免费,多仓库/多 Agent 支持及高级 Loop Guard 策略收取订阅费,如 $9.9/月)。 |
| 竞争风险 | 主流 Coding Agent 本身也在快速迭代内置 Context Caching 和优化机制;各大 Agent 协议更新可能导致 wrapper 失效需要频繁维护。 |
| 依据 | 已验证事实 |
企业级 Coding Agent 成本管控与团队经验沉淀网关(B2B SaaS)
| 产品构想 | 为企业搭建统一的 Agent API Gateway,集中管理开发者的 Coding Agent 流量,跨团队共享仓库级经验事实(如构建命令、CI/CD 规则),实现企业级预算管控、防死循环熔断与 Token 消耗审计。 |
| 核心功能 | 集中式 API 代理与限额配额管理、团队级 Repository 知识自动挖掘与共享库、全局 Tool 裁剪规则下发、企业级 Token 浪费检测告警、FinOps 成本报表与 ROI 分析。 |
| 目标用户 | 50 人以上规模、已在团队内普及 Coding Agent 的研发组织管理者、工程效能负责人、FinOps 团队。 |
| 难度/周期 | 高 · 2-3 个月 · 成本:云端服务架构部署(网关/数据库/Redis)、企业客户合规审计与销售获客成本。 |
| 收费模式 | B2B SaaS 阶梯订阅(按坐席或按企业月度 Token 消耗量抽成/基础服务费),例如 $20/开发者/月。 |
| 竞争风险 | 企业对代码和上下文传输的安全合规要求极高(如代码信息外泄顾虑);销售周期较长。 |
| 依据 | AI推测 |
面向 Coding Agent 开发者的成本优化 SDK / 嵌入式中间件
| 产品构想 | 将经验驱动的三大降本机制(Micro-skills, Tool Pruning, Loop Guard)封装为标准 Python/TypeScript SDK,供第三方 Agent 开发者或开源项目直接集成到其 Agent 运行循环中。 |
| 核心功能 | 零侵入 Session 状态监听与经验记忆持久化 API、动态工具树剪枝引擎、轻量级死循环判定 Judge 模型接口、低延迟开销设计。 |
| 目标用户 | 正在自建垂类 Coding Agent、IDE 插件或企业私有代码助理的初创公司及 AI 应用开发者。 |
| 难度/周期 | 中等 · 4-6 周 · 成本:开源维护精力、文档与示例构建费用(极低)。 |
| 收费模式 | 双重许可协议(商业闭源授权费用)或云端托管记忆与共享状态服务(按 API 调用量计费)。 |
| 竞争风险 | 开发者更倾向直接白嫖开源代码自行重构;SDK 商业变现天花板相对有限。 |
| 依据 | 数据支持的判断 |
AI 基于仓库公开数据分析生成,含推测成分,不构成收益承诺。
报告会保存到 个人中心
竞品与相似项目 GitHub Search 真实检索
| 项目 | 中文简介 | Stars | 语言 |
|---|---|---|---|
| firecrawl/firecrawl | 为 AI Agent 抓取并提供网络数据支持的数据提取工具。 | 200,249 | TypeScript |
| Significant-Gravitas/AutoGPT | 让每个人都能轻松使用和构建自主 AI Agent 的开源工具。 | 187,976 | Python |
| DietrichGebert/ponytail | 让 AI Agent 像资深开发者一样思考,尽量少写不必要的代码。 | 187,893 | JavaScript |
| msitarzewski/agency-agents | 涵盖前端、运营等多专业角色的全套 AI Agent 代理团队。 | 167,541 | Shell |
| langgenius/dify | 用于构建 Agent 工作流与 RAG 管道的大模型协同开发平台。 | 160,797 | Python |
| langflow-ai/langflow | 用于构建和部署 AI Agent 及工作流的开发工具。 | 156,495 | Python |
以上为通过 GitHub 官方 Search API 检索的相似项目,功能差异与优劣势需进一步人工确认,配置 AI 后可生成对比分析。
项目优势与风险
| 技术成熟度 | 创建于 2026-10-13,近 30 天仍在推送,发布过 1 个 Release |
| 社区活跃 | Star 5,575 / Fork 345 / Issue 30(数据支持,可自行核实) |
| 许可证 | Apache-2.0 |
| 主要风险 | 上游项目方向可能变化;同赛道竞争者较多(见竞品表);热度与需求不完全等价 |
安装与使用
快速开始(以仓库 README 为准)
git clone https://github.com/microsoft/TokenEconomizer.git cd TokenEconomizer # 请阅读仓库 README 获取确切安装步骤(依赖、配置、启动命令)
术语说明:Docker=应用容器(把程序和依赖打包运行);API Key=调用外部服务的密钥;Git Clone=把仓库代码下载到本地。常见错误:API Key 未配置 / 端口占用 / 数据库连接失败,多数项目在 README 的 Troubleshooting 章节有说明。