登录 注册
数据分析与数据处理网络与基础设施AI 应用与 AI Agent agentic-aiagentic-ai-developmentagentneoagentsai-agent-monitoringai-application-debugging
16,195
Stars
3,572
Forks
37
Watchers
48
Open Issues
Apache-2.0
许可证
Python
语言
2024-08-26
创建时间
2026-02-11
最近更新

项目能做什么

Agent AI 可观测性、监控与评估框架的 Python SDK,支持链路追踪、多 Agent 调试及自托管看板。
来源:AI 基于仓库事实生成 · 内容以仓库实际 README 为准

使用说明 查看原始 README 原仓库文档

中文使用说明暂未生成。下面保留原仓库 README 摘录,命令与配置均以原文为准。
原始 README 摘录(英文原文,节选前 3000 字符)
# RagaAI Catalyst  ![GitHub release (latest by date)](https://img.shields.io/github/v/release/raga-ai-hub/ragaai-catalyst) ![GitHub stars](https://img.shields.io/github/stars/raga-ai-hub/ragaai-catalyst?style=social)  ![Issues](https://img.shields.io/github/issues/raga-ai-hub/ragaai-catalyst) 

RagaAI Catalyst is a comprehensive platform designed to enhance the management and optimization of LLM projects. It offers a wide range of features, including project management, dataset management, evaluation management, trace management, prompt management, synthetic data generation, and guardrail management. These functionalities enable you to efficiently evaluate, and safeguard your LLM applications.

## Table of Contents

- [RagaAI Catalyst](#ragaai-catalyst)
  - [Installation](#installation)
  - [Configuration](#configuration)
  - [Usage](#usage)
    - [Project Management](#project-management)
    - [Dataset Management](#dataset-management)
    - [Evaluation Management](#evaluation)
    - [Trace Management](#trace-management)
    - [Agentic Tracing](#agentic-tracing)
    - [Prompt Management](#prompt-management)
    - [Synthetic Data Generation](#synthetic-data-generation)
    - [Guardrail Management](#guardrail-management)
    - [Red-teaming](#red-teaming)

## Installation

To install RagaAI Catalyst, you can use pip:

```bash
pip install ragaai-catalyst
```

## Configuration

Before using RagaAI Catalyst, you need to set up your credentials. You can do this by setting environment variables or passing them directly to the `RagaAICatalyst` class:

```python
from ragaai_catalyst import RagaAICatalyst

catalyst = RagaAICatalyst(
    access_key="YOUR_ACCESS_KEY",
    secret_key="YOUR_SECRET_KEY",
    base_url="BASE_URL"
)
```
you'll need to generate authentication credentials:

1. Navigate to your profile settings
2. Select "Authenticate" 
3. Click "Generate New Key" to create your access and secret keys

![How to generate authentication keys](docs/img/autheticate.gif)

**Note**: Authetication to RagaAICatalyst is necessary to perform any operations below.


## Usage

### Project Management

Create and manage projects using RagaAI Catalyst:

```python
# Create a project
project = catalyst.create_project(
    project_name="Test-RAG-App-1",
    usecase="Chatbot"
)

# Get project usecases
catalyst.project_use_cases()

# List projects
projects = catalyst.list_projects()
print(projects)
```
![Projects](docs/img/create_project.gif)

### Dataset Management
Manage datasets efficiently for your projects:

```py
from ragaai_catalyst import Dataset

# Initialize Dataset management for a specific project
dataset_manager = Dataset(project_name="project_name")

# List existing datasets
datasets = dataset_manager.list_datasets()
print("Existing Datasets:", datasets)

# Create a dataset from CSV
dataset_manager.create_from_csv(
    csv_path='path/to/your.csv',
    dataset_name='MyDataset',
    schema_mapping={'column1': 'schema_element1', 'column2': 'schema_element
阅读完整原文

商业机会分析 AI 生成

Catalyst 托管版云端追踪与分析平台 (SaaS)

产品构想针对不想自行维护 Dashboard、存储后端与跨团队协作的中小团队,提供全托管的 Catalyst 收集器与高可用分析后台。
核心功能兼容 Catalyst SDK 的单行接入 Endpoint、海量 Trace 数据的压缩与持久化、团队权限分配、多智能体耗时与 Token 消耗聚合报表。
目标用户快速迭代 AI Agent 的初创公司、独立开发者团队。
难度/周期中等 · 4-6 周 · 成本:几百元至上千元/月(初期主要是云服务器、时序/日志数据库如 ClickHouse 成本)
收费模式免费额度(如每月 5 万次 Span)+ 阶梯式用量订阅(按 Trace 写入量与存储天数计费)。
竞争风险Langfuse、Arize 等现有成熟可观测性开源工具的云端产品竞争。
依据 已验证事实

Agent CI/CD 回归测试与自动化评测工作流插件

产品构想基于 Catalyst 的执行图与评估能力,打包 GitHub Actions / GitLab CI 插件,用于在 Agent Prompt 或代码变更时自动运行多轮测试并生成对比报告。
核心功能版本间 Agent 轨迹对比视图、工具调用准确率回归测试套件、CI 阶段断言失败阻断合并、HTML/Markdown 评测差异报告。
目标用户注重交付稳定性的企业 AI 研发团队、自动化测试工程师。
难度/周期低至中等 · 2-3 周 · 成本:极低(主要是开发与测试环境支出)
收费模式核心开源插件 + 企业高级规则集订阅 / 商业许可证售卖。
竞争风险测试集维护成本高,用户可能倾向于自行编写简单的评测脚本。
依据 数据支持的判断

高合规场景 Agent 审计与私有化交付服务

产品构想面向金融、医疗、政企等对数据安全敏感的客户,提供 Catalyst 的完整私有部署包(含 RBAC、数据脱敏、审计归档)与定制集成咨询。
核心功能开箱即用的 Docker/K8s 离线部署包、PII 敏感数据自动脱敏过滤网关、符合合规标准的不可篡改审计日志导出、企业 LDAP/SSO 单点登录集成。
目标用户传统企业数字化转型部门、金融/法务领域垂直 Agent 解决方案商。
难度/周期中等 · 3-4 周 · 成本:极低(时间成本为主)
收费模式项目制部署咨询费 + 商业版私有镜像按年订阅授权。
竞争风险企业销售周期长,定制化服务较重。
依据 AI推测
AI 基于仓库公开数据分析生成,含推测成分,不构成收益承诺。
报告会保存到 个人中心

竞品与相似项目 GitHub Search 真实检索

项目中文简介Stars语言
firecrawl/firecrawl 中文介绍暂未生成
Supercharge your AI agents with data from the web and beyond
200,458 TypeScript
DietrichGebert/ponytail 中文介绍暂未生成
Makes your AI agent think like the laziest senior dev in the
188,314 JavaScript
Significant-Gravitas/AutoGPT 中文介绍暂未生成
AutoGPT is the vision of accessible AI for everyone, to use
187,985 Python
msitarzewski/agency-agents 中文介绍暂未生成
A complete AI agency at your fingertips - From frontend wiza
167,641 Shell
langgenius/dify 中文介绍暂未生成
Build Agentic workflows, RAG pipelines, with rich AI model a
160,876 Python
langflow-ai/langflow 中文介绍暂未生成
Langflow is a powerful tool for building and deploying AI-po
156,511 Python
以上为通过 GitHub 官方 Search API 检索的相似项目,功能差异与优劣势需进一步人工确认,配置 AI 后可生成对比分析。

项目优势与风险

技术成熟度创建于 2024-08-26,最近推送 2026-02-11,发布过 19 个 Release
社区活跃Star 16,195 / Fork 3,572 / Issue 48(数据支持,可自行核实)
许可证Apache-2.0
主要风险上游项目方向可能变化;同赛道竞争者较多(见竞品表);热度与需求不完全等价

安装与使用

快速开始(以仓库 README 为准)
git clone https://github.com/raga-ai-hub/RagaAI-Catalyst.git
cd RagaAI-Catalyst
# 请阅读仓库 README 获取确切安装步骤(依赖、配置、启动命令)
阅读原仓库文档
术语说明:Docker=应用容器(把程序和依赖打包运行);API Key=调用外部服务的密钥;Git Clone=把仓库代码下载到本地。常见错误:API Key 未配置 / 端口占用 / 数据库连接失败,多数项目在 README 的 Troubleshooting 章节有说明。