搜索结果：spark（15 个）

面向 agent、LLM 和 ML 模型的开源 AI 工程平台，支持调试、评估、监控和优化生产级 AI 应用。

支持 ChatGPT API 与多种 LLM 的图形界面，具备 Agent、文件问答、GPT 微调和联网搜索功能。

仅需一行代码，即可对 Pandas 和 Spark DataFrame 进行数据质量分析与探索。

SynapseML（原 MMLSpark）是基于 Apache Spark 的分布式机器学习库，主要解决大规模数据下构建 ML 流水线复杂度高的问题。它无缝兼容 SparkML API，支持在弹性集群上分布式训练，覆盖文本分析、计算机视觉、异常检测及深度学习等任务，并支持 Python、Scala 等多语言调用。

Spark NLP 是基于 Apache Spark 构建的工业级 NLP 与大模型库，解决大规模文本处理在分布式环境中难以扩展的痛点。它提供实体识别、文本分类、问答等功能，内置超 10 万个预训练模型与管道，并支持导入 TensorFlow、ONNX 及 GGUF 模型。

Gluten 是一个为 Spark SQL 提速的中间层插件。它复用 Spark 的分布式控制流，将 JVM 中计算密集的数据处理卸载给 ClickHouse、Velox 等高性能原生引擎。通过 Substrait 转换执行计划并结合 Arrow 列存格式，无需改动现有 SQL 或 DataFrame API 即可实现原生向量化加速。

MLeap 专注于简化机器学习流水线的生产部署。它支持将 Spark 或 Scikit-learn 训练的流水线导出为便携格式（JSON/Protobuf），并直接在轻量级 JVM 运行时上执行，完全脱离对 Spark、sklearn 等重型环境的依赖，实现高性能、跨平台的快速推理。

Delta Sharing 是开源的安全数据共享协议，解决跨计算平台实时交换大数据集的难题。它通过 REST 协议共享云存储上的数据，提供 Python、Spark 连接器及参考服务端，支持直接用 pandas、Spark 等工具读取 Delta Lake 或 Parquet 表。

基于 JVM 的深度学习训练与部署工具套件，支持导入 Keras、TensorFlow、ONNX/PyTorch 等模型。

Scio 是为 Apache Beam 和 Google Cloud Dataflow 打造的 Scala API，风格贴近 Spark。它解决了 Beam 原生开发体验繁琐的问题，提供批流一体的编程模型，深度整合 BigQuery、Pub/Sub 等 GCP 服务，并原生支持 Cassandra、Parquet、TensorFlow 等多样数据源与交互式 REPL。

DataFusion Comet 是 Apache Spark 的高性能加速器。它无需修改现有代码，通过端到端 Apache Arrow 列式格式及基于 Rust 的 DataFusion 原生执行，避免 Spark 行式处理开销。核心加速算子执行、表达式计算、Parquet 扫描与 Shuffle，显著提升查询性能并降低计算成本。

FiloDB 是一款用 Scala 编写的分布式内存时序数据库，主要解决海量指标和事件数据的大规模实时摄取与查询难题。它支持直接从 Kafka 流式摄取并自动分片，兼容 Prometheus 的 PromQL 查询语言，具备基于标签的高效索引及 Spark 支持，适合构建超大规模运维监控系统。

面向大规模机器学习的高性能、灵活的参数服务器（Parameter Server）。

RayDP 解决了传统 AI 流水线中 Spark 数据处理与深度学习训练常需分设独立集群、数据流转慢且运维复杂的问题。 它支持直接在 Ray 集群上运行 Spark，允许开发者在单个 Python 程序中混合编写 PySpark 与 AI 库代码；还提供将 Spark DataFrame 转换为 Ray Dataset 的 API，通过 Ray 内存对象实现高效数据交互。

cudf-spark（原 RAPIDS Accelerator for Apache Spark）是 NVIDIA 开源的 Spark 插件。它利用 cuDF 库调用 GPU 加速 Apache Spark 的大数据处理；其核心功能是在保证计算结果与原生 Spark 严格一致的同时，通过 GPU 提升 SQL 性能，并支持向 XGBoost 等 GPU 应用零拷贝传输数据。