搜索结果：spark（21 个）

面向 agent、LLM 和 ML 模型的开源 AI 工程平台，支持调试、评估、监控和优化生产级 AI 应用。

面向 Python 的交互式图表与数据可视化库。

SynapseML（原 MMLSpark）是基于 Apache Spark 的分布式机器学习库，主要解决大规模数据下构建 ML 流水线复杂度高的问题。它无缝兼容 SparkML API，支持在弹性集群上分布式训练，覆盖文本分析、计算机视觉、异常检测及深度学习等任务，并支持 Python、Scala 等多语言调用。

仅需一行代码，即可对 Pandas 和 Spark DataFrame 进行数据质量分析与探索。

Delta Lake 是一个开源存储框架，用于构建 Lakehouse 架构并提供 ACID 事务保证。它解决了大数据湖缺乏事务支持与可靠性的问题，支持对接 Spark、Flink、Trino、PrestoDB 等计算引擎，并为 Scala、Java、Python 等语言提供读写 API。

基于 Web 的数据分析笔记本，支持 SQL、Scala 等语言进行交互式分析与协同办公。

Gluten 是一个为 Spark SQL 提速的中间层插件。它复用 Spark 的分布式控制流，将 JVM 中计算密集的数据处理卸载给 ClickHouse、Velox 等高性能原生引擎。通过 Substrait 转换执行计划并结合 Arrow 列存格式，无需改动现有 SQL 或 DataFrame API 即可实现原生向量化加速。

支持大数据 Upsert、Delete 及增量处理的数据湖框架。

Spline 是一个基于 Scala 开发的数据血缘追踪与可视化方案。它主要解决大数据处理流程中数据来源与流向不透明的问题，支持 Apache Spark 等框架。核心功能包括自动化捕获作业血缘、通过 REST/Kafka 接口传输并存储血缘数据，以及提供直观的可视化界面。

〔中文简介暂未生成〕 Compile-time Language Integrated Queries for Scala

Flink 学习资源整理，涵盖基础入门、原理调优、源码解析及实战项目案例。

〔中文简介暂未生成〕 GraphFrames is a package for Apache Spark which provides DataFrame-based Graphs

DataFusion Comet 是 Apache Spark 的高性能加速器。它无需修改现有代码，通过端到端 Apache Arrow 列式格式及基于 Rust 的 DataFusion 原生执行，避免 Spark 行式处理开销。核心加速算子执行、表达式计算、Parquet 扫描与 Shuffle，显著提升查询性能并降低计算成本。

为期 9 周的免费数据工程公开课，手把手带你搭建生产级别的数据管道（Data Pipelines）。

GeoMesa 是一个分布式大规模地理空间数据处理套件。它解决了海量时空数据的存储、查询与实时分析难题。核心功能包括在 HBase、Cassandra 等分布式数据库上构建时空索引，结合 Kafka 实现流式空间数据处理，并支持 Spark 分布式分析与 GeoServer（WFS/WMS）地图集成。

〔中文简介暂未生成〕 Neo4j Connector for Apache Spark, which provides bi-directional read/write access to Neo4j from Spark, using the Spark DataSource APIs

FiloDB 是一款用 Scala 编写的分布式内存时序数据库，主要解决海量指标和事件数据的大规模实时摄取与查询难题。它支持直接从 Kafka 流式摄取并自动分片，兼容 Prometheus 的 PromQL 查询语言，具备基于标签的高效索引及 Spark 支持，适合构建超大规模运维监控系统。

spark-excel 是一个专为 Apache Spark 打造的插件，主要解决 Spark 原生不支持直接读写 Excel 文件的痛点。它能将 Excel 表格解析为 Spark DataFrame，支持指定单元格区域、表头及数据类型推断；其 V2 版本还支持多文件加载与损坏记录处理。

〔中文简介暂未生成〕 Tools for reading data from Solr as a Spark RDD and indexing objects from Spark into Solr using SolrJ.

涵盖数据工程各方面学习资源的精选指南仓库。