搜索结果：spark（47 个）

一分钟快速搭建影视站，支持 Docker 等多种部署方式。

ZIO Quill 是专为 Scala 打造的编译期语言集成查询（LINQ）库。它解决手写 SQL 繁琐、易出错且有运行时损耗的问题。通过引用 DSL（QDSL）与简单样例类映射数据库，能在编译期直接生成 SQL/CQL 并校验合法性，兼具类型安全与接近原生驱动的高性能。

almond 是一个专为 Jupyter 打造的 Scala 内核（Kernel）。它解决了无法直接在 Jupyter Notebook 中编写和运行 Scala 的问题，提供交互式 REPL 环境，并支持 Spark 与 Spark SQL，方便开发者进行 Scala 数据分析与交互式编程。

Flink 学习资源整理，涵盖基础入门、原理调优、源码解析及实战项目案例。

〔中文简介暂未生成〕 GraphFrames is a package for Apache Spark which provides DataFrame-based Graphs

支持 Android、iOS、macOS、Windows 和 Linux 的跨平台漫画浏览器。

DataFusion Comet 是 Apache Spark 的高性能加速器。它无需修改现有代码，通过端到端 Apache Arrow 列式格式及基于 Rust 的 DataFusion 原生执行，避免 Spark 行式处理开销。核心加速算子执行、表达式计算、Parquet 扫描与 Shuffle，显著提升查询性能并降低计算成本。

为期 9 周的免费数据工程公开课，手把手带你搭建生产级别的数据管道（Data Pipelines）。

GeoMesa 是一个分布式大规模地理空间数据处理套件。它解决了海量时空数据的存储、查询与实时分析难题。核心功能包括在 HBase、Cassandra 等分布式数据库上构建时空索引，结合 Kafka 实现流式空间数据处理，并支持 Spark 分布式分析与 GeoServer（WFS/WMS）地图集成。

〔中文简介暂未生成〕 Neo4j Connector for Apache Spark, which provides bi-directional read/write access to Neo4j from Spark, using the Spark DataSource APIs

FiloDB 是一款用 Scala 编写的分布式内存时序数据库，主要解决海量指标和事件数据的大规模实时摄取与查询难题。它支持直接从 Kafka 流式摄取并自动分片，兼容 Prometheus 的 PromQL 查询语言，具备基于标签的高效索引及 Spark 支持，适合构建超大规模运维监控系统。

面向大规模机器学习的高性能、灵活的参数服务器（Parameter Server）。

方便在 Ruby 中轻松解析和处理 XML 与 HTML 的库。

spark-excel 是一个专为 Apache Spark 打造的插件，主要解决 Spark 原生不支持直接读写 Excel 文件的痛点。它能将 Excel 表格解析为 Spark DataFrame，支持指定单元格区域、表头及数据类型推断；其 V2 版本还支持多文件加载与损坏记录处理。

Apache Toree 是一个专为 Apache Spark 打造的 Jupyter Notebook 内核，主要支持 Scala 语言。它让开发者能通过 Jupyter 交互式连接 Spark 集群，直接编写并运行 Spark 任务、执行代码片段、加载依赖并即时获取计算结果。

GeoTrellis 是一个高性能地理数据处理框架，采用 Scala 编写。它主要解决大规模地理空间栅格与矢量数据的读写与运算难题，支持栅格代数计算；同时深度整合 Spark，并提供针对 S3、HBase 等外部存储及 GDAL、GeoTools 的扩展支持。

spark-testing-base 是一个用于 Spark 应用程序测试的基础库。它解决了每次编写测试时都要手动搭建和销毁本地 Spark 运行环境的麻烦。核心功能是提供预设的测试基类，让开发者直接继承即可快速编写针对 Spark 的单元测试，支持 Scala 和 Python。

RayDP 解决了传统 AI 流水线中 Spark 数据处理与深度学习训练常需分设独立集群、数据流转慢且运维复杂的问题。 它支持直接在 Ray 集群上运行 Spark，允许开发者在单个 Python 程序中混合编写 PySpark 与 AI 库代码；还提供将 Spark DataFrame 转换为 Ray Dataset 的 API，通过 Ray 内存对象实现高效数据交互。

基于 Syncthing 在 iOS 设备上安全同步文件的应用。

spark-solr 是由 Lucidworks 开源的 Spark 与 Solr 集成工具。它主要解决两者之间的数据互通问题，核心功能包括：将 Solr 中的数据读取为 Spark DataFrame 或 RDD 进行分布式处理，以及利用 SolrJ 将 Spark 中的对象数据批量索引写入 Solr。