搜索结果:spark(22 个)
按分类缩小范围
genoffice
综合 73
开源 AI 办公套件,内置 AI Agent,支持文档/表格/幻灯片等编辑,提供 CLI 及供 Claude Code、Cursor 调用的 Agent 技能。
ChuanhuChatGPT
综合 73
支持 ChatGPT API 与多种 LLM 的图形界面,具备 Agent、文件问答、GPT 微调和联网搜索功能。
gluten
综合 66
Gluten 是一个为 Spark SQL 提速的中间层插件。它复用 Spark 的分布式控制流,将 JVM 中计算密集的数据处理卸载给 ClickHouse、Velox 等高性能原生引擎。通过 Substrait 转换执行计划并结合 Arrow 列存格式,无需改动现有 SQL 或 DataFrame API 即可实现原生向量化加速。
delta-sharing
综合 64
Delta Sharing 是开源的安全数据共享协议,解决跨计算平台实时交换大数据集的难题。它通过 REST 协议共享云存储上的数据,提供 Python、Spark 连接器及参考服务端,支持直接用 pandas、Spark 等工具读取 Delta Lake 或 Parquet 表。
spline
综合 64
Spline 是一个基于 Scala 开发的数据血缘追踪与可视化方案。它主要解决大数据处理流程中数据来源与流向不透明的问题,支持 Apache Spark 等框架。核心功能包括自动化捕获作业血缘、通过 REST/Kafka 接口传输并存储血缘数据,以及提供直观的可视化界面。
scio
综合 63
Scio 是为 Apache Beam 和 Google Cloud Dataflow 打造的 Scala API,风格贴近 Spark。它解决了 Beam 原生开发体验繁琐的问题,提供批流一体的编程模型,深度整合 BigQuery、Pub/Sub 等 GCP 服务,并原生支持 Cassandra、Parquet、TensorFlow 等多样数据源与交互式 REPL。
jasmine
综合 61
支持 Android、iOS、macOS、Windows 和 Linux 的漫画浏览器。
kyuubi
综合 61
Apache Kyuubi 是一个分布式、多租户的 Serverless SQL 网关。它提供类 HiveServer2 的 JDBC/ODBC 接口,让开发者无需 Spark 背景,直接用纯 SQL 即可查询数仓与数据湖的大规模数据。服务端支持多租户架构,实现资源隔离、高并发与高可用。
zio-quill
综合 60
〔中文简介暂未生成〕 Compile-time Language Integrated Queries for Scala
almond
综合 60
almond 是一个专为 Jupyter 打造的 Scala 内核(Kernel)。它解决了无法直接在 Jupyter Notebook 中编写和运行 Scala 的问题,提供交互式 REPL 环境,并支持 Spark 与 Spark SQL,方便开发者进行 Scala 数据分析与交互式编程。
flink-learning
综合 59
Flink 学习资源整理,涵盖基础入门、原理调优、源码解析及实战项目案例。
graphframes
综合 59
〔中文简介暂未生成〕 GraphFrames is a package for Apache Spark which provides DataFrame-based Graphs
pikapika
综合 58
支持 Android、iOS、macOS、Windows 和 Linux 的跨平台漫画浏览器。
geomesa
综合 57
GeoMesa 是一个分布式大规模地理空间数据处理套件。它解决了海量时空数据的存储、查询与实时分析难题。核心功能包括在 HBase、Cassandra 等分布式数据库上构建时空索引,结合 Kafka 实现流式空间数据处理,并支持 Spark 分布式分析与 GeoServer(WFS/WMS)地图集成。
neo4j-spark-connector
综合 57
〔中文简介暂未生成〕 Neo4j Connector for Apache Spark, which provides bi-directional read/write access to Neo4j from Spark, using the Spark DataSource APIs
FiloDB
综合 56
FiloDB 是一款用 Scala 编写的分布式内存时序数据库,主要解决海量指标和事件数据的大规模实时摄取与查询难题。它支持直接从 Kafka 流式摄取并自动分片,兼容 Prometheus 的 PromQL 查询语言,具备基于标签的高效索引及 Spark 支持,适合构建超大规模运维监控系统。
spark-excel
综合 53
spark-excel 是一个专为 Apache Spark 打造的插件,主要解决 Spark 原生不支持直接读写 Excel 文件的痛点。它能将 Excel 表格解析为 Spark DataFrame,支持指定单元格区域、表头及数据类型推断;其 V2 版本还支持多文件加载与损坏记录处理。
deeplearning4j
综合 53
基于 JVM 的深度学习训练与部署工具套件,支持导入 Keras、TensorFlow、ONNX/PyTorch 等模型。
incubator-toree
综合 51
Apache Toree 是一个专为 Apache Spark 打造的 Jupyter Notebook 内核,主要支持 Scala 语言。它让开发者能通过 Jupyter 交互式连接 Spark 集群,直接编写并运行 Spark 任务、执行代码片段、加载依赖并即时获取计算结果。
geotrellis
综合 51
GeoTrellis 是一个高性能地理数据处理框架,采用 Scala 编写。它主要解决大规模地理空间栅格与矢量数据的读写与运算难题,支持栅格代数计算;同时深度整合 Spark,并提供针对 S3、HBase 等外部存储及 GDAL、GeoTools 的扩展支持。