搜索结果:spark(10 个)
按分类缩小范围
genoffice
综合 74
开源 AI 办公套件,内置 AI Agent,支持文档/表格/幻灯片等编辑,提供 CLI 及供 Claude Code、Cursor 调用的 Agent 技能。
delta
综合 68
Delta Lake 是一个开源存储框架,用于构建 Lakehouse 架构并提供 ACID 事务保证。它解决了大数据湖缺乏事务支持与可靠性的问题,支持对接 Spark、Flink、Trino、PrestoDB 等计算引擎,并为 Scala、Java、Python 等语言提供读写 API。
zeppelin
综合 66
基于 Web 的数据分析笔记本,支持 SQL、Scala 等语言进行交互式分析与协同办公。
mleap
综合 65
MLeap 专注于简化机器学习流水线的生产部署。它支持将 Spark 或 Scikit-learn 训练的流水线导出为便携格式(JSON/Protobuf),并直接在轻量级 JVM 运行时上执行,完全脱离对 Spark、sklearn 等重型环境的依赖,实现高性能、跨平台的快速推理。
zio-quill
综合 60
ZIO Quill 是专为 Scala 打造的编译期语言集成查询(LINQ)库。它解决手写 SQL 繁琐、易出错且有运行时损耗的问题。通过引用 DSL(QDSL)与简单样例类映射数据库,能在编译期直接生成 SQL/CQL 并校验合法性,兼具类型安全与接近原生驱动的高性能。
neo4j-spark-connector
综合 57
〔中文简介暂未生成〕 Neo4j Connector for Apache Spark, which provides bi-directional read/write access to Neo4j from Spark, using the Spark DataSource APIs
spark-excel
综合 53
spark-excel 是一个专为 Apache Spark 打造的插件,主要解决 Spark 原生不支持直接读写 Excel 文件的痛点。它能将 Excel 表格解析为 Spark DataFrame,支持指定单元格区域、表头及数据类型推断;其 V2 版本还支持多文件加载与损坏记录处理。
geotrellis
综合 51
GeoTrellis 是一个高性能地理数据处理框架,采用 Scala 编写。它主要解决大规模地理空间栅格与矢量数据的读写与运算难题,支持栅格代数计算;同时深度整合 Spark,并提供针对 S3、HBase 等外部存储及 GDAL、GeoTools 的扩展支持。
spark-testing-base
综合 51
spark-testing-base 是一个用于 Spark 应用程序测试的基础库。它解决了每次编写测试时都要手动搭建和销毁本地 Spark 运行环境的麻烦。核心功能是提供预设的测试基类,让开发者直接继承即可快速编写针对 Spark 的单元测试,支持 Scala 和 Python。
cudf-spark
综合 46
cudf-spark(原 RAPIDS Accelerator for Apache Spark)是 NVIDIA 开源的 Spark 插件。它利用 cuDF 库调用 GPU 加速 Apache Spark 的大数据处理;其核心功能是在保证计算结果与原生 Spark 严格一致的同时,通过 GPU 提升 SQL 性能,并支持向 XGBoost 等 GPU 应用零拷贝传输数据。