搜索结果:spark(47 个)
按分类缩小范围
mlflow
综合 81
面向 agent、LLM 和 ML 模型的开源 AI 工程平台,支持调试、评估、监控和优化生产级 AI 应用。
genoffice
综合 74
开源 AI 办公套件,内置 AI Agent,支持文档/表格/幻灯片等编辑,提供 CLI 及供 Claude Code、Cursor 调用的 Agent 技能。
ChuanhuChatGPT
综合 72
支持 ChatGPT API 与多种 LLM 的图形界面,具备 Agent、文件问答、GPT 微调和联网搜索功能。
plotly.py
综合 69
面向 Python 的交互式图表与数据可视化库。
fg-data-profiling
综合 69
仅需一行代码,即可对 Pandas 和 Spark DataFrame 进行数据质量分析与探索。
typescript-eslint
综合 69
让 ESLint 支持检查 TypeScript 代码的完整工具链仓库。
SynapseML
综合 68
SynapseML(原 MMLSpark)是基于 Apache Spark 的分布式机器学习库,主要解决大规模数据下构建 ML 流水线复杂度高的问题。它无缝兼容 SparkML API,支持在弹性集群上分布式训练,覆盖文本分析、计算机视觉、异常检测及深度学习等任务,并支持 Python、Scala 等多语言调用。
delta
综合 68
Delta Lake 是一个开源存储框架,用于构建 Lakehouse 架构并提供 ACID 事务保证。它解决了大数据湖缺乏事务支持与可靠性的问题,支持对接 Spark、Flink、Trino、PrestoDB 等计算引擎,并为 Scala、Java、Python 等语言提供读写 API。
spark-nlp
综合 68
Spark NLP 是基于 Apache Spark 构建的工业级 NLP 与大模型库,解决大规模文本处理在分布式环境中难以扩展的痛点。它提供实体识别、文本分类、问答等功能,内置超 10 万个预训练模型与管道,并支持导入 TensorFlow、ONNX 及 GGUF 模型。
zeppelin
综合 66
基于 Web 的数据分析笔记本,支持 SQL、Scala 等语言进行交互式分析与协同办公。
gluten
综合 66
Gluten 是一个为 Spark SQL 提速的中间层插件。它复用 Spark 的分布式控制流,将 JVM 中计算密集的数据处理卸载给 ClickHouse、Velox 等高性能原生引擎。通过 Substrait 转换执行计划并结合 Arrow 列存格式,无需改动现有 SQL 或 DataFrame API 即可实现原生向量化加速。
mleap
综合 65
MLeap 专注于简化机器学习流水线的生产部署。它支持将 Spark 或 Scikit-learn 训练的流水线导出为便携格式(JSON/Protobuf),并直接在轻量级 JVM 运行时上执行,完全脱离对 Spark、sklearn 等重型环境的依赖,实现高性能、跨平台的快速推理。
delta-sharing
综合 64
Delta Sharing 是开源的安全数据共享协议,解决跨计算平台实时交换大数据集的难题。它通过 REST 协议共享云存储上的数据,提供 Python、Spark 连接器及参考服务端,支持直接用 pandas、Spark 等工具读取 Delta Lake 或 Parquet 表。
hudi
综合 64
支持大数据 Upsert、Delete 及增量处理的数据湖框架。
spline
综合 64
Spline 是一个基于 Scala 开发的数据血缘追踪与可视化方案。它主要解决大数据处理流程中数据来源与流向不透明的问题,支持 Apache Spark 等框架。核心功能包括自动化捕获作业血缘、通过 REST/Kafka 接口传输并存储血缘数据,以及提供直观的可视化界面。
deeplearning4j
综合 63
基于 JVM 的深度学习训练与部署工具套件,支持导入 Keras、TensorFlow、ONNX/PyTorch 等模型。
scio
综合 63
Scio 是为 Apache Beam 和 Google Cloud Dataflow 打造的 Scala API,风格贴近 Spark。它解决了 Beam 原生开发体验繁琐的问题,提供批流一体的编程模型,深度整合 BigQuery、Pub/Sub 等 GCP 服务,并原生支持 Cassandra、Parquet、TensorFlow 等多样数据源与交互式 REPL。
jasmine
综合 61
支持 Android、iOS、macOS、Windows 和 Linux 的漫画浏览器。
kyuubi
综合 61
Apache Kyuubi 是一个分布式、多租户的 Serverless SQL 网关。它提供类 HiveServer2 的 JDBC/ODBC 接口,让开发者无需 Spark 背景,直接用纯 SQL 即可查询数仓与数据湖的大规模数据。服务端支持多租户架构,实现资源隔离、高并发与高可用。
bootswatch
综合 60
Bootstrap 开源主题合集。