搜索结果:spark(5 个)
按分类缩小范围
fg-data-profiling
综合 69
仅需一行代码,即可对 Pandas 和 Spark DataFrame 进行数据质量分析与探索。
spark-nlp
综合 68
Spark NLP 是基于 Apache Spark 构建的工业级 NLP 与大模型库,解决大规模文本处理在分布式环境中难以扩展的痛点。它提供实体识别、文本分类、问答等功能,内置超 10 万个预训练模型与管道,并支持导入 TensorFlow、ONNX 及 GGUF 模型。
mleap
综合 65
MLeap 专注于简化机器学习流水线的生产部署。它支持将 Spark 或 Scikit-learn 训练的流水线导出为便携格式(JSON/Protobuf),并直接在轻量级 JVM 运行时上执行,完全脱离对 Spark、sklearn 等重型环境的依赖,实现高性能、跨平台的快速推理。
graphframes
综合 59
〔中文简介暂未生成〕 GraphFrames is a package for Apache Spark which provides DataFrame-based Graphs
raydp
综合 51
RayDP 解决了传统 AI 流水线中 Spark 数据处理与深度学习训练常需分设独立集群、数据流转慢且运维复杂的问题。
它支持直接在 Ray 集群上运行 Spark,允许开发者在单个 Python 程序中混合编写 PySpark 与 AI 库代码;还提供将 Spark DataFrame 转换为 Ray Dataset 的 API,通过 Ray 内存对象实现高效数据交互。