搜索结果：dataset（1 个）

RayDP 解决了传统 AI 流水线中 Spark 数据处理与深度学习训练常需分设独立集群、数据流转慢且运维复杂的问题。 它支持直接在 Ray 集群上运行 Spark，允许开发者在单个 Python 程序中混合编写 PySpark 与 AI 库代码；还提供将 Spark DataFrame 转换为 Ray Dataset 的 API，通过 Ray 内存对象实现高效数据交互。