搜索结果：spark（7 个）

SynapseML（原 MMLSpark）是基于 Apache Spark 的分布式机器学习库，主要解决大规模数据下构建 ML 流水线复杂度高的问题。它无缝兼容 SparkML API，支持在弹性集群上分布式训练，覆盖文本分析、计算机视觉、异常检测及深度学习等任务，并支持 Python、Scala 等多语言调用。

Delta Sharing 是开源的安全数据共享协议，解决跨计算平台实时交换大数据集的难题。它通过 REST 协议共享云存储上的数据，提供 Python、Spark 连接器及参考服务端，支持直接用 pandas、Spark 等工具读取 Delta Lake 或 Parquet 表。

Spline 是一个基于 Scala 开发的数据血缘追踪与可视化方案。它主要解决大数据处理流程中数据来源与流向不透明的问题，支持 Apache Spark 等框架。核心功能包括自动化捕获作业血缘、通过 REST/Kafka 接口传输并存储血缘数据，以及提供直观的可视化界面。

Scio 是为 Apache Beam 和 Google Cloud Dataflow 打造的 Scala API，风格贴近 Spark。它解决了 Beam 原生开发体验繁琐的问题，提供批流一体的编程模型，深度整合 BigQuery、Pub/Sub 等 GCP 服务，并原生支持 Cassandra、Parquet、TensorFlow 等多样数据源与交互式 REPL。

Apache Kyuubi 是一个分布式、多租户的 Serverless SQL 网关。它提供类 HiveServer2 的 JDBC/ODBC 接口，让开发者无需 Spark 背景，直接用纯 SQL 即可查询数仓与数据湖的大规模数据。服务端支持多租户架构，实现资源隔离、高并发与高可用。

一分钟快速搭建影视站，支持 Docker 等多种部署方式。

为期 9 周的免费数据工程公开课，手把手带你搭建生产级别的数据管道（Data Pipelines）。