登录 注册
数据分析与数据处理效率与办公工具网站与 SaaS 工具 acidanalyticsbig-datadelta-lakespark
9,074
Stars
2,218
Forks
234
Watchers
1,033
Open Issues
Apache-2.0
许可证
Scala
语言
2019-04-22
创建时间
2026-11-12
最近更新

项目能做什么

Delta Lake 是一个开源存储框架,用于构建 Lakehouse 架构并提供 ACID 事务保证。它解决了大数据湖缺乏事务支持与可靠性的问题,支持对接 Spark、Flink、Trino、PrestoDB 等计算引擎,并为 Scala、Java、Python 等语言提供读写 API。
来源:AI 基于仓库事实生成 · 内容以仓库实际 README 为准

使用说明 查看原始 README 原仓库文档

中文使用说明暂未生成。下面保留原仓库 README 摘录,命令与配置均以原文为准。
原始 README 摘录(英文原文,节选前 3000 字符)
<img src="docs/src/assets/delta-lake-logo-light.svg" width="200" alt="Delta Lake Logo"></img>

[![Test](https://github.com/delta-io/delta/actions/workflows/test.yaml/badge.svg)](https://github.com/delta-io/delta/actions/workflows/test.yaml)
[![License](https://img.shields.io/badge/license-Apache%202-brightgreen.svg)](https://github.com/delta-io/delta/blob/master/LICENSE.txt)
[![PyPI](https://img.shields.io/pypi/v/delta-spark.svg)](https://pypi.org/project/delta-spark/)
[![PyPI - Downloads](https://img.shields.io/pypi/dm/delta-spark)](https://pypistats.org/packages/delta-spark)

Delta Lake is an open-source storage framework that enables building a [Lakehouse architecture](http://cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf) with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs for Scala, Java, Rust, Ruby, and Python. 
* See the [Delta Lake Documentation](https://docs.delta.io) for details.
* See the [Quick Start Guide](https://docs.delta.io/latest/quick-start.html) to get started with Scala, Java and Python.
* Note, this repo is one of many Delta Lake repositories in the [delta.io](https://github.com/delta-io) organizations including
[delta](https://github.com/delta-io/delta), 
[delta-rs](https://github.com/delta-io/delta-rs),
[delta-sharing](https://github.com/delta-io/delta-sharing),
[kafka-delta-ingest](https://github.com/delta-io/kafka-delta-ingest), and
[website](https://github.com/delta-io/website).

The following are some of the more popular Delta Lake integrations, refer to [delta.io/integrations](https://delta.io/integrations/) for the complete list:

* [Apache Spark™](https://docs.delta.io/): This connector allows Apache Spark™ to read from and write to Delta Lake.
* [Apache Flink (Preview)](https://github.com/delta-io/delta/tree/master/connectors/flink): This connector allows Apache Flink to write to Delta Lake.
* [PrestoDB](https://prestodb.io/docs/current/connector/deltalake.html): This connector allows PrestoDB to read from Delta Lake.
* [Trino](https://trino.io/docs/current/connector/delta-lake.html): This connector allows Trino to read from and write to Delta Lake.
* [Delta Standalone](https://docs.delta.io/latest/delta-standalone.html): This library allows Scala and Java-based projects (including Apache Flink, Apache Hive, Apache Beam, and PrestoDB) to read from and write to Delta Lake.
* [Apache Hive](https://docs.delta.io/latest/hive-integration.html): This connector allows Apache Hive to read from Delta Lake.
* [Delta Rust API](https://docs.rs/deltalake/latest/deltalake/): This library allows Rust (with Python and Ruby bindings) low level access to Delta tables and is intended to be used with data processing frameworks like datafusion, ballista, rust-dataframe, vega, etc.

<br/>

<details>
<summary><strong><em>Table of Contents</em></strong></summary>

* [Latest binaries](#latest-binaries)
* [API Documentation](#api-documentation)
* [Compatibility](#compatibility)
  * [API Compatibility](#api-compa
阅读完整原文

项目深度分析 AI 生成

Delta Lake 自动化运维与存储优化 SaaS/Agent

产品构想针对自建 Delta Lake 容易产生海量小文件和冗余版本的问题,提供无侵入式的自动 Compaction、VACUUM 调度、Z-Order 聚簇建议及存储账单优化工具。
核心功能小文件自动合并策略引擎;基于访问热度的智能 VACUUM 与生命周期管理;Z-Order/Liquid Clustering 效果模拟与重构调度;S3 存储开销分析与异常警报看板。
目标用户使用 AWS S3/GCS 且自建 Spark+Delta 湖仓、云存储账单高昂的平台运维工程师与 FinOps 团队。
难度/周期高 · 3-6个月 · 成本:云基础设施测试费用、多引擎环境集成测试集群成本。
收费模式按优化的数据量或节省的云存储/计算费用收取一定百分比抽成,或采用固定月费 SaaS 订阅。
竞争风险Databricks 商业版已内置极强的自动优化功能;开源独立用户可能直接用 Spark 任务自己写定时脚本替代。
依据 已验证事实

轻量级 Delta Lake 元数据监控与数据质量可观测平台

产品构想基于 Delta Transaction Log 构建开箱即用的湖仓可观测看板,监控事务提交频率、写入延迟、数据倾斜、Schema 演进及版本回退分析。
核心功能Delta Log 实时解析与解析指标可视化;Schema 变更警报与历史对比;事务冲突/失败率诊断与告警;表健康度评分与性能劣化归因分析。
目标用户数据平台负责人、负责数据可靠性与 SLA 保障的 DataOps 工程师。
难度/周期中等 · 2-4个月 · 成本:前端与元数据抓取服务端部署成本。
收费模式按监控的表数量或活跃数据量梯级订阅收费,提供私有化部署企业 License。
竞争风险开源 Delta Standalone 仅提供底层解析能力,需要持续适配 Delta 快速演进的 Log Protocol;与现有 DataOps 工具存在重叠竞争。
依据 数据支持的判断

企业级自建湖仓迁移与容灾同步服务

产品构想提供基于 Delta 协议的跨云(如 AWS 到 GCP/Azure)或本地 HDFS 到云端 S3 的增量镜像备份、双活同步与双向校验套件。
核心功能基于 Delta 变更数据捕获(CDF)的增量低延迟同步;跨对象存储一致性校验工具;元数据映射与跨云路径自动重定向;灾备一键演练与流量切换支持。
目标用户金融、跨境电商等有严苛灾备合规要求的大型企业架构师。
难度/周期高 · 4-6个月 · 成本:多区域/多云跨区域流量测试成本、高可用架构验证成本。
收费模式软件 License 许可授权,加上按年计费的专家技术支持与实施咨询费用。
竞争风险跨云网络传输延迟与巨额出口流量费;大客户决策周期长,对纯第三方工具信任门槛高。
依据 AI推测
AI 基于仓库公开数据分析生成,含推测成分,不构成收益承诺。
报告会保存到 个人中心

竞品与相似项目 GitHub Search 真实检索

相似项目数据正在完善中,暂不展示(避免误导)

项目优势与风险

技术成熟度创建于 2019-04-22,近 30 天仍在推送,发布过 39 个 Release
社区活跃Star 9,074 / Fork 2,218 / Issue 1,033(数据支持,可自行核实)
许可证Apache-2.0
主要风险上游项目方向可能变化;同赛道竞争者较多(见竞品表);热度与需求不完全等价

安装与使用

此项目未提供 Docker 镜像,安装步骤以原仓库 README 为准(涉及依赖安装与环境配置,对新手门槛较高)。