delta
9,074
Stars
2,218
Forks
234
Watchers
1,033
Open Issues
Apache-2.0
许可证
Scala
语言
2019-04-22
创建时间
2026-11-12
最近更新
项目能做什么
Delta Lake 是一个开源存储框架,用于构建 Lakehouse 架构并提供 ACID 事务保证。它解决了大数据湖缺乏事务支持与可靠性的问题,支持对接 Spark、Flink、Trino、PrestoDB 等计算引擎,并为 Scala、Java、Python 等语言提供读写 API。
来源:AI 基于仓库事实生成
· 内容以仓库实际 README 为准
使用说明 查看原始 README 原仓库文档
中文使用说明暂未生成。下面保留原仓库 README 摘录,命令与配置均以原文为准。
原始 README 摘录(英文原文,节选前 3000 字符)
<img src="docs/src/assets/delta-lake-logo-light.svg" width="200" alt="Delta Lake Logo"></img> [](https://github.com/delta-io/delta/actions/workflows/test.yaml) [](https://github.com/delta-io/delta/blob/master/LICENSE.txt) [](https://pypi.org/project/delta-spark/) [](https://pypistats.org/packages/delta-spark) Delta Lake is an open-source storage framework that enables building a [Lakehouse architecture](http://cidrdb.org/cidr2021/papers/cidr2021_paper17.pdf) with compute engines including Spark, PrestoDB, Flink, Trino, and Hive and APIs for Scala, Java, Rust, Ruby, and Python. * See the [Delta Lake Documentation](https://docs.delta.io) for details. * See the [Quick Start Guide](https://docs.delta.io/latest/quick-start.html) to get started with Scala, Java and Python. * Note, this repo is one of many Delta Lake repositories in the [delta.io](https://github.com/delta-io) organizations including [delta](https://github.com/delta-io/delta), [delta-rs](https://github.com/delta-io/delta-rs), [delta-sharing](https://github.com/delta-io/delta-sharing), [kafka-delta-ingest](https://github.com/delta-io/kafka-delta-ingest), and [website](https://github.com/delta-io/website). The following are some of the more popular Delta Lake integrations, refer to [delta.io/integrations](https://delta.io/integrations/) for the complete list: * [Apache Spark™](https://docs.delta.io/): This connector allows Apache Spark™ to read from and write to Delta Lake. * [Apache Flink (Preview)](https://github.com/delta-io/delta/tree/master/connectors/flink): This connector allows Apache Flink to write to Delta Lake. * [PrestoDB](https://prestodb.io/docs/current/connector/deltalake.html): This connector allows PrestoDB to read from Delta Lake. * [Trino](https://trino.io/docs/current/connector/delta-lake.html): This connector allows Trino to read from and write to Delta Lake. * [Delta Standalone](https://docs.delta.io/latest/delta-standalone.html): This library allows Scala and Java-based projects (including Apache Flink, Apache Hive, Apache Beam, and PrestoDB) to read from and write to Delta Lake. * [Apache Hive](https://docs.delta.io/latest/hive-integration.html): This connector allows Apache Hive to read from Delta Lake. * [Delta Rust API](https://docs.rs/deltalake/latest/deltalake/): This library allows Rust (with Python and Ruby bindings) low level access to Delta tables and is intended to be used with data processing frameworks like datafusion, ballista, rust-dataframe, vega, etc. <br/> <details> <summary><strong><em>Table of Contents</em></strong></summary> * [Latest binaries](#latest-binaries) * [API Documentation](#api-documentation) * [Compatibility](#compatibility) * [API Compatibility](#api-compa阅读完整原文
项目深度分析 AI 生成
Delta Lake 自动化运维与存储优化 SaaS/Agent
| 产品构想 | 针对自建 Delta Lake 容易产生海量小文件和冗余版本的问题,提供无侵入式的自动 Compaction、VACUUM 调度、Z-Order 聚簇建议及存储账单优化工具。 |
| 核心功能 | 小文件自动合并策略引擎;基于访问热度的智能 VACUUM 与生命周期管理;Z-Order/Liquid Clustering 效果模拟与重构调度;S3 存储开销分析与异常警报看板。 |
| 目标用户 | 使用 AWS S3/GCS 且自建 Spark+Delta 湖仓、云存储账单高昂的平台运维工程师与 FinOps 团队。 |
| 难度/周期 | 高 · 3-6个月 · 成本:云基础设施测试费用、多引擎环境集成测试集群成本。 |
| 收费模式 | 按优化的数据量或节省的云存储/计算费用收取一定百分比抽成,或采用固定月费 SaaS 订阅。 |
| 竞争风险 | Databricks 商业版已内置极强的自动优化功能;开源独立用户可能直接用 Spark 任务自己写定时脚本替代。 |
| 依据 | 已验证事实 |
轻量级 Delta Lake 元数据监控与数据质量可观测平台
| 产品构想 | 基于 Delta Transaction Log 构建开箱即用的湖仓可观测看板,监控事务提交频率、写入延迟、数据倾斜、Schema 演进及版本回退分析。 |
| 核心功能 | Delta Log 实时解析与解析指标可视化;Schema 变更警报与历史对比;事务冲突/失败率诊断与告警;表健康度评分与性能劣化归因分析。 |
| 目标用户 | 数据平台负责人、负责数据可靠性与 SLA 保障的 DataOps 工程师。 |
| 难度/周期 | 中等 · 2-4个月 · 成本:前端与元数据抓取服务端部署成本。 |
| 收费模式 | 按监控的表数量或活跃数据量梯级订阅收费,提供私有化部署企业 License。 |
| 竞争风险 | 开源 Delta Standalone 仅提供底层解析能力,需要持续适配 Delta 快速演进的 Log Protocol;与现有 DataOps 工具存在重叠竞争。 |
| 依据 | 数据支持的判断 |
企业级自建湖仓迁移与容灾同步服务
| 产品构想 | 提供基于 Delta 协议的跨云(如 AWS 到 GCP/Azure)或本地 HDFS 到云端 S3 的增量镜像备份、双活同步与双向校验套件。 |
| 核心功能 | 基于 Delta 变更数据捕获(CDF)的增量低延迟同步;跨对象存储一致性校验工具;元数据映射与跨云路径自动重定向;灾备一键演练与流量切换支持。 |
| 目标用户 | 金融、跨境电商等有严苛灾备合规要求的大型企业架构师。 |
| 难度/周期 | 高 · 4-6个月 · 成本:多区域/多云跨区域流量测试成本、高可用架构验证成本。 |
| 收费模式 | 软件 License 许可授权,加上按年计费的专家技术支持与实施咨询费用。 |
| 竞争风险 | 跨云网络传输延迟与巨额出口流量费;大客户决策周期长,对纯第三方工具信任门槛高。 |
| 依据 | AI推测 |
AI 基于仓库公开数据分析生成,含推测成分,不构成收益承诺。
报告会保存到 个人中心
竞品与相似项目 GitHub Search 真实检索
相似项目数据正在完善中,暂不展示(避免误导)
项目优势与风险
| 技术成熟度 | 创建于 2019-04-22,近 30 天仍在推送,发布过 39 个 Release |
| 社区活跃 | Star 9,074 / Fork 2,218 / Issue 1,033(数据支持,可自行核实) |
| 许可证 | Apache-2.0 |
| 主要风险 | 上游项目方向可能变化;同赛道竞争者较多(见竞品表);热度与需求不完全等价 |
安装与使用
此项目未提供 Docker 镜像,安装步骤以原仓库 README 为准(涉及依赖安装与环境配置,对新手门槛较高)。