在 Google Cloud 上构建开放式、托管式和智能的数据湖仓一体

借助集成 Google 行业领先 AI 的高性能数据湖仓一体平台,实现对多模态数据的统一管理与治理。充分利用 Apache Iceberg 和业界首个支持自动扩缩的无服务器 Spark,简化数据处理、分析和 AI 计划。

将 Google 的强大能力引入您的开放式数据湖仓一体

在开放数据格式、智能数据到 AI 治理、加速数据处理和先进 AI 辅助开发工具方面的多项创新相结合,可简化数据管理,加快创新步伐。

BigLake

获得 Apache Iceberg 的开放性以及企业级存储管理

BigLake 提供原生 Iceberg 存储引擎,支持与 Cloud Storage 的互操作性,实现统一的运行时元数据管理,支持高级分析和数据科学,并提供自动化数据管理与内置治理功能。任何兼容 Iceberg 的引擎都可以使用 BigLake 的自动表管理功能来提高查询性能并降低费用。


“与 Google Cloud 的合作成果斐然,我们成功打造了 Snap 的下一代开放式湖仓一体,并在开发者社区普及了 Spark 和 Iceberg。”

Zhengyi Liu,Snap 高级经理、软件工程师

BigLake

获得 Apache Iceberg 的开放性以及企业级存储管理

BigLake 提供原生 Iceberg 存储引擎,支持与 Cloud Storage 的互操作性,实现统一的运行时元数据管理,支持高级分析和数据科学,并提供自动化数据管理与内置治理功能。任何兼容 Iceberg 的引擎都可以使用 BigLake 的自动表管理功能来提高查询性能并降低费用。


“与 Google Cloud 的合作成果斐然,我们成功打造了 Snap 的下一代开放式湖仓一体,并在开发者社区普及了 Spark 和 Iceberg。”

Zhengyi Liu,Snap 高级经理、软件工程师

Google Cloud Serverless for Apache Spark

Serverless Spark 提供高性能和极快的处理速度,且您无需管理集群

借助 Google Cloud Serverless for Apache Spark,转换您的湖仓一体架构。借助新的 Lightning Engine,您可以体验快速启动和零运营开销,同时提高 Spark 工作负载的性能。这种强大的 Gemini 组合可提升工作效率,并将总体拥有成本最多降低 60%


“我们将 SQL 和 Spark 视为访问和转换数据的两种互补方式。Spark 在需要复杂业务逻辑的应用场景中特别有用,这些场景虽然小众,但却对业务至关重要。一个适用于 SQL、Spark 和 AI 的统一平台,再加上笔记本中的开发体验,将大大简化这些关键应用场景。”

Andrés Sopeña Pérez,Trivago 内容工程主管

Dataplex Universal Catalog

简化数据湖仓一体的数据发现、理解和信任

Dataplex Universal Catalog 是 Google Cloud 的统一数据到 AI 治理解决方案。这款 AI 赋能的目录可集中管理 Google Cloud 中的业务、技术和运营元数据,并提供 AI 赋能的数据洞见。它支持 Apache Iceberg 等开放格式,可在整个湖仓一体架构中实现集成式治理。


“Dataplex 帮助我们将数据平台转变为安全、高效、可伸缩的数据生态系统。以数据治理、发现、可观测性和安全合规性为重点,我们具备了应对数字时代的数据管理挑战的能力。Dataplex 使我们的团队能够充分发掘数据的潜力,推动了 Box.Inc 的持续发展和创新。”

Asmita Kulkarni,Box.Inc 高级产品经理

BigQuery Studio 和 IDE 扩展程序

通过精简开发和运营,增强 Apache Spark 在湖仓一体架构中处理高级数据科学和 AI/机器学习工作负载的能力

Dataproc 通过在机器学习运行时中引入 GPU 驱动程序和常用 ML 库等创新,进一步推动 Spark 在湖仓一体架构中的 AI/机器学习应用。BigQuery Studio 和第三方 IDE 中的 Colab Enterprise 笔记本通过集成 Vertex AI 提供完整的 MLOps 功能,并支持简化的生产流水线,以加速数据科学工作。


“Shopify 聘请了一支具有多元化技能组合的团队,力争在数据科学和工程领域保持领先地位。在对 BigQuery Studio 的早期测试中,我们很喜欢 Google 在简化的体验中为不同用户连接不同工具的能力。我们认为这是一次很好的机会,可以减少团队之间的摩擦,同时又不会影响我们预期的 BigQuery 规模。”

Zac Roberts,Shopify 数据工程经理

立即开启您的数据湖仓一体之旅

无论您是迁移旧系统,还是构建以 Iceberg 为核心的数据湖仓一体架构,Google Cloud 都能提供技术支持,帮助您构建开放式、托管式 AI 就绪型湖仓一体平台。