• 内存中处理：与基于磁盘的系统相比，Spark 将数据加载到内存中，从而显著加快迭代算法和交互式查询的速度。
• 分布式执行：在机器集群上运行。驱动程序会协调执行器（工作器进程），使其在不同数据分区上并行运行任务。
• RDD 和 DataFrame：弹性分布式数据集 (RDD) 是基本的容错数据抽象。DataFrame 基于 RDD 构建，为结构化数据提供更丰富的支持架构的 API，并通过 Catalyst 优化器实现优化。
• 惰性求值和 DAG：Spark 会构建一系列操作的有向无环图 (DAG)。转换是“惰性”的（不会立即计算），因此 Spark 可以在“操作”触发执行之前优化整个工作流。

Apache Spark 是一个快速通用集群计算引擎，可以部署在 Hadoop 集群中或以独立模式部署。借助 Spark，程序员可以使用 Java、Scala、Python、R 和 SQL 快速编写应用，这使得具有统计学经验的开发者、数据科学家和高级商业人士都可以使用它。使用 Spark SQL，用户可以连接到任何数据源，并将其呈现为可供 SQL 客户端使用的表。此外，交互式机器学习算法可以在 Spark 中轻松实现。

使用像 Apache Impala、Apache Hive 或 Apache Drill 这样仅支持 SQL 的引擎，用户只能使用 SQL 或类似 SQL 的语言来查询存储在多个数据库中的数据。这意味着与 Spark 相比，这些框架要小一些。 不过，在 Google Cloud 上，您无需在二者之间严格选择；BigQuery 提供强大的 SQL 功能，而 Google Cloud Serverless for Apache Spark 和用于 Spark 与 Hadoop 的 Dataproc 托管式服务让您能够充分利用 Spark 的多功能性，通常可通过 BigLake Metastore 和开放格式在同一数据上操作。

许多公司都在使用 Spark 帮助其简化具有挑战性的计算密集型任务，即处理和分析大量实时或归档数据，包括结构化和非结构化数据。Spark 还能让用户无缝整合相关的复杂功能，如机器学习和图算法。 常见应用包括：

• 大规模 ETL/ELT
• 实时数据处理
• 机器学习
• 交互式数据探索
• 图表分析

数据工程师使用 Spark 编写和构建数据处理作业，并可选择使用更广泛的语言集进行编程。在 Google Cloud 上，数据工程师可以利用 Google Cloud Serverless for Apache Spark 构建零运维的 ETL/ELT 流水线，也可以使用 Dataproc 进行托管式集群控制，并与 BigQuery 和 Dataplex Universal Catalog 等服务集成以实现统一治理。

数据科学家可以将 Spark 与 GPU 结合使用，获取更丰富的分析和机器学习经验。使用熟悉的语言更快速地处理大量数据的能力有助于加速创新。 Google Cloud 为 Spark 提供强大的 GPU 支持，并可与 Vertex AI 无缝集成，帮助数据科学家更快速地构建和部署模型。他们可以利用各种笔记本环境，例如 BigQuery Studio、Vertex AI Workbench，也可以连接他们首选的 IDE，例如 Jupyter 和 VS Code。这种灵活的开发体验结合 Gemini，可加快从初始探索到生产部署的整个工作流。

• Google Cloud Serverless for Apache Spark：无需管理任何集群即可运行 Spark 作业，实现真正的零运维体验。可获益于近乎即时启动、自动扩缩，以及 Lightning Engine 和 Gemini 带来的性能提升。非常适合 ETL、数据科学和交互式分析，尤其是与 BigQuery 集成时。
• Dataproc：如果您需要更灵活地控制集群环境，或需要 Spark 之外的特定 Hadoop 生态系统组件，Dataproc 提供的是一项全托管式服务。Dataproc 简化了集群创建和管理，还受益于 Lightning Engine 增强功能，可提升 Spark 性能。
• 统一的开放式生态系统：在 Google Cloud 上运行 Spark 意味着与 BigQuery（用于统一分析）、Vertex AI（用于 MLOps）、BigLake Metastore（用于开放元数据共享）和 Dataplex Universal Catalog（用于全面数据治理）等服务无缝集成，所有这些服务都支持开放式湖仓一体架构。