Dataproc

Ejecuta cargas de trabajo exigentes de Spark con el control de un clúster de Dataproc gestionado, ahora con una velocidad de consulta 3,6 veces superior* gracias al motor Lightning,** en versión preliminar. Disfruta de mejoras significativas en el rendimiento de las operaciones de Spark SQL y DataFrame. Configura los entornos de Spark según tus necesidades y elige las versiones y las bibliotecas.

*Las consultas se derivan del estándar TPC-DS y del estándar TPC-H, por lo que no se pueden comparar con los resultados publicados del estándar TPC-DS y del estándar TPC-H, ya que estas ejecuciones no cumplen todos los requisitos de la especificación del estándar TPC-DS y del estándar TPC-H.

**Disponible para Dataproc en Compute Engine en el nivel premium.

Personaliza los clústeres de Dataproc con una amplia gama de tipos de máquina (incluidas las GPUs), máquinas virtuales interrumpibles, opciones de disco, políticas de autoescalado, acciones de inicialización, contenedores/imágenes y componentes opcionales. Usa funciones como las plantillas de flujos de trabajo para orquestar trabajos complejos y gestiona clústeres a través de la consola, gcloud, la API o las bibliotecas de cliente. Disfruta de una visibilidad exhaustiva del rendimiento y el estado de los clústeres gracias a la integración con Cloud Monitoring, que ofrece métricas, paneles de control y funciones de alertas completos.

Los clústeres de Dataproc se integran de forma nativa con BigLake Metastore, lo que te permite procesar datos almacenados en formatos abiertos como Apache Iceberg en Cloud Storage. Para las necesidades de metadatos tradicionales basadas en Hive, hay una integración perfecta con el servicio gestionado Dataproc Metastore. Aprovecha el catálogo universal de Dataplex para un descubrimiento, un linaje y una gobernanza unificados en todos tus recursos de lakehouse. Amplía tus aplicaciones de datos conectando Dataproc con BigQuery, Vertex AI, Spanner, Pub/Sub y Data Fusion para crear soluciones integrales y eficaces.

Disfruta de la sólida seguridad de Google Cloud. Configura Kerberos, gestiona el acceso con IAM, aplica políticas de red con Controles de Servicio de VPC y usa CMEK. Integra Dataplex Universal Catalog para gestionar las políticas de forma centralizada y habilita el control de acceso pormenorizado con BigLake.