BigLake
Créer un lakehouse Apache Iceberg avec BigLake
Créez un lakehouse Iceberg ouvert, géré et hautes performances pour permettre l'analyse avancée et la science des données, avec une gestion des données automatisée et une gouvernance intégrée.
Fonctionnalités
Interopérabilité entre les données transactionnelles et analytiques
BigLake Metastore est un métastore sans serveur pour toutes vos tables Iceberg. Des moteurs comme Apache Spark, BigQuery et des plates-formes tierces peuvent l'utiliser pour créer et gérer des tables, ce qui vous permet d'obtenir une vue cohérente de vos données et des contrôles d'accès unifiés. Le métastore BigLake est désormais compatible avec le catalogue Apache Iceberg REST (preview) pour une intégration facile avec les moteurs OSS et tiers. Les tables iceberg sont désormais accessibles dans AlloyDB (preview) pour améliorer l'interopérabilité entre les plates-formes transactionnelles et analytiques.
Gestion et gouvernance unifiées des données
BigLake étend les fonctionnalités de gestion de Google Cloud Storage, ce qui vous permet d'utiliser la classe de stockage automatique pour un classement efficace des données froides et d'appliquer des clés de chiffrement gérées par le client (CMEK) à vos buckets de stockage. Le métastore BigLake s'intègre de manière native au Dataplex Universal Catalog, ce qui permet d'appliquer de manière cohérente les règles de gouvernance définies de manière centralisée sur plusieurs moteurs, tout en activant la recherche sémantique, la traçabilité des données, le profilage et les contrôles de qualité.
Analyses, flux de données et IA hautes performances avec BigQuery
Les tables BigLake pour Apache Iceberg offrent une expérience Iceberg entièrement gérée et adaptée aux entreprises lorsqu'elles sont utilisées avec BigQuery. En stockant les données Apache Iceberg dans vos propres buckets Google Cloud Storage et en exploitant les fonctionnalités de gestion des métadonnées en temps réel et hautement évolutives de BigQuery, vous bénéficiez du meilleur des deux mondes : l'ouverture et la propriété des données associées à GCS, ainsi que l'accès aux fonctionnalités entièrement gérées de BigQuery avec les données Iceberg pour des cas d'utilisation de streaming, d'analyse avancée et d'IA.
Fonctionnement
BigLake offre une implémentation native pour Apache Iceberg sur Cloud Storage. Vous pouvez ainsi exploiter BigQuery ou le moteur Open Source de votre choix directement sur les données Iceberg. BigLake Metastore permet de simplifier la gestion des données et s'intègre à Dataplex Universal Catalog pour une gouvernance unifiée.
BigLake offre une implémentation native pour Apache Iceberg sur Cloud Storage. Vous pouvez ainsi exploiter BigQuery ou le moteur Open Source de votre choix directement sur les données Iceberg. BigLake Metastore permet de simplifier la gestion des données et s'intègre à Dataplex Universal Catalog pour une gouvernance unifiée.
Utilisations courantes
Créer un lakehouse ouvert avec Iceberg
Comprendre les composants Google Cloud d'un data lakehouse ouvert
Comprendre les composants Google Cloud d'un data lakehouse ouvert
Pour créer un lakehouse Iceberg avec BigLake, commencez par stocker vos données dans Cloud Storage. Définissez ensuite ces données à l'aide de tables BigLake pour Apache Iceberg. Le métastore BigLake sert de catalogue centralisé et sans serveur pour ces tables Iceberg, ce qui vous évite de gérer une infrastructure complexe. Cette configuration permet à n'importe quel moteur compatible avec Iceberg d'accéder à vos données et de les gérer de manière cohérente, ce qui vous permet de créer facilement un environnement de lakehouse unifié, ouvert et évolutif.
Tutoriels, guides de démarrage rapide et ateliers
Comprendre les composants Google Cloud d'un data lakehouse ouvert
Comprendre les composants Google Cloud d'un data lakehouse ouvert
Pour créer un lakehouse Iceberg avec BigLake, commencez par stocker vos données dans Cloud Storage. Définissez ensuite ces données à l'aide de tables BigLake pour Apache Iceberg. Le métastore BigLake sert de catalogue centralisé et sans serveur pour ces tables Iceberg, ce qui vous évite de gérer une infrastructure complexe. Cette configuration permet à n'importe quel moteur compatible avec Iceberg d'accéder à vos données et de les gérer de manière cohérente, ce qui vous permet de créer facilement un environnement de lakehouse unifié, ouvert et évolutif.
Analyses détaillées avec BigQuery
Fournir des prédictions et des insights en temps réel pour les services financiers
Fournir des prédictions et des insights en temps réel pour les services financiers
Vous pouvez utiliser Apache Iceberg pour les ensembles de données de lac de données en évolution, comme les transactions ou les flux de marché. BigLake permet à BigQuery d'interroger les tables Iceberg en plus du stockage natif, sans déplacer les données. Vous pouvez ingérer des flux en temps réel dans BigQuery, en les combinant avec des données historiques Iceberg via BigLake pour une analyse immédiate et complète. BigQuery ML génère ensuite des insights en temps réel, comme la volatilité du marché et la détection de fraudes, ainsi que des modèles prédictifs, comme le risque de crédit et le comportement des clients.
Tutoriels, guides de démarrage rapide et ateliers
Fournir des prédictions et des insights en temps réel pour les services financiers
Fournir des prédictions et des insights en temps réel pour les services financiers
Vous pouvez utiliser Apache Iceberg pour les ensembles de données de lac de données en évolution, comme les transactions ou les flux de marché. BigLake permet à BigQuery d'interroger les tables Iceberg en plus du stockage natif, sans déplacer les données. Vous pouvez ingérer des flux en temps réel dans BigQuery, en les combinant avec des données historiques Iceberg via BigLake pour une analyse immédiate et complète. BigQuery ML génère ensuite des insights en temps réel, comme la volatilité du marché et la détection de fraudes, ainsi que des modèles prédictifs, comme le risque de crédit et le comportement des clients.
Activer tous les utilisateurs de données sur une seule copie de données
BigLake offre un accès sécurisé et cohérent à une copie unique des données dans Cloud Storage. Dataplex Universal Catalog catalogue ensuite automatiquement ces données pour que tous les utilisateurs et moteurs de données puissent y accéder. Cela permet d'assurer la cohérence des définitions de données, de faciliter la découverte et d'unifier la gouvernance, ce qui élimine les silos et favorise la collaboration sur une source unique de vérité.
Tutoriels, guides de démarrage rapide et ateliers
BigLake offre un accès sécurisé et cohérent à une copie unique des données dans Cloud Storage. Dataplex Universal Catalog catalogue ensuite automatiquement ces données pour que tous les utilisateurs et moteurs de données puissent y accéder. Cela permet d'assurer la cohérence des définitions de données, de faciliter la découverte et d'unifier la gouvernance, ce qui élimine les silos et favorise la collaboration sur une source unique de vérité.
Tarification
| Fonctionnement des tarifs de BigLake | Les tarifs de BigLake sont basés sur la gestion des tables, le stockage des métadonnées et l'accès aux métadonnées. | |
|---|---|---|
| Services et utilisation | Description | Prix (USD) |
Gestion des tables BigLake | Ressources de calcul permettant de gérer les tables BigLake lors de l'optimisation automatique du stockage des tables | Starting at 0,12 $ par heure d'unités de calcul de données |
Stockage des métadonnées BigLake | BigLake Metastore facture le stockage des métadonnées. Le niveau gratuit inclut 1 Gio d'espace de stockage de métadonnées par mois. | Starting at 0,04 $ par Gio et par mois |
Accès aux métadonnées BigLake | Opérations de classe A : frais d'accès aux métadonnées BigLake pour les opérations d'écriture, de mise à jour, de liste, de création et de configuration, avec un quota gratuit de 5 000 opérations par mois inclus. | Starting at 6,00 $ par million d'opérations |
Opérations de classe B : frais d'accès aux métadonnées BigLake pour les opérations de lecture, de récupération et de suppression, avec un quota gratuit de 50 000 opérations par mois inclus. | Starting at 0,90 $ par million d'opérations | |
Fonctionnement des tarifs de BigLake
Les tarifs de BigLake sont basés sur la gestion des tables, le stockage des métadonnées et l'accès aux métadonnées.
Gestion des tables BigLake
Ressources de calcul permettant de gérer les tables BigLake lors de l'optimisation automatique du stockage des tables
Starting at
0,12 $
par heure d'unités de calcul de données
Stockage des métadonnées BigLake
BigLake Metastore facture le stockage des métadonnées. Le niveau gratuit inclut 1 Gio d'espace de stockage de métadonnées par mois.
Starting at
0,04 $
par Gio et par mois
Accès aux métadonnées BigLake
Opérations de classe A : frais d'accès aux métadonnées BigLake pour les opérations d'écriture, de mise à jour, de liste, de création et de configuration, avec un quota gratuit de 5 000 opérations par mois inclus.
Starting at
6,00 $
par million d'opérations
Opérations de classe B : frais d'accès aux métadonnées BigLake pour les opérations de lecture, de récupération et de suppression, avec un quota gratuit de 50 000 opérations par mois inclus.
Starting at
0,90 $
par million d'opérations
