Ein offenes, verwaltetes und intelligentes Data Lakehouse in Google Cloud erstellen
Mit einem leistungsstarken Data Lakehouse, das in die branchenführende KI von Google eingebunden ist, können Sie Ihre multimodalen Daten vereinheitlichen und verwalten. Nutzen Sie Apache Iceberg und das branchenweit erste serverlose Spark mit Autoscaling, um Datenverarbeitung, Analysen und KI-Initiativen zu vereinfachen.
Neue Entwicklungen in Sachen offene Datenformate, intelligente Governance von Daten bis hin zu KI, beschleunigter Datenverarbeitung und erweiterter KI-gestützte Entwicklungstools sorgen für eine optimierte Datenverwaltung und beschleunigen Innovationen.
BigLake
Offenheit von Apache Iceberg mit Speicherverwaltung auf Unternehmensniveau nutzen
BigLake bietet eine native Iceberg-Speicher-Engine für die Interoperabilität von Cloud-Speicher, eine einheitliche Runtime-Metadatenverwaltung, erweiterte Analysen und Data Science und eine automatisierte Datenverwaltung mit integrierter Governance. Jede Iceberg-kompatible Engine kann die automatische Tabellenverwaltung von BigLake nutzen, um die Abfrageleistung zu verbessern und die Kosten zu senken.
“Die Partnerschaft mit Google Cloud war für uns von entscheidender Bedeutung, um das offene Lakehouse der nächsten Generation von Snap zu entwickeln und Spark und Iceberg in unserer Entwickler-Community zu demokratisieren.”
Zhengyi Liu, Senior Manager, Software Engineer, Snap
Google Cloud Serverless für Apache Spark
Serverless Spark bietet hohe Leistung und blitzschnelle Verarbeitung – ohne Clusterverwaltung
Transformieren Sie Ihr Lakehouse mit Google Cloud Serverless für Apache Spark. Mit der neuen Lightning Engine profitieren Sie von einem schnellen Start und einem minimalen operativen Aufwand bei gleichzeitiger Leistungssteigerung Ihrer Spark-Arbeitslasten. Die leistungsstarke Kombination mit Gemini steigert die Produktivität und ermöglicht bis zu 60 % niedrigere Gesamtbetriebskosten.
“Wir sehen SQL und Spark als zwei sich ergänzende Möglichkeiten, auf Daten zuzugreifen und sie zu transformieren. Spark ist für uns vor allem in Anwendungsfällen nützlich, die eine komplexe Geschäftslogik erfordern, die zwar Nischenanwendungen sind, aber extrem geschäftskritisch sind. Eine einheitliche Plattform für SQL, Spark und KI mit der Entwicklungsumgebung in Notebooks vereinfacht diese wichtigen Anwendungsfälle erheblich.”
Andrés Sopeña Pérez, Head of Content Engineering, Trivago
Dataplex Universal Catalog
Datenermittlung, -verständnis und -vertrauen für Ihr Data Lakehouse vereinfachen
Dataplex Universal Catalog ist die einheitliche Data-to-AI-Governance-Lösung für Google Cloud. Der KI-gestützte Katalog zentralisiert geschäftliche, technische und betriebliche Metadaten in Google Cloud und bietet KI-gestützte Statistiken. Er unterstützt offene Formate wie Apache Iceberg, um eine integrierte Governance für Ihr gesamtes Lakehouse zu ermöglichen.
“Dataplex hat uns dabei geholfen, unsere Datenplattform in eine sichere, effiziente und skalierbare Datenumgebung zu verwandeln. Mit dem Schwerpunkt auf Data Governance, Datenerkennung, Beobachtbarkeit und Sicherheitskonformität sind wir bestens gerüstet, um die Herausforderungen der Datenverwaltung im digitalen Zeitalter zu meistern. Mit Dataplex können unsere Teams das volle Potenzial von Daten ausschöpfen und das Wachstum und die Innovation von Box.Inc vorantreiben.”
Asmita Kulkarni, Senior Product Manager, Box, Inc.
BigQuery Studio und IDE-Erweiterungen
Optimierung von Apache Spark für anspruchsvolle Data-Science- und AI/ML-Arbeitslasten in Lakehouse-Architekturen durch Vereinfachung der Entwicklung und des Betriebs
Dataproc verbessert Spark für KI/ML in Lakehouses mit neuen Innovationen für ML-Runtimes mit GPU-Treibern und gängigen ML-Bibliotheken. Colab Enterprise-Notebooks in BigQuery Studio und IDEs von Drittanbietern bieten integrierte MLOps mit Vertex AI und optimierte Produktionspipelines, um die Extraktion von Daten zu beschleunigen.
“Shopify hat in ein Team mit vielfältigen Kompetenzen investiert, um mit Trends in den Bereichen Data Science und Engineering Schritt zu halten. Bei den ersten Tests mit BigQuery Studio hat uns gefallen, dass Google verschiedene Tools für verschiedene Nutzerinnen und Nutzer in einer vereinfachten Umgebung verbinden kann. Wir sehen darin eine Chance, die Zusammenarbeit in unserem Team zu verbessern, ohne auf die Skalierbarkeit zu verzichten, die wir von BigQuery erwarten.”
Zac Roberts, Data Engineering Manager, Shopify
Offene und flexible Iceberg-Umgebung
BigLake
Offenheit von Apache Iceberg mit Speicherverwaltung auf Unternehmensniveau nutzen
BigLake bietet eine native Iceberg-Speicher-Engine für die Interoperabilität von Cloud-Speicher, eine einheitliche Runtime-Metadatenverwaltung, erweiterte Analysen und Data Science und eine automatisierte Datenverwaltung mit integrierter Governance. Jede Iceberg-kompatible Engine kann die automatische Tabellenverwaltung von BigLake nutzen, um die Abfrageleistung zu verbessern und die Kosten zu senken.
“Die Partnerschaft mit Google Cloud war für uns von entscheidender Bedeutung, um das offene Lakehouse der nächsten Generation von Snap zu entwickeln und Spark und Iceberg in unserer Entwickler-Community zu demokratisieren.”
Zhengyi Liu, Senior Manager, Software Engineer, Snap
Erster Anbieter von serverlosem Apache Spark mit Autoscaling
Google Cloud Serverless für Apache Spark
Serverless Spark bietet hohe Leistung und blitzschnelle Verarbeitung – ohne Clusterverwaltung
Transformieren Sie Ihr Lakehouse mit Google Cloud Serverless für Apache Spark. Mit der neuen Lightning Engine profitieren Sie von einem schnellen Start und einem minimalen operativen Aufwand bei gleichzeitiger Leistungssteigerung Ihrer Spark-Arbeitslasten. Die leistungsstarke Kombination mit Gemini steigert die Produktivität und ermöglicht bis zu 60 % niedrigere Gesamtbetriebskosten.
“Wir sehen SQL und Spark als zwei sich ergänzende Möglichkeiten, auf Daten zuzugreifen und sie zu transformieren. Spark ist für uns vor allem in Anwendungsfällen nützlich, die eine komplexe Geschäftslogik erfordern, die zwar Nischenanwendungen sind, aber extrem geschäftskritisch sind. Eine einheitliche Plattform für SQL, Spark und KI mit der Entwicklungsumgebung in Notebooks vereinfacht diese wichtigen Anwendungsfälle erheblich.”
Andrés Sopeña Pérez, Head of Content Engineering, Trivago
Einheitliche Data-to-AI-Governance
Dataplex Universal Catalog
Datenermittlung, -verständnis und -vertrauen für Ihr Data Lakehouse vereinfachen
Dataplex Universal Catalog ist die einheitliche Data-to-AI-Governance-Lösung für Google Cloud. Der KI-gestützte Katalog zentralisiert geschäftliche, technische und betriebliche Metadaten in Google Cloud und bietet KI-gestützte Statistiken. Er unterstützt offene Formate wie Apache Iceberg, um eine integrierte Governance für Ihr gesamtes Lakehouse zu ermöglichen.
“Dataplex hat uns dabei geholfen, unsere Datenplattform in eine sichere, effiziente und skalierbare Datenumgebung zu verwandeln. Mit dem Schwerpunkt auf Data Governance, Datenerkennung, Beobachtbarkeit und Sicherheitskonformität sind wir bestens gerüstet, um die Herausforderungen der Datenverwaltung im digitalen Zeitalter zu meistern. Mit Dataplex können unsere Teams das volle Potenzial von Daten ausschöpfen und das Wachstum und die Innovation von Box.Inc vorantreiben.”
Asmita Kulkarni, Senior Product Manager, Box, Inc.
KI-native Notebooks und Data-Science-Tools
BigQuery Studio und IDE-Erweiterungen
Optimierung von Apache Spark für anspruchsvolle Data-Science- und AI/ML-Arbeitslasten in Lakehouse-Architekturen durch Vereinfachung der Entwicklung und des Betriebs
Dataproc verbessert Spark für KI/ML in Lakehouses mit neuen Innovationen für ML-Runtimes mit GPU-Treibern und gängigen ML-Bibliotheken. Colab Enterprise-Notebooks in BigQuery Studio und IDEs von Drittanbietern bieten integrierte MLOps mit Vertex AI und optimierte Produktionspipelines, um die Extraktion von Daten zu beschleunigen.
“Shopify hat in ein Team mit vielfältigen Kompetenzen investiert, um mit Trends in den Bereichen Data Science und Engineering Schritt zu halten. Bei den ersten Tests mit BigQuery Studio hat uns gefallen, dass Google verschiedene Tools für verschiedene Nutzerinnen und Nutzer in einer vereinfachten Umgebung verbinden kann. Wir sehen darin eine Chance, die Zusammenarbeit in unserem Team zu verbessern, ohne auf die Skalierbarkeit zu verzichten, die wir von BigQuery erwarten.”
Zac Roberts, Data Engineering Manager, Shopify
Hier erfahren Sie, wie führende Unternehmen mit Google Cloud ihr Lakehouse aufbauen.
Lakehouse zu Google Cloud migrieren
Ressourcen für Führungskräfte
Google Cloud wird im Bericht „The Forrester Wave™: Data Lakehouses, Q2 2024“ als ein führender Anbieter eingestuft.Bericht herunterladenLesezeit: 10 Minuten
Google Cloud kann im Vergleich zu alternativen cloudbasierten Apache Spark-Lösungen um 18–60 % niedrigere Gesamtbetriebskosten bietenBericht herunterladenLesezeit: 10 Minuten
Ein umfassender Leitfaden, der ein 5-Schritte-Framework zur Schaffung einer zuverlässigen Datengrundlage für den Erfolg in Sachen KI bietetLeitfaden herunterladenLesezeit: 10 Minuten
Technische Vordenker
Entwicklung von BigQuery und BigLake hin zu einem Multi-Cloud-LakehouseTechnischen Forschungsbericht herunterladenLesezeit: 15 Minuten
Big Metadata: Wenn Metadaten Big Data sindTechnisches Whitepaper lesen10 Min.
Vortex: Eine streamorientierte Speicher-Engine für Big Data AnalyticsTechnische Studie herunterladenLesezeit: 15 Minuten
