Membangun lakehouse data yang terbuka, terkelola, dan cerdas di Google Cloud
Satukan dan atur data multimodal Anda dengan data lakehouse berperforma tinggi yang terintegrasi dengan AI Google yang terdepan di industri. Optimalkan Apache Iceberg dan Spark serverless yang melakukan penskalaan otomatis pertama di industri untuk menyederhanakan inisiatif AI, analisis, dan pemrosesan data.
Inovasi baru dalam format data terbuka, tata kelola data-to-AI yang cerdas, pemrosesan data yang dipercepat, dan alat pengembangan tingkat lanjut yang didukung AI semuanya digabungkan untuk menyederhanakan pengelolaan data dan mempercepat inovasi.
BigLake
Dapatkan keterbukaan Apache Iceberg dengan pengelolaan penyimpanan tingkat perusahaan
BigLake menyediakan mesin penyimpanan Iceberg native untuk interoperabilitas Cloud Storage, memberikan pengelolaan metadata runtime terpadu, memungkinkan analisis dan data science tingkat lanjut, serta memberikan pengelolaan data otomatis dengan tata kelola bawaan. Mesin apa pun yang kompatibel dengan Iceberg dapat menggunakan pengelolaan tabel otomatis BigLake untuk meningkatkan performa kueri dan mengurangi biaya.
“Bekerja sama dengan Google Cloud telah berperan penting dalam perjalanan kami untuk membangun lakehouse terbuka generasi berikutnya milik Snap serta memperluas akses ke Spark dan Iceberg di komunitas developer kami.”
Zhengyi Liu, Senior Manager, Software Engineer, Snap
Google Cloud Serverless untuk Apache Spark
Serverless Spark menghadirkan pemrosesan berperforma tinggi dan secepat kilat—tanpa memerlukan pengelolaan cluster
Transformasikan lakehouse Anda dengan Google Cloud Serverless untuk Apache Spark. Rasakan pengalaman startup yang cepat dan tanpa overhead operasional sekaligus meningkatkan performa untuk workload Spark Anda dengan Lightning Engine yang baru. Kombinasi yang efektif dengan Gemini meningkatkan produktivitas dan menawarkan TCO hingga 60% lebih rendah.
“Kami melihat SQL dan Spark sebagai dua cara yang saling melengkapi untuk mengakses dan mentransformasi data. Spark sangat berguna bagi kami dalam kasus penggunaan yang memerlukan logika bisnis kompleks, yang meskipun khusus, sangat penting bagi bisnis. Memiliki platform terpadu untuk SQL, Spark, dan AI, dengan pengalaman pengembangan di notebook akan sangat menyederhanakan kasus penggunaan penting ini.”
Andrés Sopeña Pérez, Head of Content Engineering, Trivago
Katalog Universal Dataplex
Menyederhanakan penemuan, pemahaman, dan kepercayaan data untuk data lakehouse Anda
Dataplex Universal Catalog adalah solusi tata kelola data-to-AI terpadu untuk Google Cloud. Katalog yang didukung AI ini memusatkan metadata bisnis, teknis, dan operasional di seluruh Google Cloud dan memberikan insight yang didukung AI. Katalog ini mendukung format terbuka seperti Apache Iceberg untuk memungkinkan tata kelola terintegrasi di seluruh lakehouse Anda.
“Dataplex berperan penting dalam mentransformasi platform data kami menjadi ekosistem data yang aman, efisien, dan skalabel. Dengan berfokus pada tata kelola data, penemuan, kemampuan observasi, dan kepatuhan keamanan, kami siap menghadapi tantangan pengelolaan data di era digital. Dataplex memberdayakan tim kami untuk mengoptimalkan potensi data dan mendorong pertumbuhan dan inovasi berkelanjutan Box.Inc.”
Asmita Kulkarni, Senior Product Manager, Box.Inc
BigQuery Studio dan ekstensi IDE
Meningkatkan Apache Spark untuk workload data science dan AI/ML tingkat lanjut dalam arsitektur lakehouse dengan menyederhanakan pengembangan dan pengoperasian
Dataproc meningkatkan Spark untuk AI/ML di lakehouse dengan inovasi baru untuk Runtime ML dengan driver GPU dan library ML umum. Notebook Colab Enterprise di BigQuery Studio dan IDE pihak ketiga menyediakan MLOps terintegrasi dengan Vertex AI dan pipeline produksi yang disederhanakan untuk mempercepat data science.
“Shopify telah berinvestasi dalam mempekerjakan tim dengan berbagai rangkaian keterampilan agar terus menjadi yang terdepan dalam tren terkait data science dan engineering. Pada pengujian awal dengan BigQuery Studio, kami menyukai kemampuan Google untuk menghubungkan berbagai alat ke berbagai pengguna dalam pengalaman yang disederhanakan. Kami melihat hal ini sebagai peluang untuk mengurangi hambatan di seluruh tim kami tanpa perlu mengorbankan skala yang kami harapkan dari BigQuery.”
Zac Roberts, Data Engineering Manager, Shopify
Pengalaman Iceberg yang terbuka dan fleksibel
BigLake
Dapatkan keterbukaan Apache Iceberg dengan pengelolaan penyimpanan tingkat perusahaan
BigLake menyediakan mesin penyimpanan Iceberg native untuk interoperabilitas Cloud Storage, memberikan pengelolaan metadata runtime terpadu, memungkinkan analisis dan data science tingkat lanjut, serta memberikan pengelolaan data otomatis dengan tata kelola bawaan. Mesin apa pun yang kompatibel dengan Iceberg dapat menggunakan pengelolaan tabel otomatis BigLake untuk meningkatkan performa kueri dan mengurangi biaya.
“Bekerja sama dengan Google Cloud telah berperan penting dalam perjalanan kami untuk membangun lakehouse terbuka generasi berikutnya milik Snap serta memperluas akses ke Spark dan Iceberg di komunitas developer kami.”
Zhengyi Liu, Senior Manager, Software Engineer, Snap
Apache Spark serverless dan penskalaan otomatis pertama di industri
Google Cloud Serverless untuk Apache Spark
Serverless Spark menghadirkan pemrosesan berperforma tinggi dan secepat kilat—tanpa memerlukan pengelolaan cluster
Transformasikan lakehouse Anda dengan Google Cloud Serverless untuk Apache Spark. Rasakan pengalaman startup yang cepat dan tanpa overhead operasional sekaligus meningkatkan performa untuk workload Spark Anda dengan Lightning Engine yang baru. Kombinasi yang efektif dengan Gemini meningkatkan produktivitas dan menawarkan TCO hingga 60% lebih rendah.
“Kami melihat SQL dan Spark sebagai dua cara yang saling melengkapi untuk mengakses dan mentransformasi data. Spark sangat berguna bagi kami dalam kasus penggunaan yang memerlukan logika bisnis kompleks, yang meskipun khusus, sangat penting bagi bisnis. Memiliki platform terpadu untuk SQL, Spark, dan AI, dengan pengalaman pengembangan di notebook akan sangat menyederhanakan kasus penggunaan penting ini.”
Andrés Sopeña Pérez, Head of Content Engineering, Trivago
Tata kelola data ke AI terpadu
Katalog Universal Dataplex
Menyederhanakan penemuan, pemahaman, dan kepercayaan data untuk data lakehouse Anda
Dataplex Universal Catalog adalah solusi tata kelola data-to-AI terpadu untuk Google Cloud. Katalog yang didukung AI ini memusatkan metadata bisnis, teknis, dan operasional di seluruh Google Cloud dan memberikan insight yang didukung AI. Katalog ini mendukung format terbuka seperti Apache Iceberg untuk memungkinkan tata kelola terintegrasi di seluruh lakehouse Anda.
“Dataplex berperan penting dalam mentransformasi platform data kami menjadi ekosistem data yang aman, efisien, dan skalabel. Dengan berfokus pada tata kelola data, penemuan, kemampuan observasi, dan kepatuhan keamanan, kami siap menghadapi tantangan pengelolaan data di era digital. Dataplex memberdayakan tim kami untuk mengoptimalkan potensi data dan mendorong pertumbuhan dan inovasi berkelanjutan Box.Inc.”
Asmita Kulkarni, Senior Product Manager, Box.Inc
Notebook berbasis AI dan alat data science
BigQuery Studio dan ekstensi IDE
Meningkatkan Apache Spark untuk workload data science dan AI/ML tingkat lanjut dalam arsitektur lakehouse dengan menyederhanakan pengembangan dan pengoperasian
Dataproc meningkatkan Spark untuk AI/ML di lakehouse dengan inovasi baru untuk Runtime ML dengan driver GPU dan library ML umum. Notebook Colab Enterprise di BigQuery Studio dan IDE pihak ketiga menyediakan MLOps terintegrasi dengan Vertex AI dan pipeline produksi yang disederhanakan untuk mempercepat data science.
“Shopify telah berinvestasi dalam mempekerjakan tim dengan berbagai rangkaian keterampilan agar terus menjadi yang terdepan dalam tren terkait data science dan engineering. Pada pengujian awal dengan BigQuery Studio, kami menyukai kemampuan Google untuk menghubungkan berbagai alat ke berbagai pengguna dalam pengalaman yang disederhanakan. Kami melihat hal ini sebagai peluang untuk mengurangi hambatan di seluruh tim kami tanpa perlu mengorbankan skala yang kami harapkan dari BigQuery.”
Zac Roberts, Data Engineering Manager, Shopify
Pelajari cara perusahaan terkemuka membangun lakehouse dengan Google Cloud
Memigrasikan lakehouse ke Google Cloud
Referensi eksekutif
Google Cloud mendapat gelar Leader dalam laporan The Forrester Wave™: Data Lakehouses, Q2 2024Download laporanWaktu baca: 10 menit
Google Cloud dapat memberikan TCO 18-60% lebih rendah dibandingkan solusi Apache Spark berbasis cloud lainnyaDownload laporanWaktu baca: 10 menit
Panduan komprehensif yang memberikan framework 5 langkah untuk membangun fondasi data yang kuat agar berhasil dengan AIDapatkan panduannyaWaktu baca: 10 menit
