Introduzione al caricamento, alla trasformazione e all'esportazione dei dati

Questo documento descrive gli approcci di integrazione dei dati per caricare e trasformare i dati in BigQuery utilizzando i processi ELT (estrazione, caricamento e trasformazione) o ETL (estrazione, trasformazione e caricamento). Descrive inoltre l'esportazione dei dati da BigQuery per applicare approfondimenti in altri sistemi, nota come esportazione ETL.

Caricamento dei dati dalle origini, trasformazione dei dati ed esportazione dei risultati

Caricamento e trasformazione dei dati

È normale trasformare i dati prima o dopo il caricamento in BigQuery. I due approcci comuni all'integrazione dei dati, ETL e ELT, sono descritti nelle sezioni seguenti.

Approccio di integrazione dei dati ELT

Con l'approccio di estrazione, caricamento e trasformazione, esegui l'integrazione dei dati in due passaggi distinti:

  • Estrai e carica i dati
  • Trasformare i dati

Ad esempio, puoi estrarre e caricare i dati da un'origine file JSON in una tabella BigQuery. Poi, puoi utilizzare le pipeline per estrarre e trasformare i campi nelle tabelle di destinazione.

L'approccio ELT può semplificare il flusso di lavoro di integrazione dei dati nei seguenti modi:

  • Elimina la necessità di altri strumenti di elaborazione dei dati
  • Suddivide il processo di integrazione dei dati, spesso complesso, in due parti gestibili
  • Sfrutta appieno le funzionalità di BigQuery per preparare, trasformare e ottimizzare i dati su larga scala

Estrazione e caricamento dei dati

Nell'approccio di integrazione dei dati ELT, estrai i dati da un'origine dati e caricali in BigQuery utilizzando uno dei metodi supportati per il caricamento o l'accesso ai dati esterni.

Trasformazione dei dati in BigQuery

Dopo aver caricato i dati in BigQuery, puoi prepararli e trasformarli con i seguenti strumenti:

  • Per creare, testare, documentare e pianificare in modo collaborativo pipeline di trasformazione dei dati SQL avanzate, utilizza Dataform.
  • Per flussi di lavoro di trasformazione dei dati più piccoli che eseguono codice SQL, notebook Python o preparazioni dei dati in base a una pianificazione, utilizza le pipeline BigQuery.
  • Per pulire i dati per l'analisi, utilizza la preparazione dei dati con l'IA.

Ognuno di questi strumenti è basato sull'API Dataform.

Per ulteriori informazioni, consulta Introduzione alle trasformazioni.

Approccio di integrazione dei dati ETL

Nell'approccio di estrazione, trasformazione e caricamento, estrae e trasformi i dati prima che raggiungano BigQuery. Questo approccio è utile se hai già implementato un processo per la trasformazione dei dati o se vuoi ridurre l'utilizzo delle risorse in BigQuery.

Cloud Data Fusion può aiutarti a semplificare il processo ETL. BigQuery funziona anche con partner di terze parti che trasformano e caricano i dati in BigQuery.

Esportazione di dati

Dopo aver elaborato e analizzato i dati in BigQuery, puoi esportare i risultati per applicarli in altri sistemi. BigQuery supporta le seguenti esportazioni:

  • Esportazione dei risultati delle query in un file locale, Google Drive, Fogli Google
  • Esportazione di tabelle o risultati di query in Cloud Storage, Bigtable, Spanner e Pub/Sub

Questo processo è noto come ETL inverso.

Per ulteriori informazioni, consulta la pagina Introduzione all'esportazione dei dati in BigQuery.

Passaggi successivi