이점
데이터팀은 Dataform을 통해 버전 제어, 환경, 테스트, 문서와 같은 소프트웨어 엔지니어링 권장사항에 따라 SQL 코드 및 데이터 애셋의 정의를 관리합니다.
Dataform은 SQL 파이프라인 빌드의 복잡성을 추상화합니다. 데이터 분석가는 SQL을 사용하여 종속 항목을 관리하고, 데이터 품질 테스트를 구성하고, 복잡한 파이프라인을 조정할 수 있습니다.
주요 특징
Dataform Core를 사용하면 데이터 엔지니어와 데이터 분석가가 SQL을 사용해 단일 저장소에서 테이블 정의를 생성하고, 종속 항목을 구성하고, 열 설명을 추가하고, 데이터 품질 어설션을 구성할 수 있습니다.
Dataform Core 함수는 기존 코드를 수정하지 않고 점진적이고 추가적으로 채택할 수 있습니다.
Dataform Core는 오픈소스이며 로컬에서 사용할 수 있어 사용자가 종속되지 않고 고급 사용 사례를 위한 유연성을 확보할 수 있습니다.
Dataform은 테이블 간의 종속 항목에 따라 최신 버전의 코드를 사용하여 테이블을 업데이트하도록 운영 인프라를 처리합니다. Dataform 통합을 통해 계보 및 데이터 정보를 원활하게 추적할 수 있습니다. SQL 워크플로를 수동으로 트리거하거나 Cloud Composer, Workflows, BigQuery Studio의 데이터 파이프라인 또는 서드 파티 서비스를 통해 예약하세요.
문서