Kembangkan dan operasionalkan pipeline transformasi data yang skalabel di BigQuery menggunakan SQL.
Mengembangkan tabel yang diseleksi, terbaru, tepercaya, dan didokumentasikan di BigQuery
Dukung analis data dan insinyur data berkolaborasi di repositori kode yang sama
Membangun pipeline data yang skalabel di BigQuery menggunakan SQL
Mengintegrasikan dengan GitHub dan GitLab
Kembangkan pipeline data langsung di BigQuery Studio
Manfaat
Kembangkan dan operasionalkan pipeline data yang skalabel di BigQuery menggunakan SQL dari satu lingkungan, termasuk di dalam BigQuery Studio menggunakan fitur pipeline data dan persiapan data.
Dengan Dataform, tim data mengelola kode SQL dan definisi aset data dengan mengikuti praktik terbaik software engineering—seperti kontrol versi, lingkungan, pengujian, dan dokumentasi.
Dataform menghilangkan kompleksitas pembuatan pipeline SQL. Analis data dapat mengelola dependensi, mengonfigurasi pengujian kualitas data, dan mengatur pipeline kompleks menggunakan SQL.
Fitur utama
Dataform core memungkinkan data engineer dan analis data membuat definisi tabel, mengonfigurasi dependensi, menambahkan deskripsi kolom, dan mengonfigurasi pernyataan kualitas data dalam satu repositori hanya dengan menggunakan SQL.
Fungsi Dataform core dapat digunakan secara bertahap dan bersifat tambahan, tanpa mengubah kode yang sudah ada.
Dataform core adalah open source dan dapat digunakan secara lokal, memberi pengguna kebebasan dari ketergantungan, dan fleksibilitas untuk kasus penggunaan yang lebih kompleks.
Dataform menangani infrastruktur operasional untuk memperbarui tabel Anda mengikuti dependensi di antara tabel Anda dan menggunakan versi terbaru kode Anda. Informasi data dan silsilah dapat dilacak secara lancar dengan integrasi Dataform. Picu alur kerja SQL secara manual, atau jadwalkan melalui Cloud Composer, Workflows, pipeline data BigQuery Studio, atau layanan pihak ketiga.
Tentukan tabel, perbaiki masalah pesan error real-time, visualisasikan dependensi, commit perubahan ke Git, dan jadwalkan pipeline dalam hitungan menit, dari satu antarmuka, tanpa meninggalkan browser web Anda.
Hubungkan repositori Anda dengan penyedia pihak ketiga seperti GitHub dan GitLab. Lakukan commit perubahan dan kirim atau buka peninjauan kode dari browser web Anda.
Dokumentasi
Mulailah membangun solusi di Google Cloud dengan kredit gratis senilai $300 dan lebih dari 20 produk yang selalu gratis.