BigQuery naar STACKIT: het dataplatform ontwerpen

Een dataset met tabellen, beoordeeld als één eenheid

Een kleine analytics-omgeving die voor deze pagina is geschreven en op 4 november 2026 door StackToIT is beoordeeld: een dataset, een gepartitioneerde tabel, een view, een datasetgrant, een bucket en een topic. Links: de dataset en de tabel orders zoals de invoer ze declareert. Rechts: een fragment van de eenheid in assessment.json, met de waarden precies zoals de run ze schreef; de servicetekst van het doel is weggelaten.

resource "google_bigquery_dataset" "sales" {
  dataset_id                 = "sales"
  location                   = "EU"
  default_table_expiration_ms = 31536000000
}

resource "google_bigquery_table" "orders" {
  dataset_id          = google_bigquery_dataset.sales.dataset_id
  table_id            = "orders"
  deletion_protection = true

  time_partitioning {
    type  = "DAY"
    field = "order_date"
  }

  clustering = ["customer_id"]

  schema = jsonencode([
    { name = "order_id", type = "STRING", mode = "REQUIRED" },
    { name = "customer_id", type = "STRING", mode = "REQUIRED" },
    { name = "order_date", type = "DATE", mode = "REQUIRED" },
    { name = "total", type = "NUMERIC", mode = "NULLABLE" }
  ])
}

{
  "id": "google_bigquery_dataset.sales",
  "kind": "data_warehouse",
  "facets": [
    "google_bigquery_dataset_iam_member.analysts",
    "google_bigquery_table.daily_revenue",
    "google_bigquery_table.orders"
  ],
  "result": {
    "class": "REDESIGN",
    "confidence": "LOW",
    "target": {
      "resources": [
        "stackit_dremio_instance"
      ]
    },
    "reason": "BigQuery is a serverless warehouse with its own SQL dialect, storage and billing model. On STACKIT, data lands as files (e.g. Iceberg) in Object Storage queried with Dremio, or in a self-managed warehouse; queries, scheduled queries and BI connections are rewritten."
  }
}

• Tabellen, view en grant gaan op in de dataset

  De twee tabellen en de datasetgrant staan vermeld als facetten van de dataset-eenheid, dus zes resources worden drie eenheden. Wat de eenheid vertegenwoordigt, is het hele warehouse-deel, niet één object.

• Voor het warehouse wordt niets als concept geschreven

  De klasse is REDESIGN en het zekerheidsniveau LOW. De genoemde doelresource is een Dremio-instance, die de provider aanmerkt als onderdeel van een opt-in-functie die sterk kan wijzigen; de run noemt die als kandidaat en schrijft geen blok. De Dremio-pagina van STACKIT voegt toe dat per november 2026 een soft limit op actieve instances per project geldt en dat de enginegroottes in de huidige releasefase zijn begrensd; meer capaciteit loopt via de support van STACKIT.

• Twaalf kritieke instellingen blijven bij u

  Het architectenrapport noemt ze per soort voor de dataset-eenheid: identiteitstoegang (member en rol van de datasetgrant), verlopen van data, beveiliging tegen verwijderen op beide tabellen, de locatie, drie namen, het tabelschema, en het partitietype en de partitiekolom. Elke instelling is een beslissing over de vervanging, geen waarde om te kopiëren.

De onderdelen rond het warehouse zijn als concept geschreven

Uit dezelfde run. Een landingsbucket en een eventtopic zijn gewone migraties. Links: de invoer. Daarna de blokken die de engine schreef, één paneel per bestand, zonder de reviewcommentaren erboven.

resource "google_storage_bucket" "landing" {
  name                        = "shop-analytics-landing"
  location                    = "EUROPE-WEST3"
  uniform_bucket_level_access = true
}

resource "google_pubsub_topic" "events" {
  name = "order-events"
}

resource "stackit_objectstorage_bucket" "landing" {
  project_id = var.project_id
  name       = "shop-analytics-landing"
}

resource "stackit_rabbitmq_instance" "messaging" {
  project_id = var.project_id
  name       = "messaging"
  plan_name  = var.rabbitmq_plan_name
  version    = var.rabbitmq_version
  parameters = {
    sgw_acl = join(",", var.rabbitmq_allowed_cidrs)
  }
}

• De bucket is het fundament

  Een Cloud Storage-bucket wordt een STACKIT Object Storage-bucket (RECONFIGURE). Welk warehouseontwerp u ook kiest, de bestanden komen hier terecht, dus dit bouwt u als eerste.

• Pub/Sub-topic naar RabbitMQ

  Een topic wordt een exchange op één gedeelde RabbitMQ-instance (REPLATFORM). Het concept maakt alleen de instance aan; exchanges, queues en de overstap van de Pub/Sub-client naar AMQP zijn aan u.

• Dataverplaatsing is een openstaande beslissing

  migration/data-movement.md noemt de dataset en de bucket als stateful eenheden met een nog onbekend mechanisme en merkt op dat de omvang en de wijzigingssnelheid van de data niet in de bron staan.

De opties en hun afwegingen

De eerste twee rijen zijn de doelen die de engine voor BigQuery noemt. De laatste twee zijn opties die een architect kan afwegen; de run stelt ze niet voor.

Zo beslist u

Beantwoord deze vragen in volgorde; de antwoorden wijzen meestal de rij aan.

1. 01

   Wie bevraagt het, en waarmee

   Maak een lijst van analisten, rapporten en geplande jobs. Het SQL-dialect van BigQuery, geneste en herhaalde velden en BigQuery ML-modellen schrijft u allemaal opnieuw of vervangt u (algemene praktijk, geen uitvoer van de run); tel ze, want dat zijn de werkelijke kosten.

2. 02

   Hoe groot, en hoe snel verandert het

   De run meldt ronduit dat geen van beide in de bron staat. Zonder deze gegevens kan de dataverplaatsing niet worden gepland en kan een instance niet worden gedimensioneerd.

3. 03

   Wat moet verlopen of blijven

   Uw dataset stelt een standaardverlooptijd van tabellen van één jaar in, wat de run markeert. Bij een ontwerp op basis van bestanden wordt het verlopen van data een job of lifecycleregel die u bewust schrijft.

4. 04

   Wie mag wat lezen

   Dremio documenteert toegangscontrole op rij- en kolomniveau en aanmelden via een OIDC-identiteitsprovider. Vertaal elke datasetgrant van BigQuery naar een van die regels in plaats van rollen te kopiëren.

De data verplaatsen, zodra u hebt gekozen

Algemene praktijk, geen uitvoer van de engine. De run legt alleen vast dat een mechanisme moet worden gekozen.

1. 01

   Exporteren uit BigQuery

   Een tabelexport schrijft alleen naar Cloud Storage, als CSV, newline-delimited JSON, Avro of Parquet. De dataset en de bucket moeten op dezelfde locatie staan en één bestand bevat tot 1 GB aan tabeldata, dus gebruik een wildcard in de bestandsnaam.

2. 02

   Kopiëren naar Object Storage

   Kopieer de geëxporteerde bestanden naar de STACKIT-bucket met een S3-compatibele tool zoals rclone. De bucket spreekt de S3 API via HTTPS.

3. 03

   De tabellen registreren

   Dremio heeft native connectoren voor S3-compatibele opslag en ondersteunt Iceberg- en Delta Lake-tabellen. Bepaal de partitie-indeling bewust, want de run noemt de partitiekolom als openstaand.

4. 04

   Views en schema’s herschrijven

   De dagelijkse omzetview is in BigQuery SQL geschreven en wordt handmatig herschreven. STACKIT Workflows, gebouwd op Apache Airflow, kan terugkerende jobs als Python-DAG’s draaien; de webgebaseerde DAG-editor is nog niet beschikbaar.

5. 05

   Streaming-invoer

   Waar events voorheen naar BigQuery stroomden, neemt STACKIT Intake ze op via het Kafka-protocol in Iceberg-tabellen in een Dremio-catalogus. Controleer of het bij uw producers past voordat u erop bouwt.

Vragen van datateams

Bronnen

• Google Cloud: inleiding tot BigQuery
• Google Cloud: tabeldata exporteren
• STACKIT: Dremio
• STACKIT: Object Storage
• STACKIT: Workflows
• STACKIT: Intake
• STACKIT Terraform-provider v0.121.0: stackit_dremio_instance