Migratiearchitectuur voor Huawei DWS, MRS en DLI

Vier doelontwerpen

Huawei Cloud-diensten beschreven vanuit hun documentatiepagina's, STACKIT-opties uit de Dremio-documentatie, de documentatie van de Terraform-provider en de redenen van de run, allemaal gelezen op 4 november 2026. Er wordt geen benchmark of prijs geïmpliceerd.

Een warehouse, een Hadoop-cluster en een queue, beoordeeld

Een kleine Huawei Cloud-dataomgeving met acht resources, voor deze pagina geschreven en op 4 november 2026 door StackToIT beoordeeld: een DWS-cluster met drie nodes, een MRS-cluster met Hadoop, Spark en Hive, een DLI-queue van 16 CU, een DLI-database, een OBS-bucket en het netwerk. Links drie blokken uit de invoer, rechts het resultaat dat de run ervoor vastlegde: een fragment van assessment.json met de waarden zoals de run ze schreef (het veld target is weggelaten).

resource "huaweicloud_dws_cluster" "warehouse" {
  name              = "lake-dws"
  version           = "8.2.1"
  node_type         = "dws.m3.xlarge"
  number_of_node    = 3
  availability_zone = "eu-west-101a"
  user_name         = "dbadmin"
  user_pwd          = var.dws_password
  vpc_id            = huaweicloud_vpc.main.id
  network_id        = huaweicloud_vpc_subnet.app.id
  security_group_id = huaweicloud_networking_secgroup.app.id

  volume {
    type     = "SSD"
    capacity = 300
  }
}

resource "huaweicloud_mrs_cluster" "batch" {
  cluster_name         = "lake-mrs"
  cluster_version      = "MRS 2.1.0"
  cluster_type         = 0
  available_zone_id    = "ae04cf9d61544df3806a3feeb401b204"
  billing_type         = 12
  master_node_num      = 2
  core_node_num        = 3
  master_node_size     = "c3.4xlarge.2.linux.bigdata"
  core_node_size       = "c3.xlarge.4.linux.bigdata"
  volume_type          = "SAS"
  volume_size          = 100
  safe_mode            = 0
  cluster_admin_secret = var.mrs_admin_secret
  vpc_id               = huaweicloud_vpc.main.id
  subnet_id            = huaweicloud_vpc_subnet.app.id

  component_list {
    component_name = "Hadoop"
  }
  component_list {
    component_name = "Spark"
  }
  component_list {
    component_name = "Hive"
  }
}

resource "huaweicloud_dli_queue" "etl" {
  name     = "lake-etl"
  cu_count = 16
}

[
  {
    "id": "huaweicloud_dws_cluster.warehouse",
    "result": {
      "class": "REDESIGN",
      "confidence": "LOW",
      "reason": "Data Warehouse Service has no managed counterpart. The data and queries move to a redesigned lakehouse or warehouse."
    }
  },
  {
    "id": "huaweicloud_mrs_cluster.batch",
    "result": {
      "class": "REDESIGN",
      "confidence": "LOW",
      "reason": "MapReduce Service and Data Lake Insight have no managed counterpart. Jobs move to self-managed engines on SKE, or to a redesigned lakehouse."
    }
  },
  {
    "id": "huaweicloud_dli_queue.etl",
    "result": {
      "class": "REDESIGN",
      "confidence": "MEDIUM",
      "reason": "MapReduce Service and Data Lake Insight have no managed counterpart. Jobs move to self-managed engines on SKE, or to a redesigned lakehouse."
    }
  }
]

• REDESIGN, met de reden

  Data Warehouse Service heeft geen managed tegenhanger; MapReduce Service en Data Lake Insight ook niet. Elke reden noemt het redesign in plaats van een kopie.

• Tweemaal zekerheidsniveau LOW

  De DWS- en MRS-eenheden zijn LOW, de DLI-queue MEDIUM. Het zekerheidsniveau zegt hoe zeker de regel is over de configuratie van deze eenheid, niet hoe moeilijk de migratie is.

• Kritieke instellingen aan u overgelaten

  Twaalf voor DWS, zestien voor MRS en twee voor de DLI-queue staan in het architect report voor uw team, waaronder het nodetype en het aantal nodes voor DWS en het beheerderssecret voor MRS.

Hoe de acht eenheden uitkomen

Klassen, zekerheidsniveaus en golven zoals de run ze bepaalde. De DWS- en MRS-eenheden wachten op het netwerk in golf 1 en 2, maar hun data en jobs vormen een apart plan.

Wat het databestand noemt en wat het mist

Links de stateful tabel uit migration/data-movement.md van deze run. Die noemt alleen de OBS-bucket: de DWS-tabellen, de HDFS-data van het MRS-cluster en de DLI-database staan er niet in, dus voeg ze toe aan uw eigen dataplan. Rechts een tweede, kleine run op de twee nieuwere resourcetypen die de provider aanbeveelt of biedt voor MapReduce en voor DLI-computepools. Die proefinvoer, voor deze pagina geschreven, stelt de attributen en nodeblokken in die het schema van provider 1.100.0 als vereist markeert; het resultaat hangt alleen af van het resourcetype.

## Stateful source units

| Unit | Source service | Target service | Application | Mechanism | State | Data class | RPO | Downtime tolerance |
|---|---|---|---|---|---|---|---|---|
| huaweicloud_obs_bucket.raw | huaweicloud_obs_bucket | STACKIT Object Storage |  | UNKNOWN | DECISION_REQUIRED | NOT_PROVIDED | NOT_PROVIDED | NOT_PROVIDED |

[
  {
    "id": "huaweicloud_mapreduce_cluster.batch",
    "result": {
      "class": "MANUAL_REVIEW",
      "confidence": "LOW",
      "reason": "huaweicloud_mapreduce_cluster is not in the knowledge base catalogue; an architect has to decide the target. Nothing of this resource is assessed or drafted (unknown source type)."
    }
  },
  {
    "id": "huaweicloud_dli_elastic_resource_pool.pool",
    "result": {
      "class": "MANUAL_REVIEW",
      "confidence": "LOW",
      "reason": "huaweicloud_dli_elastic_resource_pool is not in the knowledge base catalogue; an architect has to decide the target. Nothing of this resource is assessed or drafted (unknown source type)."
    }
  }
]

• Alleen de bucket staat erin

  Het databestand noemt de OBS-bucket als stateful eenheid. De tabellen in DWS, de HDFS-inhoud van MRS en de DLI-database zijn ook data, en de run noemt ze niet. Inventariseer ze handmatig.

• Resourcenamen doen ertoe

  De provider documenteert huaweicloud_mrs_cluster als deprecated en beveelt huaweicloud_mapreduce_cluster aan. In deze build is de oudere naam REDESIGN, terwijl mapreduce_cluster en dli_elastic_resource_pool onbekende typen zijn die als MANUAL_REVIEW met zekerheidsniveau LOW uitkomen. Lees de onbekende typen als hetzelfde redesign.

Hoe u beslist, workload voor workload

1. 01

   1. Verplaats eerst de opslag

   Data in OBS wordt data in STACKIT Object Storage, een RECONFIGURE-eenheid met een S3-API. Kopieer die, bijvoorbeeld met rclone. Elk lakehouse-ontwerp heeft de bestanden daar toch nodig.

2. 02

   2. Inventariseer wat Terraform niet kan tonen

   Maak een lijst van schema's, tabellen, rijaantallen, querylogs, geplande jobs, HDFS-paden en DLI-databases. De drie diensten bevatten verschillende dingen: MRS is een Hadoop-platform met Spark-, Hive-, Flink- en Kafka-componenten, DLI is een serverless Spark- en Flink SQL-dienst, DWS is een analytische SQL-database waarvan de architectuur met ontkoppelde opslag en rekenkracht gebruikersdata op OBS bewaart.

3. 03

   3. Sorteer workloads op vorm

   Interactieve SQL, geplande batch, streaming en ad-hoc serverless queries hebben niet hetzelfde doel nodig. Streaming en Spark-batch wijzen naar ontwerp B, warehouse-SQL naar A of C.

4. 04

   4. Prototypeer de moeilijkste query

   Neem de traagste of meest dialectspecifieke query van elke workload en voer die uit op de kandidaat-engine met een echt extract. Verrassingen in dialect en bestandsformaat komen hier aan het licht, niet in een diagram.

5. 05

   5. Plan kopie en cutover per workload

   Kies het datamechanisme, het venster en de volgorde waarin rapportagetools opnieuw wijzen. De run stelt geen mechanisme in en geeft geen duur.

Wat de run wel en niet beslist

• De run beslist de klasse

  REDESIGN voor DWS, MRS en de DLI-queue, met de reden in assessment.json.

• De run noemt kandidaten

  Een lakehouse op Object Storage met STACKIT Dremio, of een zelfbeheerd warehouse. De Dremio-resource is een opt-in-providerfunctie die nog kan wijzigen, dus de run legt vast dat er nog geen algemeen beschikbaar doel bestaat, als blokkade, en laat klasse en zekerheidsniveau ongewijzigd.

• De run dimensioneert het doel niet

  Nodeaantallen, volumes en queuecapaciteit zijn invoer voor uw ontwerp. Het architect report noemt twaalf kritieke instellingen voor het DWS-cluster, zestien voor het MRS-cluster en twee voor de DLI-queue, en koppelt er geen enkele.

• De run ziet de data niet

  Omvang, wijzigingsfrequentie en downtimetolerantie staan niet in de Terraform-code. Ze staan in het databestand als not known.

• De run kiest de regio niet

  De provider documenteert Dremio alleen voor eu01, en de run legt de beschikbaarheid van deze doelen per regio vast als niet vastgesteld. Leg de regio vast vóór het ontwerp.

• De run verplaatst niets

  StackToIT verplaatst nooit data en voert geen jobs uit. Elke stap is een handmatige stap met een eigenaar.

Vragen over analytics-workloads

Bronnen

• Huawei Cloud MapReduce Service: overview
• Huawei Cloud Data Lake Insight: introduction
• What Is DWS? (Huawei Cloud Data Warehouse Service documentation)
• STACKIT Dremio documentation
• stackit_dremio_instance (STACKIT Terraform provider 0.121.0)
• STACKIT Cloud Framework: Migration Framework