Huawei DWS, MRS und DLI: Migrationsarchitektur

Vier Zielentwürfe

Huawei-Cloud-Dienste nach ihren Dokumentationsseiten beschrieben, STACKIT-Optionen nach der Dremio-Dokumentation, der Dokumentation des Terraform-Providers und den Begründungen des Laufs, alle am 4. November 2026 gelesen. Es wird kein Benchmark und kein Preis impliziert.

Warehouse, Hadoop-Cluster und Queue, bewertet

Eine kleine Huawei-Cloud-Datenumgebung mit acht Ressourcen, für diese Seite geschrieben und am 4. November 2026 von StackToIT bewertet: DWS-Cluster mit drei Knoten, MRS-Cluster mit Hadoop, Spark und Hive, eine DLI-Queue mit 16 CU, eine DLI-Datenbank, ein OBS-Bucket und das Netzwerk. Links drei Blöcke der Eingabe, rechts das Ergebnis, das der Lauf dafür festgehalten hat: ein Auszug aus assessment.json mit den Werten, wie der Lauf sie geschrieben hat (das Feld target ist weggelassen).

resource "huaweicloud_dws_cluster" "warehouse" {
  name              = "lake-dws"
  version           = "8.2.1"
  node_type         = "dws.m3.xlarge"
  number_of_node    = 3
  availability_zone = "eu-west-101a"
  user_name         = "dbadmin"
  user_pwd          = var.dws_password
  vpc_id            = huaweicloud_vpc.main.id
  network_id        = huaweicloud_vpc_subnet.app.id
  security_group_id = huaweicloud_networking_secgroup.app.id

  volume {
    type     = "SSD"
    capacity = 300
  }
}

resource "huaweicloud_mrs_cluster" "batch" {
  cluster_name         = "lake-mrs"
  cluster_version      = "MRS 2.1.0"
  cluster_type         = 0
  available_zone_id    = "ae04cf9d61544df3806a3feeb401b204"
  billing_type         = 12
  master_node_num      = 2
  core_node_num        = 3
  master_node_size     = "c3.4xlarge.2.linux.bigdata"
  core_node_size       = "c3.xlarge.4.linux.bigdata"
  volume_type          = "SAS"
  volume_size          = 100
  safe_mode            = 0
  cluster_admin_secret = var.mrs_admin_secret
  vpc_id               = huaweicloud_vpc.main.id
  subnet_id            = huaweicloud_vpc_subnet.app.id

  component_list {
    component_name = "Hadoop"
  }
  component_list {
    component_name = "Spark"
  }
  component_list {
    component_name = "Hive"
  }
}

resource "huaweicloud_dli_queue" "etl" {
  name     = "lake-etl"
  cu_count = 16
}

[
  {
    "id": "huaweicloud_dws_cluster.warehouse",
    "result": {
      "class": "REDESIGN",
      "confidence": "LOW",
      "reason": "Data Warehouse Service has no managed counterpart. The data and queries move to a redesigned lakehouse or warehouse."
    }
  },
  {
    "id": "huaweicloud_mrs_cluster.batch",
    "result": {
      "class": "REDESIGN",
      "confidence": "LOW",
      "reason": "MapReduce Service and Data Lake Insight have no managed counterpart. Jobs move to self-managed engines on SKE, or to a redesigned lakehouse."
    }
  },
  {
    "id": "huaweicloud_dli_queue.etl",
    "result": {
      "class": "REDESIGN",
      "confidence": "MEDIUM",
      "reason": "MapReduce Service and Data Lake Insight have no managed counterpart. Jobs move to self-managed engines on SKE, or to a redesigned lakehouse."
    }
  }
]

• REDESIGN, mit Begründung

  Data Warehouse Service hat kein Managed-Gegenstück; MapReduce Service und Data Lake Insight ebenso wenig. Jede Begründung nennt den Neuentwurf statt einer Kopie.

• Zweimal LOW-Konfidenz

  Die Einheiten DWS und MRS sind LOW, die DLI-Queue MEDIUM. Die Konfidenz sagt, wie sicher die Regel bei der Konfiguration dieser Einheit ist, nicht wie schwer die Migration wird.

• Kritische Einstellungen bei Ihnen

  Zwölf bei DWS, sechzehn bei MRS und zwei bei der DLI-Queue stehen im Architektenbericht für Ihr Team, darunter Knotentyp und Knotenzahl bei DWS und das Administrator-Secret bei MRS.

So fallen die acht Einheiten aus

Klassen, Konfidenz und Wellen so, wie der Lauf sie entschieden hat. Die Einheiten DWS und MRS warten auf das Netzwerk in den Wellen 1 und 2, ihre Daten und Jobs sind aber ein eigener Plan.

Was die Datendatei aufführt und was sie auslässt

Links die Tabelle der zustandsbehafteten Einheiten aus migration/data-movement.md für diesen Lauf. Sie führt nur den OBS-Bucket: Die DWS-Tabellen, die HDFS-Daten des MRS-Clusters und die DLI-Datenbank fehlen; nehmen Sie sie daher in Ihren eigenen Datenplan auf. Rechts ein zweiter, kleiner Lauf über die beiden neueren Ressourcentypen, die der Provider für MapReduce und für DLI-Compute-Pools empfiehlt oder bietet. Diese Testeingabe, für diese Seite geschrieben, setzt die Attribute und Knotenblöcke, die das Provider-Schema 1.100.0 als Pflicht führt; das Ergebnis hängt nur vom Ressourcentyp ab.

## Stateful source units

| Unit | Source service | Target service | Application | Mechanism | State | Data class | RPO | Downtime tolerance |
|---|---|---|---|---|---|---|---|---|
| huaweicloud_obs_bucket.raw | huaweicloud_obs_bucket | STACKIT Object Storage |  | UNKNOWN | DECISION_REQUIRED | NOT_PROVIDED | NOT_PROVIDED | NOT_PROVIDED |

[
  {
    "id": "huaweicloud_mapreduce_cluster.batch",
    "result": {
      "class": "MANUAL_REVIEW",
      "confidence": "LOW",
      "reason": "huaweicloud_mapreduce_cluster is not in the knowledge base catalogue; an architect has to decide the target. Nothing of this resource is assessed or drafted (unknown source type)."
    }
  },
  {
    "id": "huaweicloud_dli_elastic_resource_pool.pool",
    "result": {
      "class": "MANUAL_REVIEW",
      "confidence": "LOW",
      "reason": "huaweicloud_dli_elastic_resource_pool is not in the knowledge base catalogue; an architect has to decide the target. Nothing of this resource is assessed or drafted (unknown source type)."
    }
  }
]

• Nur der Bucket steht drin

  Die Datendatei führt den OBS-Bucket als zustandsbehaftete Einheit auf. Die Tabellen in DWS, der HDFS-Inhalt von MRS und die DLI-Datenbank sind ebenfalls Daten, und der Lauf führt sie nicht auf. Inventarisieren Sie sie von Hand.

• Ressourcennamen zählen

  Der Provider führt huaweicloud_mrs_cluster als veraltet und empfiehlt huaweicloud_mapreduce_cluster. In diesem Build ist der ältere Name REDESIGN, während mapreduce_cluster und dli_elastic_resource_pool unbekannte Typen sind und als MANUAL_REVIEW mit LOW-Konfidenz herauskommen. Lesen Sie die unbekannten Typen als denselben Neuentwurf.

So entscheiden Sie, Last für Last

1. 01

   1. Zuerst den Speicher umziehen

   Daten in OBS werden zu Daten in STACKIT Object Storage, eine RECONFIGURE-Einheit mit S3-API. Kopieren Sie die Daten zum Beispiel mit rclone. Jeder Lakehouse-Entwurf braucht die Dateien ohnehin dort.

2. 02

   2. Inventarisieren, was Terraform nicht zeigt

   Listen Sie Schemas, Tabellen, Zeilenzahlen, Abfrageprotokolle, geplante Jobs, HDFS-Pfade und DLI-Datenbanken auf. Die drei Dienste halten Unterschiedliches: MRS ist eine Hadoop-Plattform mit den Komponenten Spark, Hive, Flink und Kafka, DLI ein serverloser Dienst für Spark und Flink SQL, DWS eine analytische SQL-Datenbank, deren Architektur mit getrenntem Speicher und Rechenteil die Nutzdaten auf OBS ablegt.

3. 03

   3. Lasten nach Form sortieren

   Interaktives SQL, geplante Batches, Streaming und serverlose Ad-hoc-Abfragen brauchen nicht dasselbe Ziel. Streaming und Spark-Batch weisen auf Entwurf B, Warehouse-SQL auf A oder C.

4. 04

   4. Die schwierigste Abfrage als Prototyp

   Nehmen Sie je Last die langsamste oder dialektspezifischste Abfrage und führen Sie sie mit einem echten Auszug auf der Kandidaten-Engine aus. Überraschungen bei Dialekt und Dateiformat zeigen sich hier und nicht im Diagramm.

5. 05

   5. Kopie und Cutover je Last planen

   Wählen Sie das Verfahren für den Datenumzug, das Fenster und die Reihenfolge, in der Reporting-Werkzeuge umgestellt werden. Der Lauf setzt kein Verfahren und nennt keine Dauer.

Was der Lauf entscheidet und was nicht

• Er entscheidet die Klasse

  REDESIGN für DWS, MRS und die DLI-Queue, mit der Begründung in assessment.json.

• Er nennt Kandidaten

  Ein Lakehouse auf Object Storage mit STACKIT Dremio oder ein selbst betriebenes Warehouse. Die Dremio-Ressource ist eine Opt-in-Funktion des Providers, die sich noch ändern kann; der Lauf vermerkt deshalb als Blocker, dass es noch kein allgemein verfügbares Ziel gibt, und lässt Klasse und Konfidenz unverändert.

• Er dimensioniert das Ziel nicht

  Knotenzahlen, Volumes und Queue-Kapazität sind Eingaben für Ihren Entwurf. Der Architektenbericht führt zwölf kritische Einstellungen für den DWS-Cluster, sechzehn für den MRS-Cluster und zwei für die DLI-Queue auf und bildet keine davon ab.

• Er sieht die Daten nicht

  Größen, Änderungsraten und Ausfalltoleranz stehen nicht im Terraform. In der Datendatei erscheinen sie als nicht bekannt.

• Er wählt die Region nicht

  Der Provider dokumentiert Dremio nur für eu01, und der Lauf hält die Regionsverfügbarkeit dieser Ziele als nicht belegt fest. Klären Sie die Region vor dem Entwurf.

• Er überträgt nichts

  StackToIT überträgt nie Daten und führt keine Jobs aus. Jeder Schritt ist ein manueller Schritt mit Verantwortlichen.

Fragen zu Analytik-Lasten

Quellen

• Huawei Cloud MapReduce Service: Überblick
• Huawei Cloud Data Lake Insight: Einführung
• Was ist DWS? (Dokumentation des Huawei Cloud Data Warehouse Service)
• STACKIT-Dokumentation: Dremio
• stackit_dremio_instance (STACKIT-Terraform-Provider 0.121.0)
• STACKIT Cloud Framework: Migration Framework