Datenintegration und Datenpipelines — damit ein Kunde ein Datensatz bleibt, auch wenn er in fünf Systemen vorkommt.
Derselbe Kunde steht im CRM, im ERP, im Shop, im Newsletter-Tool und in der Excel-Liste des Vertriebs — fünfmal, mit drei Schreibweisen der Adresse und zwei Ansprechpartnern. Welche Version stimmt, weiß die Kollegin, die ihn zuletzt angerufen hat.
Fünf Quellen sind kein Problem. Drei Wahrheiten sind eins.
Heute: Jedes System hat recht, für sich. Der Bestand im Lager ist physisch, der im Shop verfügbar, der in der Auswertung vom Vortag — und alle drei heißen „Bestand“. Der nächtliche Import ist der pünktlichste Kollege im Haus; ob er auch fertig geworden ist, fragt ihn morgens niemand. Dubletten entstehen nicht aus Nachlässigkeit, sondern weil zwei Systeme denselben Kunden angelegt haben, bevor jemand festgelegt hat, woran man ihn erkennt.
Mit Datenvertrag: Jedes Objekt hat eine festgelegte Bedeutung, ein System, das es führt, und eine Regel, woran zwei Datensätze als derselbe erkannt werden — was Stammdatenmanagement (MDM) den Golden Record nennt. Daten fließen in dem Takt, den der Vorgang braucht — nachts im Batch, sofort als Event, auf Anfrage über eine API — und jeder Fluss hat einen Zustand, den jemand sieht: gelaufen, wartet, abgelehnt mit Grund. Der Import meldet sich, wenn er nicht fertig wurde. Und wenn ein System durch ein neues ersetzt wird, läuft die Migration als Pipeline, die man mehrmals laufen lässt, nicht als Wochenende.
Jedes Datenobjekt bekommt einen Vertrag, bevor der erste Pfeil gezeichnet wird.
Wir arbeiten je Geschäftsobjekt, nicht je Tabelle: Kunden, Artikel, Preise, Bestände, Aufträge, Belege, Kennzahlen. Für jedes beantworten wir sechs Fragen, schriftlich und vor dem Bau:
Der Datenvertrag je Objekt
- Bedeutungwas ein Feld fachlich aussagt — „Bestand“ physisch, verfügbar oder reserviert; „Lieferdatum“ gewünscht, zugesagt oder gedruckt — und wie das Zielsystem es liest
- Identitätworan zwei Datensätze als derselbe Kunde oder Artikel erkannt werden: Schlüssel, Mapping-Tabelle Alt-ID zu Neu-ID, Match-Regeln — und was mit Zweifelsfällen passiert: Klärliste, nie stille Zusammenführung
- Führendes Systemwelche Quelle im Konflikt gilt — je Objekt, oft je Feld: Adresse aus dem CRM, Zahlungsbedingung aus dem ERP
- Richtung und Auslösereinseitig oder in beide Richtungen; Batch, Event oder API — nach dem Takt, den der Vorgang braucht, nicht nach dem, der modern klingt
- PrüfregelnPflichtfelder, Wertebereiche, Bezüge auf vorhandene Stammdaten — was vor der Übergabe abgelehnt oder markiert wird
- Zustand und Zuständigkeitübertragen, wartet, abgelehnt mit Grund — und wer den abgelehnten Datensatz fachlich löst, wer die technische Störung
Richtung und Auslöser verdienen einen zweiten Blick, weil hier die meisten Architekturdiskussionen im Kreis laufen. Drei Werkzeuge, drei Fälle:
Batch
Event
API-Abfrage
Dass ein Event-Kanal still verstummen kann, ist kein Pessimismus, sondern dokumentierter Normalfall:
Ab dann kommt nichts mehr an — und auch kein Fehler. Genau dafür läuft der Abgleich neben dem Event.
Migration ist eine Pipeline, die mehrmals läuft — nicht ein Wochenende, an dem alles klappen muss.
Wenn ein System ersetzt wird, ist Datenintegration dieselbe Arbeit mit einem Enddatum. Der schwerste Teil ist selten der Export; es ist die Bedeutung: Felder, die anders genutzt wurden als vorgesehen, Status, der je Team etwas anderes heißt, IDs, die nach einem alten Import doppelt vergeben sind. Deshalb bauen wir eine Migration als wiederholbare Strecke — extrahieren, prüfen, transformieren, laden (ETL), abgleichen, berichten — und lassen sie so oft laufen, bis Abgleich und fachliche Abnahme stimmen. Der Umschalttag nutzt dann denselben Weg mit einem festgelegten Datenstand und einem Rückfallpunkt. Was danach noch parallel läuft, bekommt einen Delta-Abgleich und ein Abschaltdatum; eine Brücke ohne Ende ist das nächste Altsystem. Wie das in eine Ablösung ohne Big Bang passt, steht bei Build.
Ein Lauf dieser Strecke sieht so aus — mit Zählern statt mit Bauchgefühl:
001extract Quelle lesen, Datenstand einfrieren → gelesen: n002validate Pflichtfelder, Wertebereiche, Bezüge → abgelehnt: n, jeder mit Grund003transform Bedeutung übersetzen, IDs mappen → gemappt: n · Klärliste: n004load ins Zielsystem, idempotent → angelegt: n · vom Ziel bestätigt: n005reconcile Anzahl, Pflichtfelder, Kontrollsummen vergleichen → Abweichung: keine, oder eine Liste006report ein Lauf, ein Protokoll — wiederholbar, bis Abgleich und Abnahme stimmen
Erst die Funktion, die eure Systeme schon haben — gebaut wird für die Lücke.
Hat eines der Systeme den Fluss schon eingebaut — einen Hersteller-Connector zum Nachbarsystem, einen Export mit Zeitplan, eine Import-Funktion mit Prüfregeln? Dann sehen wir uns an, ob die Funktion eure Bedeutungen kennt und wohin bei ihr ein abgelehnter Datensatz fällt. Ein Export ohne Abschlussmeldung ist noch keine Pipeline.
Häufige Systempaare haben fertige Connectoren, und wir halten deren Dokumentation neben euren Vertrag: Objekte, Richtung, Identitätsregel, Verhalten im Konflikt. Ob ein Connector trägt, zeigt sich nicht am ersten Datensatz, sondern am ersten Konflikt.
Fehlende Flüsse kann eine Plattform tragen, solange eure Regeln dort Konfiguration bleiben. Werden sie zur zweiten Codebasis, die niemand versioniert und testet, ist der Vorteil aufgebraucht.
Was danach offen bleibt, übernimmt dpipe, und das haben wir selbst gebaut: Connectors zu den Systemen, Mapping & Rules für den Vertrag, Data Quality für die Prüfregeln, Operations & Monitoring für den Zustand. Eure Bedeutungen leben dort als Mapping, das man lesen und ändern kann, nicht als Zeile im Code, die man suchen muss. Kommt die Prüfung zum Schluss, dass der Standard reicht, ist das unser Ergebnis — und ein gutes.
Für Dörken MKS haben wir IBM Notes mit WordPress verbunden — ein Datenfluss, der sich meldet, statt still zu scheitern.
Dörken MKS
- SystemeIBM Notes · WordPress
- Verbindungüberwachter Datenfluss, der sich selbst meldet, wenn etwas klemmt
- BrancheHersteller — Bautenschutz
Zwei Systeme, die nie füreinander gebaut wurden, und dazwischen genau die Mechanik, um die es auf dieser Seite geht: ein Zustand, den jemand sieht, statt eines Logfiles, das jemand suchen müsste. Ein anderer Fall, derselbe Anspruch: der Gewässer-Kompass, eine Datenplattform für das Umweltbundesamt.
Es beginnt mit einem Datensatz, der in zwei Systemen verschieden aussieht.
Kein Datenmodell, keine Systemlandkarte, keine Feldliste — ein Datensatz, und das erste Gespräch kann losgehen: der Kunde mit zwei Adressen, der Artikel mit drei Beständen, die Kennzahl, die im Meeting zwei Werte hat. Dazu die Geschichte, wie es heute abgeglichen wird — meistens ist es ein Skript, das einer Person gehört.
Aus dem Datensatz wird der erste Vertrag: Bedeutung, Identität, führendes System, Richtung, Prüfregeln. Wir sehen in die beteiligten Systeme, nehmen Beispieldaten mit echten Sonderfällen und setzen uns mit der Person zusammen, der das Skript gehört. Eine Zusage gibt es erst, nachdem wir Schnittstellen, Versionen und Zugriffswege eurer Systeme geprüft haben. Das Ergebnis ist ein Pilot für ein Objekt in eine Richtung, oder die Empfehlung, die vorhandene Funktion einzuschalten.
Ein Objekt, eine Richtung, Testdaten — und eine Grenze, die vorher steht: Welche Umgebung darf schreiben, welche nur lesen. Die Testfälle sind die Sonderfälle aus der Analyse — Dublette, Konflikt, abgelehnter Datensatz, Wiederholung —, und abgenommen wird gegen den Vertrag, nicht gegen die Erreichbarkeit einer Schnittstelle. Eine erfolgreiche Übertragung ist noch kein richtiger Datensatz.
Im Betrieb hat jeder Fluss einen Zustand und jeder abgelehnte Datensatz einen Grund und einen Namen dahinter. Ein regelmäßiger Abgleich zählt nach, ob die Systeme noch dasselbe wissen. Die Grenze der Zuständigkeit verläuft entlang des Vertrags: Transport, Wiederanlauf und Alarm liegen bei uns; die Klärliste liegt bei euch — ob zwei Datensätze derselbe Kunde sind, entscheidet im Zweifel ein Mensch, der ihn kennt.
Welcher Kunde, welcher Artikel, welche Zahl sieht bei euch in zwei Systemen verschieden aus? Einer reicht.
Für wen das passt — und wann es eine BI-Aufgabe ist.
Passt, wenn dieselbe Information wiederkehrend zwischen Systemen wandert, in denen Menschen täglich arbeiten, und unklar ist, wer sie ändern darf. Wenn mehrere Quellen dasselbe Objekt kennen und niemand die Identitätsregel aufgeschrieben hat. Und wenn ein System ersetzt wird, das Geschäft dabei aber weiterlaufen muss.
Passt nicht, wenn das Ziel ein Data Warehouse für Auswertungen ist und kein operatives System auf die Daten wartet. Dann ist es eine BI-Aufgabe: Datenprodukte bauen wir bei Build, Auswertungsschichten sind Sache eures BI-Teams und seiner Werkzeuge. Nicht, wenn ein einmaliger Export ohne Weiterbetrieb reicht; den macht ihr schneller selbst. Und nicht, wenn der Hersteller-Connector euren Vertrag schon erfüllt — dann ist unsere Empfehlung die Einstellung, nicht das Projekt.
Acht offene Fragen vor der ersten Pipeline.
Brauchen wir eine Datenpipeline oder einen bidirektionalen Sync?
Das hängt am Ziel. Soll eine Änderung in einem operativen System eine Änderung in einem anderen auslösen, ist es Sync — mit führendem System und Konfliktregel. Sollen Daten für Auswertungen bereitstehen, ist es eine Pipeline in eine Richtung, mit Abschlussmeldung statt Konfliktregel. Viele Landschaften brauchen beides, für verschiedene Objekte.
Wann reicht ein nächtlicher Lauf, wann brauchen wir Events?
Wenn der Vorgang es braucht. Ein Preisabgleich für den Katalog verträgt die Nacht; eine Bestandsreservierung im Checkout nicht. Wir gehen von der fachlich nötigen Aktualität aus und sehen dann, was die Systeme hergeben. Events sind kein Upgrade von Batch, sondern ein anderes Werkzeug mit eigenen Pflichten — Kennung gegen Duplikate, Abgleich gegen Stille.
Welches System ist für einen Datensatz führend?
Das legen wir je Objekt fest, oft je Feld. Führend heißt: Diese Quelle gilt im Konflikt. Die Adresse kann aus dem CRM führen und die Zahlungsbedingung aus dem ERP, am selben Kunden. Was wir nicht tun: die Entscheidung dem Zeitstempel überlassen. „Zuletzt geändert gewinnt“ ist eine Regel, die zufällig aussieht, weil sie es ist.
Wie erkennt ihr, dass zwei Datensätze derselbe Kunde sind?
Mit einer Identitätsregel, die ihr festlegt und wir umsetzen: eindeutige Schlüssel, wo es sie gibt; eine Mapping-Tabelle zwischen den IDs der Systeme; Match-Regeln für den Rest — Firma plus Postleitzahl plus Umsatzsteuer-ID, zum Beispiel. Treffer unter der Schwelle gehen in eine Klärliste, nicht in eine automatische Zusammenführung. Ein falsch zusammengelegter Kunde ist teurer als zehn offene Fragen.
Was passiert mit fehlerhaften Datensätzen?
Sie bekommen einen Zustand und einen Grund — Pflichtfeld fehlt, Wert außerhalb des Bereichs, Bezug auf einen Artikel, den es nicht gibt — und einen Zuständigen. Ist die Ursache technisch, etwa ein Zielsystem, das gerade nicht antwortet, läuft der Datensatz von selbst noch einmal. Ist sie fachlich, landet er in der Klärliste bei jemandem, der ihn lösen kann. Ob ein Datensatz blockiert, markiert oder mit reduziertem Umfang übergeben wird, steht im Vertrag, nicht in einer Entscheidung im Fehlerfall.
Können wir unser vorhandenes Integrationstool weiterverwenden?
Oft ja, und wir prüfen das zuerst. Entscheidend ist, ob eure Regeln dort Konfiguration bleiben, ob Fehler je Datensatz sichtbar sind und ob jemand die Flüsse versioniert. Ist das gegeben, bleibt das Tool, und wir ergänzen nur die Lücke. Ist es ein Skript, das einer Person gehört, ist es kein Tool, sondern ein Risiko mit Namen.
Wie läuft eine Migration, ohne dass das Geschäft steht?
Als Pipeline, die mehrmals läuft: Probeläufe mit echten Daten, Abgleich von Anzahl, Pflichtfeldern und Kontrollsummen, fachliche Abnahme an Stichproben. Der Umschalttag nutzt denselben Weg mit festgelegtem Datenstand, einem Rückfallpunkt und einem Delta-Lauf für das, was in der Zwischenzeit passiert ist. Was danach parallel läuft, bekommt ein Abschaltdatum.
Was kostet das — und wovon hängt es ab?
An der Zahl der Objekte und Quellen, an der Identitätsregel — eindeutiger Schlüssel oder Match-Regel mit Klärliste — und am Takt, den der Vorgang braucht: nachts im Batch ist weniger als sofort als Event. Bei Migrationen zählen Datenmenge, Abweichungen in der Bedeutung und die Zahl der Probeläufe bis zur Abnahme. Mit dem ersten Vertrag steht auch die Summe, vor dem Pilot; ein Datensatz mit zwei Gesichtern reicht für den Anfang.