Daten deduplizieren mit JavaScript Array-Methoden - n8n-Workflow

Datenanalysten und Data Engineers, die große Datensätze vorverarbeiten müssen.
Fortgeschrittene n8n-Benutzer, die benutzerdefiniertes JavaScript für die Datenmanipulation nutzen möchten.
Benutzer, die robuste n8n-Vorlagen für CRM-Synchronisationen oder Datenbankeinfügungen erstellen.
Jeder, der die Datenqualität innerhalb seiner n8n-Workflow-Ausführung verbessern möchte.

Die Datenqualität ist in jeder Automatisierungspipeline von größter Bedeutung. Echtdaten enthalten häufig Duplikate – beispielsweise mehrfache Anmeldungen mit derselben E-Mail-Adresse –, was CRM-Systeme oder Datenbankimporte verfälschen kann. Dieser leistungsstarke n8n-Workflow bietet eine robuste, wiederverwendbare Lösung für dieses häufige Problem.

Durch die Nutzung der Flexibilität des n8n Code-Knotens und nativer JavaScript-Array-Methoden zeigt diese n8n-Vorlage, wie doppelte Datensätze programmgesteuert anhand eines eindeutigen Identifikators (wie einer E-Mail-Adresse) identifiziert und entfernt werden können. Diese benutzerdefinierte Code-Lösung ist für komplexe Filteraufgaben schneller und konfigurierbarer als die Verwendung mehrerer Standard-n8n-Knoten und somit ein wesentlicher Baustein für viele n8n-Workflow-Anwendungen.

Dieser n8n-Workflow ist als modulares Tutorial konzipiert und beginnt mit einem einfachen manuellen n8n-Trigger, um den Prozess der Datenbereinigung zu demonstrieren.

1. Manueller Start: Der Workflow wird über den Manuellen n8n-Trigger-Knoten gestartet, sodass der Benutzer die Logik bei Bedarf testen kann.


2. Generieren unsauberer Daten: Der erste n8n Code-Knoten, ‚Create Sample Data‘, generiert ein Beispiel-Array von Benutzerdatensätzen, das absichtlich Duplikate enthält. Dies simuliert die unsauberen Daten, denen man häufig in der Praxis begegnet, und bereitet die Datenstruktur für den nächsten Schritt vor.


3. Zentrale Deduplizierungslogik: Der n8n Code-Knoten ‚Deduplicate Users‘ führt die eigentliche Datenbereinigung durch. Er parst die eingehenden JSON-Daten und wendet einen präzisen JavaScript-Filter unter Verwendung von findIndex() auf den Schlüssel ‚email‘ an. Dadurch wird sichergestellt, dass nur das erste Vorkommen jeder eindeutigen E-Mail-Adresse beibehalten wird, wodurch alle Duplikate effektiv entfernt werden. Das Ergebnis wird dann wieder in mehrere einzelne n8n-Items umgewandelt.


4. Ergebnisse zusammenfassen: Der letzte n8n Code-Knoten ‚Display Results‘ aggregiert die bereinigten Items. Er berechnet die endgültige Anzahl eindeutiger Benutzer und fasst die deduplizierten Daten zusammen mit Statistiken in einer sauberen, zusammengefassten JSON-Struktur zusammen, womit die Ausführung des n8n-Workflows abgeschlossen wird.

Um diese leistungsstarke n8n-Vorlage zur Datenbereinigung zu nutzen, gehen Sie wie folgt vor:

1. Importieren: Kopieren Sie den bereitgestellten n8n-Workflow-JSON-Code.


2. Neuer Workflow: Klicken Sie in Ihrer n8n-Instanz auf ‚Neu‘ und dann auf ‚Aus JSON importieren‘. Fügen Sie den kopierten Code ein.


3. Ausführung: Da dieser n8n-Workflow nur Kernknoten und benutzerdefinierten Code ohne Anmeldeinformationen für externe Dienste verwendet, ist keine API-Schlüsselkonfiguration erforderlich.


4. Testen: Klicken Sie auf den n8n-Trigger-Knoten ‚When clicking 'Test workflow'‘ und dann auf ‚Workflow testen‘ (Test Workflow), um die Deduplizierungslogik sofort ausgeführt zu sehen und die sauberen Ergebnisse im letzten Knoten ‚Display Results‘ zu überprüfen.

When clicking 'Test workflow' (Manueller Trigger): Dieser einfache n8n-Trigger startet den Prozess für Tests und Entwicklung.
Create Sample Data (Code-Knoten): Funktion: Initialisiert den Testfall, indem ein JavaScript-Array mit sechs Benutzerobjekten erstellt wird, von denen zwei absichtlich basierend auf ihrer E-Mail-Adresse dupliziert sind.
Deduplicate Users (Code-Knoten): Funktion: Enthält die Kernlogik der Datenbereinigung. Es nutzt JSON.parse(), um eingehende Daten zu verarbeiten, und implementiert die wesentliche Array-Methode filter() in Kombination mit findIndex(u => u.email === user.email), um die Eindeutigkeit basierend auf dem E-Mail-Feld sicherzustellen. Dies ist ein entscheidender n8n-Knoten für die Datenmanipulation.
Display Results (Code-Knoten): Funktion: Sammelt die endgültige, deduplizierte Liste der Items, berechnet die Gesamtanzahl der eindeutigen Einträge und verpackt die bereinigten Daten zusammen mit Statistiken in eine endgültige Ausgabe-Payload zur einfachen Überprüfung. Dies schließt die Ausführung des n8n-Workflows ab.