Redis-basiertes Entprellsystem für die Stapeldatenverarbeitung - n8n-Workflow

Entwickler, die hochdurchsatzfähige Datenpipelines erstellen und Ratenbegrenzungsfunktionen (Rate-Limiting) benötigen.
n8n-Benutzer, die verhindern müssen, dass gleichzeitige Ausführungen nachgeschaltete Dienste überlasten (z. B. API-Limits).
Ingenieure, die nach fortgeschrittenen n8n-Vorlagen für das Transaktionsmanagement und die Nebenläufigkeitskontrolle mittels Redis suchen.
Jeder, der eine robuste Kernlogik zur Steuerung des Ablaufs innerhalb seiner n8n-Workflow-Umgebung benötigt.

Der Umgang mit plötzlichen Datenstößen oder schnell eintreffenden Ereignissen kann Backend-Systeme überlasten oder schnell API-Ratenlimits ausschöpfen. Dieser n8n-Workflow bietet eine robuste Lösung unter Verwendung von Redis, um diese Ereignisse zu entprellen. Anstatt die Verarbeitungslogik für jeden einzelnen Input auszuführen, puffert diese n8n-Vorlage die Daten für einen kurzen Zeitraum. Nur die 'letzte' Ausführung, die innerhalb dieses Zeitraums Daten empfängt, darf fortfahren und sammelt alle gepufferten Nachrichten in einem einzigen Stapel. Dies reduziert die Last erheblich, optimiert den Ressourcenverbrauch und demonstriert eine leistungsstarke Anwendung der Redis n8n-Node für fortgeschrittene Ablaufsteuerung in Ihrer n8n-Umgebung.

Dieser fortschrittliche n8n-Workflow stellt sicher, dass gleichzeitige Ausführungen, die sich auf dieselbe queueid beziehen, effizient und konfliktfrei verarbeitet werden.

1. Einstieg und Sperrprüfung (Trigger & Redis Node): Der n8n-Trigger startet den Prozess. Der erste n8n-Knoten prüft in Redis auf eine aktive Sperre für die angegebene Warteschlange (lock{{queueid}}). Ist die Sperre aktiv, wartet der Workflow (Wait for lock release) und wiederholt die Prüfung, wodurch eine simultane Stapelverarbeitung verhindert wird.


2. Puffern und Markieren: Sind keine Sperren aktiv, werden die eingehenden Daten in eine Redis-Liste (messages{{queue_id}}) gepusht. Ein eindeutiger UUID wird vom Crypto n8n-Knoten generiert und sofort in einen 'letzte Aktualisierung'-Redis-Schlüssel geschrieben, wodurch die aktuelle Ausführung als neueste Schreiber markiert wird.


3. Entprell-Wartezeit: Die Ausführung trifft auf den Wait n8n-Knoten für die definierte Entprellzeit (z. B. 2 Sekunden). Dies ermöglicht es nachfolgenden gleichzeitigen Ausführungen, anzukommen und den 'letzte Aktualisierung'-Schlüssel zu überschreiben, wodurch der aktuelle Lauf effektiv abgebrochen wird.


4. Verifizierung (Bin ich der Letzte?): Nach der Wartezeit ruft die Ausführung die aktuelle 'letzte Aktualisierung' UUID von Redis ab. Der Am I last? n8n-Knoten prüft, ob diese abgerufene UUID mit der eigenen generierten UUID übereinstimmt. Stimmt sie nicht überein, hat eine neuere Ausführung die Kontrolle übernommen, und diese aktuelle n8n-Workflow-Ausführung wird still beendet.


5. Stapelverarbeitung: Bestätigt die Ausführung, dass sie die letzte Schreiberin ist, erwirbt sie eine Warteschlangensperre, ruft alle Nachrichten aus der Redis-Liste ab (Get messages), leert die Liste, gibt die Sperre frei und verwendet schließlich den Split messages n8n-Knoten, um den aggregierten Stapel für die nachfolgende Logik vorzubereiten.

Um diese leistungsstarke n8n-Workflow-Vorlage zu verwenden, gehen Sie wie folgt vor:

1. Importieren: Kopieren Sie die bereitgestellte JSON und importieren Sie sie direkt als neuen Workflow in Ihre n8n-Instanz.


2. Redis-Anmeldeinformationen: Konfigurieren Sie die erforderlichen Redis-Anmeldeinformationen für alle Redis n8n-Knotenkomponenten (Get lock value, Push to message list usw.). Stellen Sie sicher, dass die Verbindungsdetails (Host, Port, Passwort) korrekt sind.


3. Trigger-Einrichtung: Dieser n8n-Workflow verwendet einen Execute Workflow Trigger. Stellen Sie beim Ausführen dieses Workflows von einem anderen n8n-Workflow oder einem externen Tool sicher, dass Sie zwei wesentliche Parameter übergeben: queue_id (ein eindeutiger Bezeichner für die spezifische Ressource/Warteschlange, die Sie entprellen) und data (die Nutzlast, die Sie puffern möchten).


4. Entprell-Zeitsteuerung: Passen Sie die Zeit am zentralen Wait n8n-Knoten (direkt vor dem Verifizierungsschritt) an, um das gewünschte Entprellfenster festzulegen. Standardmäßig sind dies 2 Sekunden.


5. Nachgelagerte Logik: Verbinden Sie Ihre Ziel-Stapelverarbeitungslogik mit dem Ausgang des Split messages n8n-Knotens.

Trigger (Execute Workflow Trigger): Dient als Einstiegspunkt für den n8n-Workflow und erwartet die Parameter queue_id und data, um Nachrichten an die Warteschlange zu identifizieren und zu übermitteln.
Redis Nodes (Mehrere Instanzen): Entscheidende Komponenten für die Zustandsverwaltung. Werden für Schlüsseloperationen wie get und set für die Debouncer-ID, push zum Puffern von Nachrichten in einer Liste, incr für die Sperrung und delete für die Bereinigung verwendet.
Is lock active? (If n8n node): Implementiert bedingte Logik zur Überprüfung, ob die Verarbeitungswarteschlange aktuell gesperrt ist (Lock-Wert > 0).
Wait for lock release (Wait n8n node): Pausiert die Ausführung des n8n-Workflows, bis die Sperre aufgehoben wird, und implementiert so eine Backoff-Logik für gleichzeitige Einträge.
Wait (n8n node): Der zentrale Entprellmechanismus. Pausiert die Ausführung für eine festgelegte Dauer (2 Sekunden), damit neuere Anfragen ankommen und das 'Letzter Schreiber'-Tag zurücksetzen können.
Crypto (n8n node): Generiert eine eindeutige Ausführungsidentifikation (UUID), die als 'Letzter Schreiber'-Tag dient.
Am I last? (If n8n node): Vergleicht das aktuelle 'Letzter Schreiber'-Tag in Redis mit der eigenen generierten UUID, um festzustellen, ob diese spezifische Ausführung für die Stapelverarbeitung zuständig ist.
Split messages (n8n node): Nimmt die aggregierte Nachrichtenliste, die aus Redis abgerufen wurde, und teilt sie wieder in einzelne Elemente auf, damit diese von anderen n8n-Knoten weiterverarbeitet werden können.