Extraktion und Strukturierung von Rezeptdaten mittels Bright Data und OpenAI - n8n-Workflow

Datenwissenschaftler und Analysten, die strukturierte Webdaten in großem Umfang benötigen.
Entwickler, die nach fortgeschrittenen n8n-Vorlagen suchen, welche Scraping und KI integrieren.
Nutzer der Managed Collecting Platform (MCP) von Bright Data.
Jeder, der einen n8n-Workflow zur Verarbeitung komplexer, mehrseitiger Datenextraktionen benötigt.

Dieser fortgeschrittene n8n-Workflow geht die große Herausforderung an, strukturierte Daten von dynamisch paginierten Websites zu extrahieren. Herkömmliches Scraping scheitert oft daran, konsistent sauberes JSON aus unstrukturiertem HTML zu gewinnen. Diese Lösung kombiniert die Leistungsfähigkeit des Bright Data MCP n8n-Knotens für zuverlässiges Web-Scraping mit der Intelligenz des GPT-4o mini LLM von OpenAI, um den gescrapten Inhalt zu parsen und zu strukturieren.

Die n8n-Vorlage ist auf Effizienz ausgelegt: Sie scrapt zuerst die Ausgangsseite, um alle Links zu den weiteren Seiten zu finden, und durchläuft dann jeden Link, wobei ein ausgefeilter LLM-basierter Parsing-Schritt angewendet wird. Das Ergebnis ist eine saubere, validierte JSON-Ausgabe, die zur Speicherung oder weiteren Analyse bereit ist. Dies ist ein hochwirksamer n8n-Workflow für jeden, der es ernst meint mit der Automatisierung komplexer Datenpipelines.

Der Prozess beginnt mit einem Manuellen n8n-Trigger, der die Datenpipeline initiiert.

1. Initialisierung: Der n8n-Workflow startet damit, Bright Data Tools aufzulisten, und weist dann die Ziel-Website-URL (eine Rezeptsuchergebnisseite) und eine Benachrichtigungs-Webhook-URL über den n8n-Knoten 'Set the Recipe Extract URL' zu.


2. Erstes Scraping: Der n8n-Knoten 'Bright Data MCP Client For Recipe Extract' scrapt die ursprüngliche Suchergebnisseite im HTML-Format.


3. Extraktion der Paginierung: Der rohe HTML-Inhalt wird an die 'Paginated Data Extract' Chain LLM übergeben, welche das 'OpenAI Chat Model' (GPT-4o mini) und einen n8n-Knoten für strukturiertes Parsen verwendet, um alle nachfolgenden Seitenlinks zu identifizieren. Die Ausgabe ist ein Array von Objekten, das Seitenzahlen und die entsprechenden Links enthält.


4. Loop-Einrichtung: Der Knoten 'Code to output the array of paginated info' formatiert die Daten, die dann vom n8n-Knoten 'Loop Over Items' aufgeteilt werden, wodurch einzelne Elemente für jeden Seitenlink erstellt werden.


5. Iteratives Scraping & Verzögerung: Innerhalb der Schleife fügt ein 'Wait' n8n-Knoten eine 10-sekündige Verzögerung ein, um die Anfrageauslastung zu steuern. Der n8n-Knoten 'Bright Data MCP Client For Recipe Extract Within The Loop' scrapt die spezifische URL für diese Iteration.


6. Strukturierte Rezept-Extraktion: Der neu gescrapte Inhalt wird in die 'Structured Recipe Data Extract' Chain LLM eingespeist, wobei ein dediziertes 'OpenAI Chat Model' und ein sehr detaillierter n8n-Knoten für strukturiertes Parsen verwendet werden, um ein standardisiertes JSON-Schema der Rezeptdaten (Titel, Bewertung, Kategorie usw.) zu erzeugen.


7. Ausgabe & Speicherung: Die finalen strukturierten Daten werden gleichzeitig an eine 'Webhook Notification' gesendet und in ein Binärformat umgewandelt. Der n8n-Knoten 'Write the structured content to disk' speichert die finale, saubere JSON-Datei lokal und schließt damit die Ausführung dieser komplexen n8n-Vorlage ab.

1. Importieren: Kopieren Sie die bereitgestellte n8n-Workflow-JSON und fügen Sie sie in Ihre n8n-Instanz ein, indem Sie die Option 'New' -> 'Import from JSON' verwenden.


2. Zugangsdaten: Dieser n8n-Workflow erfordert zwei primäre Zugangsdaten:

1. Community Node: Beachten Sie, dass diese n8n-Vorlage den Community 'MCP Client' n8n-Knoten verwendet, was eine selbst gehostete n8n-Umgebung (Self-Hosted) voraussetzt.


2. Anpassung: Aktualisieren Sie die URL im n8n-Knoten 'Set the Recipe Extract URL' und stellen Sie sicher, dass Sie die Platzhalter-URL im n8n-Knoten 'Webhook Notification...' durch den gewünschten Endpunkt ersetzen.


3. Ausführung: Klicken Sie auf den n8n-Trigger 'When clicking ‘Test workflow’', um eine Testausführung zu starten.

Manueller Trigger (When clicking ‘Test workflow’): Der initiale n8n-Trigger, der für das manuelle Testen und die Ausführung des n8n-Workflows verwendet wird.
Set (Set the Recipe Extract URL): Definiert statische Eingangsvariablen, einschließlich der url für das initiale Scraping, der webhookurl für Benachrichtigungen und der baseurl für die Rekonstruktion relativer Links.
MCP Client (Bright Data MCP Client For Recipe Extract): Ein n8n-Knoten, der eine Schnittstelle zur Scraping-Infrastruktur von Bright Data herstellt und hier so konfiguriert ist, dass er das Tool scrapeashtml für zuverlässiges Web-Scraping verwendet.
Chain LLM (Paginated Data Extract): Dieser n8n-Knoten nutzt Prompt Engineering mit dem verbundenen OpenAI Chat Model (GPT-4o mini), um Seitenzahlenlinks aus dem rohen HTML-Inhalt zu lokalisieren und zu extrahieren, was für diesen komplexen n8n-Workflow unerlässlich ist.
Structured Output Parser for Paginated Data: Stellt dem LLM ein strenges Schema [{page_number, link}] zur Verfügung, um sicherzustellen, dass die Ausgabe für den nachfolgenden n8n-Knoten 'Loop Over Items' perfekt strukturiert ist.
Split In Batches (Loop Over Items): Steuert den iterativen Prozess, indem das Array der extrahierten Links genommen und diese sequenziell durch die nachfolgenden Scraping- und Extraktionsschritte verarbeitet werden.
Chain LLM (Structured Recipe Data Extract): Der zentrale KI-Verarbeitungs-n8n-Knoten, der den HTML-Inhalt einer einzelnen Rezeptseite entgegennimmt und ein komplexes JSON-Schema über den Output Parser anwendet, um spezifische Rezeptattribute wie Titel, Bewertung und Diätoptionen auszulesen.
HTTP Request (Webhook Notification for Data Extract Within the Loop): Ein n8n-Knoten, der konfiguriert ist, die finalen strukturierten JSON-Daten per POST an einen festgelegten Webhook-Endpunkt zu senden, was einen Echtzeit-Datenexport ermöglicht.

• ReadWriteFile (Write the structured content to disk): Schreibt das Endergebnis des n8n-Workflows in einen lokalen Dateipfad als strukturierte JSON-Datei und nutzt dabei die Seitenzahl aus der Schleife für eine eindeutige Benennung.