GitHub-Profil-Datenscraper für Google Sheets - n8n-Workflow

Personalvermittler und Sourcer, die umfassende Daten über potenzielle Entwicklerkandidaten sammeln möchten.
Datenanalysten, die strukturierte, angereicherte Daten aus Webquellen benötigen.
Automatisierungsspezialisten, die fortgeschrittene Beispiele für die dynamische Tabellenkalkulationsverwaltung innerhalb eines n8n-Workflows suchen.
Nutzer von BrowserAct, die ein robustes System zur Verarbeitung komplexer Web-Scraping-Ergebnisse mithilfe eines n8n-Knotens benötigen.

Dieser anspruchsvolle n8n-Workflow fungiert als Datenanreicherungs-Engine. Er löst die Herausforderung, eine einfache Liste von GitHub-URLs in detaillierte, organisierte Datensätze umzuwandeln. Ausgehend von einer Quellliste in Google Sheets führt der n8n-Workflow mittels des BrowserAct n8n-Knotens ein Headless-Browser-Scraping für jedes Profil durch. Entscheidend ist, dass er einen Code n8n-Knoten enthält, um die oft unordentlichen JSON-Ausgaben komplexer Scraping-Aufgaben zu reparieren und zu konsolidieren. Anstatt alle Daten in ein einziges Tabellenblatt zu kippen, erstellt diese n8n-Vorlage dynamisch ein separates, organisiertes Tabellenblatt (Reiter) für jeden GitHub-Nutzer, was eine saubere Datentrennung für Profilinformationen, Links und Repositories gewährleistet. Dieses Maß an Struktur macht die resultierenden Berichte sofort umsetzbar.

Der gesamte Prozess wird durch den Manuellen n8n-Trigger ausgelöst oder kann zur Ausführung nach einem Zeitplan eingestellt werden.

1. Eingabelesung: Der n8n-Workflow beginnt damit, eine Masterliste der GitHub-URLs aus einem vorgesehenen Google-Sheet über den n8n-Knoten Get row(s) in sheet abzurufen.


2. Iterative Verarbeitung: Der n8n-Knoten Loop Over Items stellt sicher, dass jede Profil-URL sequenziell verarbeitet wird, wodurch ein separater, dedizierter Ausführungspfad für jeden Nutzer entsteht.


3. Scraping-Ausführung: Eine Slack-Nachricht wird gesendet, die den Beginn der Aufgabe bestätigt. Der n8n-Knoten Run a workflow task (BrowserAct) startet dann den externen Scraping-Job und übergibt die Profil-URL als Eingabe.


4. Warten und Abrufen: Der n8n-Knoten Get details of a workflow task pausiert die Ausführung des n8n-Workflows, bis die Scraping-Aufgabe vollständig abgeschlossen ist, und ruft die Rohausgabedaten ab.


5. Datenbereinigung und Konsolidierung: Der spezialisierte n8n-Knoten Code in JavaScript übernimmt die Rohausgabe, korrigiert gängige JSON-Formatierungsfehler (wie fehlende Anführungszeichen um Schlüssel) und fasst alle extrahierten Datenpunkte (Profilzusammenfassung, Links, Repositories) zu einem sauberen Datenelement zusammen.


6. Dynamische Tabellenerstellung: Für den neu verarbeiteten Nutzer erstellt der n8n-Workflow dynamisch einen neuen Google Sheets-Reiter, der nach dem Nutzer benannt ist, löscht alle vorhandenen Daten und richtet die Kopfzeilen ein.


7. Ausgabeformatierung: Die konsolidierten Daten werden mithilfe von Split Out n8n-Knoten in drei Kategorien unterteilt: Nutzerdaten (Profilzusammenfassung), Nutzerlinks und Nutzer-Repositories.


8. Endgültiges Schreiben: Jedes Datensegment wird mithilfe separater Google Sheets n8n-Knoten vom Typ Append row in sheet in das dedizierte Tabellenblatt des Nutzers geschrieben, wodurch der strukturierte Bericht fertiggestellt wird.

Um diese n8n-Workflow-Vorlage bereitzustellen, gehen Sie wie folgt vor:

1. Import: Kopieren Sie das bereitgestellte JSON mithilfe der Option „Aus JSON importieren“ in Ihre n8n-Instanz.


2. Google Sheets-Anmeldeinformationen: Konfigurieren Sie die OAuth2-API-Anmeldeinformationen für Google Sheets. Sie müssen sowohl die Eingabe-Tabelle (die die URL-Liste in einer Spalte namens URL enthält) als auch die Ausgabe-Tabelle (in die die extrahierten Daten geschrieben werden) angeben.


3. BrowserAct-Einrichtung: Richten Sie Ihre BrowserAct-API-Anmeldeinformationen ein. Stellen Sie sicher, dass die erforderliche externe BrowserAct-Vorlage aktiv ist, und notieren Sie deren Workflow-ID, um den n8n-Knoten Run a workflow task zu aktualisieren.


4. Slack-Einrichtung (Optional, aber empfohlen): Konfigurieren Sie Ihre Slack OAuth2-API-Anmeldeinformationen und aktualisieren Sie die Kanal-ID im n8n-Knoten Send a message für Ausführungsbenachrichtigungen.


5. Ausführung: Verwenden Sie den manuellen n8n-Trigger, um den n8n-Workflow zu testen, oder setzen Sie ihn auf den Status „Aktiv“ für geplante Läufe.

Dieser n8n-Workflow stützt sich auf verschiedene Kern- und Community-n8n-Knotentypen zur Verwaltung des Ablaufs und der Datentransformation:

Beim Klicken auf „Workflow ausführen“ (ManualTrigger): Der primäre n8n-Trigger, der für die manuelle Ausführung der Datenpipeline verwendet wird.
Google Sheets (Get row(s) in sheet): Ruft die Liste der Ziel-GitHub-URLs aus Ihrer vordefinierten Eingabetabelle ab.
Loop Over Items (SplitInBatches): Ein Ablaufsteuerung-n8n-Knoten, der sicherstellt, dass der gesamte Automatisierungsprozess für jede abgerufene URL einzeln ausgeführt wird, wodurch die Datenintegrität gewahrt bleibt.
BrowserAct (Run a workflow task/Get details of a workflow task): Diese spezialisierten n8n-Knoten übernehmen die Interaktion mit dem externen Web-Scraping-Dienst. Sie initiieren die Scraping-Aufgabe und warten auf die umfangreiche, detaillierte JSON-Ausgabe.
Wichtige Konfiguration: Übergibt ={{ $json.URL }} an den Parameter Target_Page der BrowserAct-Vorlage.
Code in JavaScript (Code n8n-Knoten): Unerlässlich für die Datenbereinigung. Dieser n8n-Knoten verwendet JavaScript, um Regex-Korrekturen auf fehlerhaft formatierte JSON-Strings anzuwenden, den bereinigten String zu parsen und Datenobjekte zu einem einzigen, vereinheitlichten Element zu konsolidieren, bevor sie in die Sheets geschrieben werden.
Google Sheets (Create sheet, Clear sheet, Append row in sheet): Verwaltet die Ausgabe. Der n8n-Knoten Create sheet verwendet einen dynamischen Ausdruck (={{ $json.Name }}), um eindeutige Reiter für jeden Nutzerbericht zu erstellen.
Split Out n8n-Knoten: Wird dreimal verwendet (Split Out1, Split Out, Split Out2), um das einzelne konsolidierte Datenelement in unterschiedliche Listen zu trennen, die für das zeilenweise Schreiben bereit sind (z. B. Trennung von Nutzerprofilinformationen von einer Liste von Repositories).