Extracteur de données de Profil GitHub vers Google Sheets - Workflow n8n

Recruteurs et Sourcers cherchant à recueillir des données complètes sur des candidats développeurs potentiels.
Analystes de Données ayant besoin de données structurées et enrichies provenant de sources web.
Spécialistes de l'Automatisation à la recherche d'exemples avancés de gestion dynamique de feuilles de calcul au sein d'un flux de travail n8n.
Utilisateurs de BrowserAct nécessitant un système robuste pour traiter les résultats complexes du scraping web via un nœud n8n.

Ce flux de travail n8n sophistiqué agit comme un moteur d'enrichissement de données. Il résout le problème consistant à transformer une simple liste d'URL GitHub en enregistrements détaillés et organisés. En partant d'une liste source dans Google Sheets, le flux de travail n8n utilise le nœud n8n BrowserAct pour effectuer un scraping en navigateur headless sur chaque profil. De manière cruciale, il intègre un nœud Code n8n pour réparer et consolider la sortie JSON désordonnée résultant souvent des tâches de scraping complexes. Enfin, au lieu de déverser toutes les données dans une seule feuille, ce modèle n8n crée dynamiquement une feuille (un onglet) séparée et organisée pour chaque utilisateur GitHub, assurant une séparation propre des données pour les informations de profil, les liens et les dépôts. Ce niveau de structure rend les rapports finaux immédiatement exploitables.

L'ensemble du processus est initié par le déclencheur Manuel de n8n, ou peut être configuré pour s'exécuter selon un calendrier.

1. Lecture des Entrées : Le flux de travail n8n commence par extraire une liste maîtresse d'URL GitHub d'une feuille Google source désignée via le nœud n8n Get row(s) in sheet.


2. Traitement Itératif : Le nœud n8n Loop Over Items garantit que chaque URL de profil est traitée séquentiellement, créant une voie d'exécution distincte et dédiée pour chaque utilisateur.


3. Exécution du Scraping : Un message Slack est envoyé pour confirmer le démarrage de la tâche. Le nœud n8n Run a workflow task (BrowserAct) lance ensuite le travail de scraping externe, en passant l'URL du profil en entrée.


4. Attente et Récupération : Le nœud n8n Get details of a workflow task suspend l'exécution du flux de travail n8n jusqu'à ce que la tâche de scraping soit entièrement terminée et récupère les données de sortie brutes.


5. Correction et Consolidation des Données : Le nœud spécialisé Code in JavaScript n8n prend la sortie brute, corrige les erreurs de formatage JSON courantes (comme les guillemets manquants autour des clés) et fusionne tous les points de données extraits (résumé du profil, liens, dépôts) en un seul élément de données propre.


6. Création de Feuille Dynamique : Pour l'utilisateur nouvellement traité, le flux de travail n8n crée dynamiquement un nouvel onglet de feuille Google nommé d'après l'utilisateur, efface toutes les données existantes et configure les en-têtes.


7. Formatage de la Sortie : Les données consolidées sont segmentées à l'aide de nœuds n8n Split Out en trois catégories : Données Utilisateur (résumé du profil), Liens Utilisateur et Dépôts Utilisateur.


8. Écriture Finale : Chaque segment de données est écrit dans la feuille dédiée de l'utilisateur à l'aide de nœuds n8n Google Sheets Append row in sheet séparés, finalisant ainsi le rapport structuré.

Pour déployer ce modèle de flux de travail n8n, suivez ces étapes :

1. Importation : Copiez le JSON fourni dans votre instance n8n en utilisant l'option 'Importer depuis JSON'.


2. Identifiants Google Sheets : Configurez les identifiants d'API OAuth2 de Google Sheets. Vous devrez spécifier à la fois la feuille de calcul d'entrée (contenant la liste des URL dans une colonne nommée URL) et la feuille de calcul de sortie (où les données extraites seront écrites).


3. Configuration de BrowserAct : Configurez vos identifiants d'API BrowserAct. Assurez-vous que le modèle BrowserAct externe requis est actif et notez son ID de flux de travail pour mettre à jour le nœud n8n Run a workflow task.


4. Configuration Slack (Optionnel mais Recommandé) : Configurez vos identifiants d'API OAuth2 de Slack et mettez à jour l'ID de Canal dans le nœud n8n Send a message pour les alertes d'exécution.


5. Exécution : Utilisez le déclencheur manuel de n8n pour tester le flux de travail n8n ou définissez-le sur le statut Actif pour les exécutions planifiées.

Ce flux de travail n8n s'appuie sur plusieurs types de nœuds n8n de base et communautaires pour gérer le flux et la transformation des données :

Lors du clic sur ‘Execute workflow’ (ManualTrigger) : Le déclencheur n8n principal utilisé pour l'exécution manuelle du pipeline de données.
Google Sheets (Get row(s) in sheet) : Récupère la liste des URL GitHub cibles depuis votre feuille de calcul d'entrée prédéfinie.
Loop Over Items (SplitInBatches) : Un nœud de contrôle de flux n8n qui assure que l'ensemble du processus d'automatisation est exécuté individuellement pour chaque URL récupérée, maintenant ainsi l'intégrité des données.
BrowserAct (Run a workflow task/Get details of a workflow task) : Ces nœuds n8n spécialisés gèrent l'interaction avec le service de scraping web externe. Ils initient la tâche de scraping et attendent la sortie JSON riche et détaillée.
Configuration Clé : Transmet ={{ $json.URL }} au paramètre Target_Page du modèle BrowserAct.
Code in JavaScript (nœud Code n8n) : Essentiel pour le nettoyage des données. Ce nœud n8n utilise JavaScript pour appliquer des corrections par expressions régulières aux chaînes JSON mal formées, analyser la chaîne nettoyée et consolider les objets de données en un seul élément unifié avant l'écriture dans Sheets.
Google Sheets (Create sheet, Clear sheet, Append row in sheet) : Gère la sortie. Le nœud n8n Create sheet utilise une expression dynamique (={{ $json.Name }}) pour générer des onglets uniques pour chaque rapport utilisateur.
Nœud Split Out n8n : Utilisé trois fois (Split Out1, Split Out, Split Out2) pour séparer l'élément de données consolidé unique en listes distinctes prêtes pour l'écriture ligne par ligne (par exemple, séparer les informations de profil utilisateur d'une liste de dépôts).