Extrator de Dados de Perfis do GitHub para o Google Sheets - Fluxo de trabalho n8n

Recrutadores e 'Sourcers' que procuram recolher dados completos sobre potenciais candidatos a programadores.
Analistas de Dados que necessitam de dados estruturados e enriquecidos a partir de fontes web.
Especialistas em Automação que procuram exemplos avançados de gestão dinâmica de folhas de cálculo dentro de um fluxo de trabalho n8n.
Utilizadores do BrowserAct que necessitam de um sistema robusto para processar resultados complexos de web scraping usando um nó n8n.

Este sofisticado fluxo de trabalho n8n funciona como um motor de enriquecimento de dados. Resolve o desafio de transformar uma lista básica de URLs do GitHub em registos detalhados e organizados. A partir de uma lista de origem no Google Sheets, o fluxo de trabalho n8n utiliza o nó BrowserAct do n8n para realizar a raspagem de dados com um browser headless em cada perfil. Crucialmente, inclui um nó Code do n8n para reparar e consolidar o resultado JSON confuso que frequentemente resulta de tarefas complexas de scraping. Por fim, em vez de despejar todos os dados numa única folha, este modelo n8n cria dinamicamente uma folha (separador) separada e organizada para cada utilizador do GitHub, garantindo uma separação limpa dos dados para informações de perfil, links e repositórios. Este nível de estrutura torna os relatórios resultantes imediatamente acionáveis.

Todo o processo é iniciado pelo gatilho Manual do n8n, ou pode ser configurado para ser executado num horário definido.

1. Leitura de Entrada: O fluxo de trabalho n8n começa por obter uma lista mestre de URLs do GitHub a partir de uma Folha do Google Sheets de origem designada através do nó n8n Obter linha(s) na folha.


2. Processamento Iterativo: O nó n8n Ciclo Sobre Itens assegura que cada URL de perfil é processado sequencialmente, criando um caminho de execução separado e dedicado para cada utilizador.


3. Execução do Scraping: Uma mensagem do Slack é enviada, confirmando o início da tarefa. O nó n8n Executar tarefa de fluxo de trabalho (BrowserAct) lança então a tarefa externa de scraping, passando o URL do perfil como entrada.


4. Aguardar e Recuperar: O nó n8n Obter detalhes de uma tarefa de fluxo de trabalho pausa a execução do fluxo de trabalho n8n até que a tarefa de scraping esteja totalmente concluída e recupera os dados brutos de saída.


5. Correção e Consolidação de Dados: O nó n8n especializado Código em JavaScript recebe a saída bruta, corrige erros comuns de formatação JSON (como faltar aspas em chaves) e mescla todos os pontos de dados extraídos (resumo do perfil, links, repositórios) num único item de dados limpo.


6. Criação Dinâmica de Folha: Para o utilizador recém-processado, o fluxo de trabalho n8n cria dinamicamente um novo separador na Folha do Google chamado com o nome do utilizador, limpa quaisquer dados existentes e configura os cabeçalhos.


7. Formatação da Saída: Os dados consolidados são segmentados usando nós n8n Dividir Por em três categorias: Dados do Utilizador (resumo do perfil), Links do Utilizador e Repositórios do Utilizador.


8. Escrita Final: Cada segmento de dados é escrito na folha dedicada do utilizador usando nós separados do Google Sheets n8n de Acrescentar linha na folha, finalizando o relatório estruturado.

Para implementar este modelo de fluxo de trabalho n8n, siga estes passos:

1. Importar: Copie o JSON fornecido para a sua instância n8n usando a opção 'Importar do JSON'.


2. Credenciais do Google Sheets: Configure as credenciais da API OAuth2 do Google Sheets. Terá de especificar tanto a folha de cálculo de entrada (contendo a lista de URLs numa coluna chamada URL) como a folha de cálculo de saída (onde os dados extraídos serão escritos).


3. Configuração do BrowserAct: Configure as suas credenciais de API do BrowserAct. Certifique-se de que tem o modelo externo do BrowserAct ativo e anote o seu ID de Fluxo de Trabalho para atualizar o nó n8n Executar tarefa de fluxo de trabalho.


4. Configuração do Slack (Opcional mas Recomendado): Configure as suas credenciais de API OAuth2 do Slack e atualize o ID do Canal no nó n8n Enviar uma mensagem para alertas de execução.


5. Execução: Use o gatilho manual do n8n para testar o fluxo de trabalho n8n ou defina-o como estado Ativo para execuções agendadas.

Este fluxo de trabalho n8n depende de vários tipos de nós n8n principais e da comunidade para gerir o fluxo e a transformação de dados:

Ao clicar em ‘Executar fluxo de trabalho’ (ManualTrigger): O gatilho principal do n8n usado para a execução manual do pipeline de dados.
Google Sheets (Obter linha(s) na folha): Busca a lista de URLs alvo do GitHub a partir da sua folha de cálculo de entrada predefinida.
Ciclo Sobre Itens (SplitInBatches): Um nó de controlo de fluxo do n8n que garante que todo o processo de automação é executado individualmente para cada URL recuperado, mantendo a integridade dos dados.
BrowserAct (Executar tarefa de fluxo de trabalho/Obter detalhes de uma tarefa de fluxo de trabalho): Estes nós especializados do n8n gerem a interação com o serviço externo de scraping web. Iniciam a tarefa de scraping e aguardam a saída JSON rica e detalhada.
Configuração Essencial: Passa ={{ $json.URL }} para o parâmetro Target_Page do modelo do BrowserAct.
Código em JavaScript (nó Code do n8n): Essencial para a limpeza de dados. Este nó n8n usa JavaScript para aplicar correções de regex a strings JSON mal formatadas, analisar a string limpa e consolidar objetos de dados num único item unificado antes de escrever nas Sheets.
Google Sheets (Criar folha, Limpar folha, Acrescentar linha na folha): Gere a saída. O nó n8n Criar folha usa uma expressão dinâmica (={{ $json.Name }}) para gerar separadores (abas) únicos para cada relatório de utilizador.
nó Dividir Por (Split Out n8n node): Usado três vezes (Dividir Por1, Dividir Por, Dividir Por2) para separar o item de dados consolidado único em listas distintas prontas para escrita linha a linha (por exemplo, separando informações do perfil do utilizador de uma lista de repositórios).