GitHub 프로필 데이터 수집기 및 Google 시트 연동 - n8n 워크플로우

잠재적 개발자 후보자에 대한 종합적인 데이터를 수집하려는 리크루터 및 소서(Sourcer).
웹 소스로부터 구조화되고 풍부화된 데이터가 필요한 데이터 분석가.
n8n 워크플로우 내에서 동적인 스프레드시트 관리에 대한 고급 사례를 찾는 자동화 전문가.
n8n 노드를 사용하여 복잡한 웹 스크래핑 결과를 처리할 강력한 시스템이 필요한 BrowserAct 사용자.

이 정교한 n8n 워크플로우는 데이터 풍부화 엔진 역할을 합니다. 기본적인 GitHub URL 목록을 상세하고 체계적인 레코드로 변환하는 과제를 해결합니다. Google 시트에 있는 원본 목록에서 시작하여, n8n 워크플로우는 BrowserAct n8n 노드를 사용하여 각 프로필에 대해 헤드리스 브라우저 스크래핑을 수행합니다. 결정적으로, 복잡한 스크래핑 작업으로 인해 자주 발생하는 지저분한 JSON 출력을 복구하고 통합하기 위해 Code n8n 노드를 포함합니다. 마지막으로, 모든 데이터를 단일 시트에 쏟아붓는 대신, 이 n8n 템플릿은 각 GitHub 사용자에 대해 별도의 정리된 시트(탭)를 동적으로 생성하여 프로필 정보, 링크, 저장소를 깨끗하게 분리합니다. 이러한 수준의 구조화 덕분에 결과 보고서는 즉시 활용 가능해집니다.

전체 프로세스는 수동 n8n 트리거로 시작되거나, 스케줄에 따라 실행되도록 설정할 수 있습니다.

1. 입력 읽기: n8n 워크플로우는 Get row(s) in sheet n8n 노드를 통해 지정된 소스 Google 시트에서 GitHub URL 마스터 목록을 가져오는 것으로 시작됩니다.


2. 반복 처리: Loop Over Items n8n 노드는 각 프로필 URL이 순차적으로 처리되도록 보장하며, 사용자별로 별도의 전용 실행 경로를 생성합니다.


3. 스크래핑 실행: 작업 시작을 확인하는 Slack 메시지가 전송됩니다. 그런 다음 Run a workflow task (BrowserAct) n8n 노드가 프로필 URL을 입력으로 전달하여 외부 스크래핑 작업을 실행합니다.


4. 대기 및 검색: Get details of a workflow task n8n 노드는 스크래핑 작업이 완전히 완료될 때까지 n8n 워크플로우 실행을 일시 중지하고 원시 출력 데이터를 검색합니다.


5. 데이터 수정 및 통합: 특화된 Code in JavaScript n8n 노드는 원시 출력을 받아 일반적인 JSON 형식 오류(예: 키 주변의 따옴표 누락)를 수정하고, 추출된 모든 데이터 포인트(프로필 요약, 링크, 저장소)를 하나의 깔끔한 데이터 항목으로 병합합니다.


6. 동적 시트 생성: 새로 처리된 사용자의 경우, n8n 워크플로우는 사용자 이름을 딴 새로운 Google 시트 탭을 동적으로 생성하고, 기존 데이터를 지운 후 헤더를 설정합니다.


7. 출력 형식 지정: 통합된 데이터는 Split Out n8n 노드를 사용하여 세 가지 범주(사용자 데이터(프로필 요약), 사용자 링크, 사용자 저장소)로 분할됩니다.


8. 최종 쓰기: 각 데이터 세그먼트는 개별 Append row in sheet Google Sheets n8n 노드를 사용하여 해당 사용자의 전용 시트에 기록되어 구조화된 보고서 작성을 완료합니다.

이 n8n 워크플로우 템플릿을 배포하려면 다음 단계를 따르십시오.

1. 가져오기: 'JSON에서 가져오기(Import from JSON)' 옵션을 사용하여 제공된 JSON을 n8n 인스턴스에 복사합니다.


2. Google 시트 자격 증명: Google 시트 OAuth2 API 자격 증명을 구성합니다. 입력 스프레드시트(URL이라는 이름의 열에 URL 목록 포함)와 추출된 데이터가 기록될 출력 스프레드시트 모두를 지정해야 합니다.


3. BrowserAct 설정: BrowserAct API 자격 증명을 설정합니다. 필요한 외부 BrowserAct 템플릿이 활성화되어 있는지 확인하고 Run a workflow task n8n 노드를 업데이트하기 위해 해당 워크플로우 ID를 기록해 두십시오.


4. Slack 설정 (선택 사항이지만 권장): 실행 알림을 위해 Slack OAuth2 API 자격 증명을 구성하고 Send a message n8n 노드의 채널 ID를 업데이트합니다.


5. 실행: 수동 n8n 트리거를 사용하여 n8n 워크플로우를 테스트하거나, 예약 실행을 위해 '활성(Active)' 상태로 설정합니다.

이 n8n 워크플로우는 흐름과 데이터 변환을 관리하기 위해 몇 가지 핵심 및 커뮤니티 n8n 노드 유형에 의존합니다.

'워크플로우 실행(Execute workflow)' 클릭 시 (ManualTrigger): 데이터 파이프라인의 수동 실행에 사용되는 기본 n8n 트리거입니다.
Google 시트 (Get row(s) in sheet): 미리 정의된 입력 스프레드시트에서 대상 GitHub URL 목록을 가져옵니다.
Loop Over Items (SplitInBatches): 검색된 모든 URL에 대해 전체 자동화 프로세스가 개별적으로 실행되도록 보장하여 데이터 무결성을 유지하는 흐름 제어 n8n 노드입니다.
BrowserAct (Run a workflow task/Get details of a workflow task): 이 특화된 n8n 노드들은 외부 웹 스크래핑 서비스와의 상호 작용을 처리합니다. 이 노드들은 스크래핑 작업을 시작하고 풍부하고 상세한 JSON 출력을 기다립니다.
주요 설정: BrowserAct 템플릿의 Target_Page 매개변수에 ={{ $json.URL }}을 전달합니다.
JavaScript 코드 (Code n8n node): 데이터 정리 작업에 필수적입니다. 이 n8n 노드는 JavaScript를 사용하여 잘못된 형식의 JSON 문자열에 정규 표현식 수정을 적용하고, 정리된 문자열을 구문 분석한 다음, 시트에 쓰기 전에 데이터 객체들을 하나의 통합된 항목으로 병합합니다.
Google 시트 (Create sheet, Clear sheet, Append row in sheet): 출력을 관리합니다. Create sheet n8n 노드는 동적 표현식(={{ $json.Name }})을 사용하여 각 사용자 보고서에 대해 고유한 탭을 생성합니다.
Split Out n8n 노드: 단일 통합 데이터 항목을 행 단위 쓰기에 적합한 개별 목록으로 분리하기 위해 세 번(Split Out1, Split Out, Split Out2) 사용됩니다(예: 사용자 프로필 정보를 저장소 목록과 분리).