Google 드라이브로 보내는 견고한 사이트맵 크롤러 및 콘텐츠 추출기 - n8n 워크플로우

• 사이트 감사(audit)를 위해 웹사이트 콘텐츠 보관이 필요한 SEO 분석가.


• 대량 웹사이트 마이그레이션이나 백업 작업을 수행하는 콘텐츠 관리자.


• 구조화된 파일 형태로 안정적인 웹 콘텐츠 추출이 필요한 데이터 과학자.


• 대규모 사이트 스크래핑을 위한 안정적이고 속도 제한이 적용된 n8n 워크플로우를 찾는 사용자.

이 포괄적인 n8n 워크플로우는 기존 사이트맵을 활용하여 대규모 웹사이트에서 콘텐츠를 추출하는 안정적인 솔루션을 제공합니다. 기존 스크래핑 방식은 불안정할 수 있지만, 이 n8n 템플릿은 특정 사용자 에이전트를 사용한 직접적인 HTTP 요청을 활용하며, 견고한 오류 처리 및 n8n 노드를 통해 구현된 필수 3초 지연 시간과 같은 중요한 기능을 포함하여 규정 준수를 보장하고 차단 위험을 줄여줍니다. 사이트맵을 가져와 모든 URL을 반복 처리한 후, 사용자 지정 n8n 노드가 원시 HTML을 깨끗하고 읽기 쉬운 마크다운으로 변환하며, 여기에는 세부 메타데이터(단어 수, 상태 코드, 프레임워크 감지)가 포함됩니다. 최종 결과물은 지정된 Google 드라이브 폴더에 즉시 저장되는 체계적인 .md 파일입니다. 이 특정 n8n 워크플로우는 콘텐츠 아카이빙이 효율적이고 잘 구성되도록 보장합니다.

프로세스는 수동 n8n 트리거인 Start Working Scraper로 시작됩니다.

1. 초기 파라미터 설정: Set Sitemap URL n8n 노드에서 대상 사이트맵 XML URL(https://yourwebsitehere.com/page-sitemap.xml)을 정의합니다.


2. 사이트맵 가져오기: Get Sitemap HTTP 요청 n8n 노드가 사이트맵의 XML 콘텐츠를 가져옵니다.


3. URL 처리: 콘텐츠가 Parse Sitemap XML n8n 노드로 전달되어 구조를 사용 가능한 JSON 배열로 변환합니다. 그런 다음 Split Sitemap URLs n8n 노드가 사이트맵에 나열된 모든 URL에 대해 별도의 항목을 생성하여 병렬 또는 순차적 처리를 가능하게 합니다.


4. 반복 및 스크래핑: Loop URLs n8n 노드가 반복을 시작합니다. 각 URL에 대해 Scrape Page n8n 노드는 안정적인 검색을 위해 특정 헤더를 사용하여 최적화된 HTTP 요청을 실행합니다.


5. 추출 및 정리: Extract Content 코드 n8n 노드가 핵심적인 역할을 합니다. 응답을 안전하게 처리하고, 페이지 제목을 추출하며, 스크립트/스타일을 제거하여 HTML을 정리하고, 나머지 텍스트를 깔끔한 마크다운으로 변환합니다. 또한 단어 수 및 프레임워크 지표(예: WordPress 또는 Divi)와 같은 메타데이터도 기록합니다.


6. 출력 형식 지정: Format Content 코드 n8n 노드는 표준화된 마크다운 파일 구조를 만듭니다. 여기에는 수집된 모든 메타데이터(상태 코드, URL, 타임스탬프)가 포함된 YAML 프론트매터 섹션과 추출된 콘텐츠가 포함된 깔끔한 본문 섹션이 포함됩니다.


7. 저장: Save to Google Drive n8n 노드는 이전 단계에서 생성된 마크다운 텍스트를 가져와 지정된 Google 드라이브 폴더에 새 파일을 생성하고, 파일 이름은 스크래핑된 URL을 기반으로 지정됩니다.


8. 대기: 마지막으로 Wait Between Pages n8n 노드는 각 페이지 요청 처리가 끝나기 전에 3초의 일시 중지를 적용하여, 이 견고한 n8n 워크플로우가 대상 서버 리소스를 존중하도록 보장합니다.

1. 가져오기: 전체 n8n 워크플로우 JSON을 복사하여 사용 중인 n8n 인스턴스로 가져옵니다.


2. Google 드라이브 자격 증명: Save to Google Drive n8n 노드를 클릭하고 Google 드라이브 OAuth2 API 자격 증명을 설정하거나 선택합니다.


3. 대상 URL 설정: Set Sitemap URL n8n 노드로 이동하여 https://yourwebsitehere.com/page-sitemap.xml을 크롤링하려는 실제 사이트맵 URL로 바꿉니다.


4. 출력 폴더 설정: Save to Google Drive n8n 노드에서 자리 표시자인 YOURGOOGLEDRIVEFOLDERID_HERE를 마크다운 파일이 저장될 실제 Google 드라이브 폴더 ID로 바꿉니다.


5. 선택적 제한: 테스트 중인 경우 Limit URLs (Optional) n8n 노드를 활성화하고 낮은 최대 항목 수(예: 5)를 설정할 수 있습니다.


6. 실행: Start Working Scraper n8n 트리거를 사용하여 n8n 워크플로우를 수동으로 실행합니다.

Start Working Scraper (수동 트리거): 전체 작업을 시작하는 n8n 트리거입니다. 이를 통해 n8n 워크플로우를 수동으로 실행할 수 있습니다.
Set Sitemap URL (Set n8n 노드): 후속 HTTP 요청에서 사용되는 sitemap_url 변수를 정의합니다.
Get Sitemap (HTTP Request n8n 노드): 정의된 사이트맵 URL에서 원시 XML 콘텐츠를 가져옵니다. 안정성을 위해 15초 타임아웃과 neverError: true로 설정되어 있습니다.
Parse Sitemap XML (XML n8n 노드): 수신된 XML 문서를 조작하기 쉬운 구조화된 JSON 객체로 변환합니다.
Split Sitemap URLs (Split Out n8n 노드): 구문 분석된 XML에서 가져온 URL 항목 배열을 받아 각 페이지 URL에 대해 별도의 항목을 생성하여 n8n 워크플로우에서 반복(루프)을 가능하게 합니다.
Scrape Page (HTTP Request n8n 노드): 루프 항목($json.loc)에 지정된 개별 웹 페이지의 실제 스크래핑을 실행합니다. 브라우저 동작을 모방하기 위해 사용자 지정 User-Agent 헤더를 보내며, 20초 타임아웃이 설정되어 있습니다.
Extract Content (Code n8n 노드): 수신된 HTML 응답을 정리하고 구조화하는 JavaScript 함수를 포함합니다. 제목을 추출하고, 스크립트/스타일을 제거하여 콘텐츠를 정리하며, 나머지 HTML을 읽기 쉬운 텍스트로 변환하고, 단어 수와 같은 측정항목을 계산합니다.
Format Content (Code n8n 노드): 추출된 데이터를 최종적이고 가독성이 높은 마크다운 파일로 구조화합니다. 여기에는 모든 스크래핑 메타데이터(상태 코드, URL, 타임스탬프)가 포함된 YAML 프론트매터가 포함됩니다.
Save to Google Drive (Google Drive n8n 노드): 이전 단계에서 생성된 마크다운 출력을 기반으로 새 파일을 생성합니다. 파일 이름은 URL을 동적으로 기반으로 생성됩니다.
Wait Between Pages (Wait n8n 노드): 각 페이지 요청 처리 사이에 3초의 일시 중지를 삽입하여, 이 n8n 워크플로우가 대상 서버 리소스에 대한 예의를 지키도록 합니다.