JavaScript 배열 메서드를 활용한 데이터 중복 제거 - n8n 워크플로우

대용량 데이터 세트 사전 처리가 필요한 데이터 분석가 및 엔지니어
데이터 조작을 위해 사용자 지정 JavaScript 활용을 원하는 고급 n8n 사용자
CRM 동기화 또는 데이터베이스 삽입을 위한 안정적인 n8n 템플릿을 구축하는 사용자
n8n 워크플로우 실행 내에서 데이터 품질 향상에 중점을 두는 모든 사용자.

모든 자동화 파이프라인에서 데이터 품질은 매우 중요합니다. 실제 데이터에는 종종 중복(예: 동일한 이메일 주소로 여러 번 가입)이 포함되어 CRM 시스템이나 데이터베이스 가져오기를 손상시킬 수 있습니다. 이 강력한 n8n 워크플로우는 이러한 일반적인 문제를 해결하기 위한 강력하고 재사용 가능한 솔루션을 제공합니다.

n8n 코드 노드의 유연성과 네이티브 JavaScript 배열 메서드를 활용하여, 이 n8n 템플릿은 고유 식별자(예: 이메일 주소)를 기준으로 중복 레코드를 프로그래밍 방식으로 식별하고 제거하는 방법을 보여줍니다. 이 사용자 지정 코드 솔루션은 복잡한 필터링 작업을 위해 여러 표준 n8n 노드를 사용하는 것보다 빠르고 구성이 용이하여 많은 n8n 워크플로우 애플리케이션의 필수 구성 요소가 됩니다.

이 n8n 워크플로우는 모듈식 튜토리얼로 설계되었으며, 간단한 수동 n8n 트리거로 시작하여 데이터 정리 프로세스를 시연합니다.

1. 수동 시작: 워크플로우는 수동 n8n 트리거 노드를 사용하여 시작되며, 사용자가 필요할 때 로직을 테스트할 수 있도록 합니다.


2. 불량 데이터 생성: 첫 번째 n8n 코드 노드인 '샘플 데이터 생성'은 의도적으로 중복을 포함하는 사용자 레코드 샘플 배열을 생성합니다. 이는 실제 시나리오에서 흔히 접하는 불량 데이터를 시뮬레이션하여 다음 단계를 위해 데이터 구조를 준비합니다.


3. 핵심 중복 제거 로직: '사용자 중복 제거' n8n 코드 노드가 기본 데이터 정리를 실행합니다. 수신된 JSON을 구문 분석하고 'email' 키에 대해 findIndex()를 사용한 정확한 JavaScript 필터를 적용합니다. 이를 통해 각 고유 이메일 주소의 첫 번째 항목만 유지되어 모든 중복 항목이 효과적으로 제거됩니다. 그런 다음 결과는 여러 개별 n8n 항목으로 다시 변환됩니다.


4. 결과 요약: 마지막 '결과 표시' n8n 코드 노드가 정리된 항목을 집계합니다. 고유 사용자 수를 최종 계산하고 중복이 제거된 모든 데이터를 깔끔하게 요약된 JSON 객체로 컴파일하여 n8n 워크플로우 실행을 완료합니다.

이 강력한 데이터 정리 n8n 템플릿을 활용하려면 다음 단계를 따르세요.

1. 가져오기: 제공된 n8n 워크플로우 JSON 코드를 복사합니다.


2. 새 워크플로우: n8n 인스턴스에서 '새로 만들기(New)'를 클릭한 다음 'JSON에서 가져오기(Import from JSON)'를 클릭합니다. 복사한 코드를 붙여넣습니다.


3. 실행: 이 n8n 워크플로우는 외부 서비스 자격 증명 없이 핵심 노드와 사용자 지정 코드만 사용하므로 API 키 구성이 필요하지 않습니다.


4. 테스트: '워크플로우 테스트 시(When clicking 'Test workflow')' n8n 트리거 노드를 클릭한 다음 '워크플로우 테스트(Test Workflow)'를 클릭하여 중복 제거 로직이 즉시 실행되는 것을 확인하고 마지막 '결과 표시' 노드에서 정리된 결과를 확인합니다.

'워크플로우 테스트 시' (수동 트리거): 이 간단한 n8n 트리거는 테스트 및 개발을 위해 프로세스를 시작합니다.
샘플 데이터 생성 (코드 노드): 기능: 이메일 주소를 기준으로 의도적으로 중복된 두 개를 포함하여 6개의 사용자 객체를 포함하는 JavaScript 배열을 생성하여 테스트 사례를 초기화합니다.
사용자 중복 제거 (코드 노드): 기능: 핵심 데이터 정리 로직을 포함합니다. 들어오는 데이터를 처리하기 위해 JSON.parse()를 활용하고, 이메일 필드를 기반으로 고유성을 보장하기 위해 findIndex(u => u.email === user.email)와 결합된 필수 filter() 배열 메서드를 구현합니다. 이는 데이터 조작을 위한 중요한 n8n 노드입니다.
결과 표시 (코드 노드): 기능: 최종 중복 제거된 항목 목록을 수집하고, 고유 사용자 총 수를 계산하고, 정리된 데이터와 통계를 최종 출력 페이로드에 패키징하여 쉽게 검토할 수 있도록 합니다. 이로써 n8n 워크플로우 실행이 완료됩니다.