FTP에서 Qdrant 지식 베이스로 로드 및 임베딩하는 파이프라인 - n8n 워크플로우

• 자동화된 데이터 수집이 필요한 RAG(검색 증강 생성) 개발자.


• AI 애플리케이션용 데이터 파이프라인을 관리하는 데이터 엔지니어.


• Qdrant 벡터 데이터베이스의 주기적인 업데이트가 필요한 팀.


• n8n 템플릿과 LangChain n8n 노드를 사용하여 맞춤형 AI 애플리케이션을 구축하는 사용자.

효과적인 검색 증강 생성(RAG) 시스템을 위해서는 최신 지식 베이스를 유지하는 것이 매우 중요합니다. 이 n8n 워크플로우는 원활한 ETL 파이프라인을 생성하여 수동 데이터 로딩 문제를 해결합니다. 먼저 FTP를 통해 원격 JSON 파일에 안전하게 액세스하고, 필요한 정리 및 분할 단계를 거쳐 최종적으로 고품질의 벡터 임베딩을 Qdrant로 푸시합니다. 이를 통해 Qdrant 지식 베이스가 항상 최신 상태로 유지되고 시맨틱 검색에 최적화되도록 보장합니다. 이 특정 n8n 템플릿은 문서 파싱과 청킹을 효과적으로 처리하기 위해 특화된 LangChain n8n 노드 구성을 활용합니다.

이 강력한 n8n 워크플로우는 지속적인 지식 베이스 업데이트를 위해 설계된 포괄적인 일괄 처리 작업으로 작동합니다.

1. 시작 및 파일 목록 확인: 프로세스는 ‘워크플로우 테스트’ 클릭 시 n8n 트리거(수동 시작이지만 스케줄링된 n8n 트리거로 쉽게 전환 가능)로 시작됩니다. 파일 목록 가져오기 FTP n8n 노드가 원격 서버에 연결하여 임베딩할 준비가 된 모든 관련 JSON 파일의 목록을 가져옵니다.


2. 반복 처리: 항목별 반복 n8n 노드는 각 파일 경로가 순차적으로 개별 처리되도록 보장하여 안정적인 흐름 제어를 제공합니다.


3. 데이터 다운로드: 항목 다운로드 FTP n8n 노드는 현재 처리 중인 특정 파일을 바이너리 형식으로 안전하게 다운로드합니다.


4. 벡터 스토어 수집: 데이터는 중앙의 Qdrant 벡터 스토어 n8n 노드에 의해 오케스트레이션되는 LangChain 파이프라인으로 이동합니다. 이 노드는 문서 로딩, 분할 및 임베딩 단계를 조정합니다.


5. 문서 파싱 및 청킹: 기본 데이터 로더는 수신된 바이너리 JSON 파일을 벡터 처리 파이프라인에 적합한 문서 형식으로 변환합니다. 이어서 문자 단위 텍스트 분할기 n8n 노드는 문서 내용을 더 작고 관리 가능한 청크로 분할하며, 제어된 청크 생성을 위해 "chunk_id"와 같은 사용자 지정 구분 기호를 사용하도록 특별히 구성됩니다.


6. 임베딩 생성: OpenAI 임베딩 n8n 노드는 이러한 텍스트 청크를 받아 OpenAI API(일반적으로 text-embedding-ada-002 사용)를 호출하여 고차원 벡터 표현을 생성합니다.


7. 최종 저장: 마지막으로 Qdrant 벡터 스토어 n8n 노드는 생성된 벡터와 연결된 메타데이터 및 원본 텍스트를 지정된 Qdrant 컬렉션에 삽입하여 n8n 워크플로우 실행을 완료합니다.

이 중요한 n8n 워크플로우를 배포하고 사용하려면 다음 단계를 따르십시오:

1. 가져오기: 전체 JSON 코드를 복사하여 셀프 호스팅 또는 클라우드 n8n 인스턴스의 '워크플로우 가져오기' 기능을 사용하여 가져옵니다.


2. FTP 자격 증명: FTP n8n 노드에서 사용하는 FTP 계정 자격 증명을 구성해야 합니다. 자격 증명이 지정된 경로(Oracle/AI/embedding/svenska)의 파일을 나열하고 다운로드할 수 있는지 확인하십시오.


3. OpenAI 자격 증명: OpenAi 계정 자격 증명을 설정하거나 연결하여 OpenAI 임베딩 n8n 노드에 연결해야 합니다. 이를 위해서는 임베딩 모델을 사용할 수 있는 API 키가 필요합니다.


4. Qdrant 자격 증명: QdrantApi svenska 자격 증명을 구성합니다. 여기에는 Qdrant API URL 및 필요한 API 키가 포함됩니다. 대상 컬렉션(svlangdata)이 존재하며 올바른 벡터 크기(예: 표준 OpenAI 임베딩의 경우 1536차원)로 구성되어 있는지 확인하십시오.


5. 구성 확인: 파일 목록 가져오기 n8n 노드의 경로와 문자 단위 텍스트 분할기의 분할 로직이 데이터 구조와 일치하는지 검토하십시오. 자격 증명 설정이 완료되면 n8n 트리거인 '워크플로우 테스트'를 클릭하여 전체 데이터 파이프라인을 검증합니다.

이 n8n 템플릿은 핵심 노드와 특화된 AI/LangChain n8n 노드 유형의 조합에 의존합니다:

‘워크플로우 테스트’ 클릭 시 (수동 트리거): 필요할 때 이 일괄 작업을 실행하기 위한 시작 n8n 트리거. 테스트 및 초기 설정에 필수적입니다.
파일 목록 가져오기 (FTP 노드): 기능: 지정된 원격 디렉토리 경로(Oracle/AI/embedding/svenska)의 모든 파일을 나열합니다. 주요 구성: 작업이 'list'로 설정됨.
항목별 반복 (배치 분할 노드): 기능: 흐름을 제어하여 바이너리 전송 중 메모리 과부하를 방지하기 위해 다운로드 및 임베딩 파이프라인이 한 번에 하나의 파일만 처리하도록 보장합니다.
항목 다운로드 (FTP 노드): 기능: 이전 단계에서 식별된 특정 JSON 파일을 다운로드합니다. 주요 구성: 경로에 표현식 사용: =Oracle/AI/embedding/svenska/{{ $json.name }}.
기본 데이터 로더 (LangChain 문서 노드): 기능: 수신된 바이너리 JSON 데이터를 벡터 처리 파이프라인에 적합한 구조화된 문서 형식으로 파싱합니다. 주요 구성: 데이터 유형이 'binary'로 설정됨.
문자 단위 텍스트 분할기 (LangChain 텍스트 분할기 노드): 기능: 임베딩 전에 로드된 문서를 더 작고 의미 있는 청크로 분할합니다. 주요 구성: 구분 기호가 "chunkid"로 명시적으로 설정되어 텍스트 분할에 대한 구조화된 접근 방식을 나타냅니다.
OpenAI 임베딩 (LangChain 임베딩 노드): 기능: 텍스트 청크를 OpenAI로 보내 고품질 벡터 임베딩(예: 1536차원)을 생성합니다.
Qdrant 벡터 스토어 (LangChain 벡터 스토어 노드): 기능: 최종 목적지입니다. 문서와 해당 벡터를 받아 Qdrant 컬렉션에 삽입합니다. 주요 구성: 모드는 'insert', 컬렉션은 svlang_data, 임베딩 일괄 크기는 효율적인 수집을 위해 100으로 설정됩니다. 이는 RAG 인프라를 위한 중요한 n8n 노드입니다.