아즈어 OpenAI 배치 API 병렬 프롬프트 처리 - n8n 워크플로우

• 대규모 비동기 AI 완성 생성이 필요한 데이터 과학자.


• Azure OpenAI와 확장 가능한 통합을 구축하는 개발자.


• 복잡한 플로우 제어(폴링)를 보여주는 고급 n8n 템플릿을 찾는 사용자.


• 토큰 사용량과 처리량을 최적화하는 n8n 자동화 전문가.

Azure OpenAI 배치 API는 대용량 AI 요청을 효율적이고 비동기적으로 처리하는 데 필수적입니다. 이 강력한 n8n 워크플로우는 전체 배치 작업 수명 주기를 관리하는 복잡성을 해결합니다: 입력 파일을 JSONL 형식으로 생성, 파일 업로드, 병렬 배치 작업 시작, 작업 상태 지속적 폴링, 결과 출력 파일 다운로드 및 최종 응답의 정확한 구문 분석.

이 특화된 n8n 워크플로우는 자동화 환경 내에서 이 높은 처리량의 API를 직접 활용하는 방법을 보여주며, 생성형 AI 작업의 확장성을 크게 향상시킵니다. 포함된 예제 플로우는 일반 프롬프트와 Langchain 채팅 메모리 구성 요소에서 생성된 프롬프트를 단일 배치 제출로 결합하는 방법을 보여주어 이 n8n 템플릿의 다용성을 입증합니다.

n8n 워크플로우는 준비/제출 및 모니터링/검색의 두 가지 주요 단계로 작동합니다.

1. 준비: 프로세스는 기본 n8n 트리거(다른 워크플로우에 의해 실행될 때) 또는 내장된 수동 예제를 통해 시작됩니다. 입력 JSON 요청은 전용 Code n8n 노드(JSON 요청을 JSONL로)를 사용하여 배치 API에 필요한 JSON 라인(JSONL) 형식으로 변환됩니다. 이 파일은 Convert to File n8n 노드를 사용하여 패키징된 후 Upload batch file HTTP 요청 n8n 노드를 통해 Azure OpenAI에 업로드됩니다.


2. 파일 폴링: If n8n 노드(업로드 처리됨 여부)가 파일 상태를 확인합니다. 파일이 아직 준비되지 않았다면, Wait n8n 노드(파일 업로드 폴링 간격)가 실행을 일시 중지하고, 그 후 Track file upload status HTTP 요청 n8n 노드가 API를 다시 폴링합니다.


3. 배치 생성 및 폴링: 파일 처리가 완료되면, Create batch job HTTP 요청 n8n 노드가 병렬 처리 작업을 시작합니다. 그 다음 Track batch job progress 노드는 If n8n 노드와 Batch Status Poll Interval n8n 노드에 의해 제어되는 루프를 통해 API 상태를 폴링합니다. 이 플로우 제어는 리소스를 점유하지 않으면서 n8n 워크플로우가 완료될 때까지 대기하도록 보장합니다.


4. 결과 검색: 작업이 completed로 표시되면, n8n 워크플로우는 Retrieve batch job output file HTTP 요청 n8n 노드를 사용하여 최종 결과를 다운로드하며, 결과는 JSONL 형식으로 제공됩니다.


5. 구문 분석 및 필터링: Parse response Code n8n 노드는 원시 JSONL 출력을 읽을 수 있는 JSON 객체로 변환합니다. Split Out Parsed Results 노드는 배치 응답들을 분리합니다. 마지막으로, Filter n8n 노드들은 미리 정의된 custom_id 필드를 사용하여 병렬 AI 응답을 원래의 입력 프롬프트와 올바르게 다시 연결하여 엔드투엔드 n8n 워크플로우 실행을 완료합니다.

1. n8n 템플릿 가져오기: 제공된 JSON 코드를 복사합니다. n8n 인스턴스에서 워크플로우 섹션으로 이동하여 "+ 새로 만들기"를 클릭하고 "JSON에서 가져오기"를 선택합니다. 그러면 전체 n8n 워크플로우 구조가 배포됩니다.


2. Azure OpenAI 자격 증명: 이 n8n 워크플로우는 API 통신에 일반 HTTP 요청 n8n 노드를 사용합니다. 모든 관련 HTTP 요청 노드에 대해 헤더 또는 쿼리 매개변수(예: api-key)로 필요한 Azure OpenAI 인증(엔드포인트 및 API 키)을 구성해야 하며, 사용하시는 배포 버전에 맞는 정확한 기본 URL을 사용해야 합니다.


3. 엔드포인트 검토: HTTP 요청 n8n 노드(Upload batch file, Create batch job 등)의 resource 필드를 확인하여 사용자의 특정 Azure OpenAI 인스턴스 엔드포인트와 일치하는지 확인하세요. 올바른 api-version은 별도의 Set n8n 노드에서 관리되지만, 확인해 보시는 것을 권장합니다.


4. 테스트: Run example 수동 n8n 트리거를 사용하여 전체 배치 파이프라인 기능을 실행해 보세요. 예제는 Langchain 메모리 노드를 사용하므로, 이 n8n 워크플로우의 특정 예제 부분을 실행하려면 Langchain 통합이 설치되어 있는지 확인해야 합니다.

다른 워크플로우에 의해 실행될 때 (n8n 트리거): 프로덕션 사용을 위한 기본 트리거로, 이 복잡한 배치 프로세스를 다른 n8n 템플릿에서 효율적으로 호출할 수 있게 해줍니다.
코드 (JSON 요청을 JSONL로, 응답 구문 분석): 배치 제출에 필요한 형식으로 표준 JSON 목록을 변환하고 검색 시 JSONL 응답 파일을 구문 분석하는 데 사용되는 중요한 n8n 노드입니다.
파일로 변환 (요청 jsonl을 파일로 변환): HTTP 요청 n8n 노드를 통한 멀티파트 폼 데이터 업로드에 필요한 파일 객체로 JSONL 출력을 변환합니다.
HTTP 요청 (배치 파일 업로드, 배치 작업 생성, 상태 추적): Azure OpenAI API와 통신하고, 파일 업로드, 배치 작업 생성 및 상태 폴링을 처리하는 데 사용되는 핵심 n8n 노드입니다.
대기 (배치 상태 폴링 간격): 효율적인 폴링을 구현하는 필수 n8n 노드로, 다음 상태 확인이 필요할 때까지 n8n 워크플로우 실행을 동적으로 일시 중지합니다.
If (처리 완료 여부, 업로드 처리됨 여부): 플로우 제어 루프를 관리하며, 다음 단계로 진행하기 전 또는 Wait n8n 노드로 다시 루프하기 전에 Azure API에서 반환된 상태를 확인합니다.

• Set ('api-version' 설정): 배치 작업 페이로드에 최신이며 정확한 API 버전이 일관되게 포함되도록 보장하여 전체 n8n 워크플로우가 호환되는 엔드포인트를 사용하도록 보장합니다.