Đồng bộ hóa Google Drive tới Kho dữ liệu Vector của OpenAI - Quy trình làm việc n8n

Các nhà phát triển AI và Kỹ sư ML cần duy trì cơ sở kiến thức RAG luôn cập nhật.
Người dùng phụ thuộc vào Trợ lý OpenAI lấy tệp nguồn từ Google Drive.
Bất kỳ ai tìm kiếm giải pháp đồng bộ hóa theo lịch trình mạnh mẽ được xây dựng bằng luồng công việc n8n.
Những người đam mê tự động hóa tìm kiếm các mẫu n8n nâng cao cho các thao tác tệp phức tạp.

Duy trì tính nhất quán giữa các tài liệu nguồn (như tài liệu lưu trữ trong Google Drive) và cơ sở kiến thức AI bên ngoài (như OpenAI Vector Stores) là rất quan trọng để có được khả năng Tạo sinh Tăng cường Truy xuất (RAG) chính xác. Việc theo dõi thủ công các thay đổi, bổ sung và xóa là tẻ nhạt và dễ xảy ra lỗi. Luồng công việc n8n tinh vi này giải quyết hoàn toàn vấn đề đó. Bằng cách sử dụng nút Compare Datasets (So sánh Tập dữ liệu) của n8n, luồng công việc sẽ xác định một cách thông minh tệp nào là mới, đã cập nhật hay đã xóa, và thực thi các lệnh gọi API cần thiết tới nền tảng OpenAI. Mẫu n8n này đảm bảo cơ sở kiến thức AI của bạn luôn chính xác mà không cần bất kỳ sự can thiệp thủ công nào, được kích hoạt một cách đáng tin cậy bởi một trình kích hoạt n8n.

Tự động hóa này bắt đầu bằng một trình kích hoạt n8n theo lịch trình (Schedule trigger) hoặc thực thi thủ công ("Test workflow" clicked).

1. Truy xuất Dữ liệu: Luồng công việc n8n đồng thời truy xuất danh sách các tệp hiện có trong thư mục Google Drive đích và danh sách các tệp đã được đăng ký trong Kho dữ liệu Vector OpenAI (sử dụng List vector store files [OpenAI]).


2. So sánh và Phân loại: Logic cốt lõi nằm ở nút Compare Google Drive files with vector store files (So sánh tệp Google Drive với tệp kho vector) của n8n, nút này phân loại các mục thành bốn danh mục: tệp cần Tạo mới (mới), tệp cần Cập nhật (đã sửa đổi), tệp cần Xóa (đã xóa khỏi GDrive), hoặc tệp cần Bỏ qua (đã đồng bộ hóa).


3. Hợp nhất để Thực thi: Các hành động (Tạo, Cập nhật, Xóa) được hợp nhất và chuyển đến vòng lặp chính (Loop over files).


4. Xử lý có Điều kiện: Bên trong vòng lặp, một loạt các nút n8n có điều kiện sẽ xác định hành động cần thiết.


5. Luồng Tạo mới/Cập nhật: Nếu một tệp cần được tạo hoặc cập nhật, luồng công việc n8n sẽ tải tệp xuống từ Google Drive, sử dụng nút n8n chuyên dụng của OpenAI (Upload new or updated file) để đưa tệp vào hàng chờ, sau đó sử dụng nút n8n httpRequest tiếp theo (Add uploaded file to vector store [OpenAI]) để liên kết ID tệp đã tải lên với kho dữ liệu vector cụ thể.


6. Luồng Xóa: Nếu một tệp cần được xóa, nút httpRequest (Delete outdated file or previous version) sẽ xóa tham chiếu tệp khỏi kho dữ liệu vector OpenAI, đảm bảo dọn dẹp dữ liệu.


7. Hoàn tất: Vòng lặp kết thúc, và các kết quả tổng hợp báo hiệu sự kết thúc của việc thực thi luồng công việc n8n toàn diện này.

Để triển khai mẫu n8n mạnh mẽ này, vui lòng làm theo các bước sau:

1. Nhập (Import): Sao chép dữ liệu JSON được cung cấp và nhập nó vào phiên bản n8n của bạn bằng cách sử dụng menu 'New' -> 'Import from JSON'.


2. Thông tin xác thực (Credentials): Bạn phải cấu hình thông tin xác thực cho các dịch vụ sau:

1. Cấu hình (Configuration):

1. Kích hoạt (Activation): Sau khi thiết lập thông tin xác thực, hãy kích hoạt luồng công việc n8n. Nó sẽ chạy dựa trên scheduleTrigger đã được xác định.

Schedule trigger / Manual Trigger (Trình kích hoạt theo lịch trình / Kích hoạt thủ công): Trình kích hoạt n8n bắt đầu cho quá trình tự động hóa. Cho phép thực thi luồng công việc n8n theo định kỳ hoặc thủ công.
Nút Google Drive (List files from folder): Truy xuất siêu dữ liệu (như ID và thời gian sửa đổi lần cuối) cho tất cả các tệp trong thư mục Google Drive được chỉ định.
Nút HTTP Request (List vector store files [OpenAI]): Giao tiếp với API OpenAI để truy xuất danh sách các ID tệp và siêu dữ liệu hiện có trong kho dữ liệu vector được chỉ định.
Nút Compare Datasets (So sánh Tập dữ liệu): Một nút n8n quan trọng so sánh danh sách Google Drive với danh sách OpenAI dựa trên các mã nhận dạng duy nhất (có thể là tên tệp hoặc siêu dữ liệu tùy chỉnh) và dấu thời gian sửa đổi, phân loại hành động cần thiết (Tạo, Cập nhật, Xóa, Bỏ qua).
Nút Merge / Set: Các nút n8n này xử lý việc định tuyến và chuẩn bị dữ liệu cho vòng lặp xử lý chính.
Nút Filter (Bộ lọc): Đảm bảo chỉ các tệp có thể hành động (không bị bỏ qua) mới được chuyển đến vòng lặp cốt lõi trong luồng công việc n8n.
Loop over files (Split In Batches Node) (Lặp qua các tệp - Nút Tách theo lô): Lặp qua từng tệp cần hành động (tạo, cập nhật hoặc xóa).
Nút Google Drive (Download new or updated file): Tải xuống nội dung nhị phân thực tế của tệp từ Google Drive.
Nút OpenAI (Upload new or updated file): Nút n8n chuyên dụng này tải tệp đã tải xuống lên điểm cuối tệp (file endpoint) của API OpenAI.
Nút HTTP Request (Add uploaded file to vector store [OpenAI]): Liên kết ID tệp OpenAI đã tải lên với ID Vector Store đích bằng cách sử dụng điểm cuối API Trợ lý OpenAI.

• Nút HTTP Request (Delete outdated file or previous version): Xử lý lệnh gọi API cần thiết để xóa tham chiếu tệp khỏi kho dữ liệu vector nhằm mục đích dọn dẹp hoặc xóa.