Công cụ Cào Dữ liệu Hồ sơ GitHub Xuất ra Google Sheets - Quy trình làm việc n8n

Nhà tuyển dụng và Chuyên viên tìm kiếm nhân tài muốn thu thập dữ liệu toàn diện về các ứng viên lập trình tiềm năng.
Chuyên viên Phân tích Dữ liệu cần dữ liệu có cấu trúc, được làm giàu từ các nguồn web.
Chuyên gia Tự động hóa tìm kiếm các ví dụ nâng cao về quản lý bảng tính linh hoạt trong một luồng công việc n8n.
Người dùng BrowserAct cần một hệ thống mạnh mẽ để xử lý kết quả cào web phức tạp bằng cách sử dụng nút n8n.

Luồng công việc n8n tinh vi này hoạt động như một công cụ làm giàu dữ liệu. Nó giải quyết thách thức chuyển đổi danh sách cơ bản các URL GitHub thành các bản ghi chi tiết, có tổ chức. Bắt đầu từ danh sách nguồn trong Google Sheets, luồng n8n sử dụng nút BrowserAct n8n để thực hiện cào dữ liệu bằng trình duyệt ẩn (headless browser scraping) trên từng hồ sơ. Quan trọng hơn, nó bao gồm một nút Code n8n để sửa chữa và hợp nhất kết quả JSON lộn xộn thường phát sinh từ các tác vụ cào phức tạp. Cuối cùng, thay vì đổ tất cả dữ liệu vào một trang tính, mẫu n8n này tự động tạo ra một trang tính (tab) riêng biệt, có tổ chức cho mỗi người dùng GitHub, đảm bảo phân tách dữ liệu rõ ràng cho thông tin hồ sơ, liên kết và kho lưu trữ. Mức độ cấu trúc này giúp các báo cáo tạo ra có thể hành động ngay lập tức.

Toàn bộ quy trình được khởi động bởi trình kích hoạt (trigger) thủ công của n8n, hoặc có thể được thiết lập để chạy theo lịch trình.

1. Đọc Dữ liệu Đầu vào: Luồng n8n bắt đầu bằng cách lấy danh sách chính các URL GitHub từ một Google Sheet nguồn được chỉ định thông qua nút n8n Get row(s) in sheet.


2. Xử lý Lặp lại: Nút n8n Loop Over Items đảm bảo rằng mỗi URL hồ sơ được xử lý tuần tự, tạo ra một luồng thực thi riêng biệt, chuyên dụng cho từng người dùng.


3. Thực thi Cào dữ liệu: Một tin nhắn Slack được gửi đi để xác nhận bắt đầu tác vụ. Sau đó, nút n8n Run a workflow task (BrowserAct) sẽ khởi chạy công việc cào dữ liệu bên ngoài, truyền URL hồ sơ làm đầu vào.


4. Chờ và Truy xuất: Nút n8n Get details of a workflow task tạm dừng quá trình thực thi luồng n8n cho đến khi tác vụ cào dữ liệu hoàn tất hoàn toàn và truy xuất dữ liệu đầu ra thô.


5. Sửa và Hợp nhất Dữ liệu: Nút n8n chuyên dụng Code in JavaScript nhận đầu ra thô, sửa các lỗi định dạng JSON phổ biến (như thiếu dấu ngoặc kép xung quanh khóa), và hợp nhất tất cả các điểm dữ liệu đã trích xuất (tóm tắt hồ sơ, liên kết, kho lưu trữ) thành một mục dữ liệu sạch.


6. Tạo Bảng tính Động: Đối với người dùng vừa được xử lý, luồng n8n sẽ tự động tạo một tab Google Sheet mới được đặt tên theo người dùng, xóa bất kỳ dữ liệu hiện có nào và thiết lập tiêu đề cột.


7. Định dạng Đầu ra: Dữ liệu đã hợp nhất được phân đoạn bằng các nút n8n Split Out thành ba danh mục: Dữ liệu Người dùng (tóm tắt hồ sơ), Liên kết Người dùng và Kho lưu trữ Người dùng.


8. Ghi Dữ liệu Cuối cùng: Mỗi phân đoạn dữ liệu được ghi vào trang tính dành riêng cho người dùng đó bằng các nút n8n Google Sheets Append row in sheet riêng biệt, hoàn tất báo cáo có cấu trúc.

Để triển khai mẫu luồng công việc n8n này, hãy làm theo các bước sau:

1. Nhập (Import): Sao chép tệp JSON được cung cấp vào phiên bản n8n của bạn bằng cách sử dụng tùy chọn 'Import from JSON'.


2. Thông tin Xác thực Google Sheets: Thiết lập thông tin xác thực API OAuth2 của Google Sheets. Bạn sẽ cần chỉ định cả bảng tính đầu vào (chứa danh sách các URL trong một cột có tên là URL) và bảng tính đầu ra (nơi dữ liệu đã trích xuất sẽ được ghi vào).


3. Thiết lập BrowserAct: Thiết lập thông tin xác thực API BrowserAct của bạn. Đảm bảo rằng bạn đã kích hoạt mẫu BrowserAct bên ngoài cần thiết và ghi lại Workflow ID của nó để cập nhật nút n8n Run a workflow task.


4. Thiết lập Slack (Tùy chọn nhưng Khuyến nghị): Cấu hình thông tin xác thực API OAuth2 của Slack và cập nhật ID Kênh (Channel ID) trong nút n8n Send a message để nhận cảnh báo khi thực thi.


5. Thực thi: Sử dụng trình kích hoạt thủ công của n8n để kiểm tra luồng công việc n8n hoặc đặt nó ở trạng thái Active (Kích hoạt) để chạy theo lịch trình.

Luồng công việc n8n này dựa vào một số loại nút n8n lõi và cộng đồng để quản lý luồng và biến đổi dữ liệu:

Khi nhấp vào ‘Execute workflow’ (ManualTrigger): Trình kích hoạt n8n chính được sử dụng để thực thi thủ công đường ống dữ liệu.
Google Sheets (Get row(s) in sheet): Lấy danh sách các URL GitHub mục tiêu từ bảng tính đầu vào đã xác định trước của bạn.
Loop Over Items (SplitInBatches): Một nút n8n kiểm soát luồng đảm bảo rằng toàn bộ quy trình tự động hóa được thực hiện riêng lẻ cho từng URL được truy xuất, duy trì tính toàn vẹn của dữ liệu.
BrowserAct (Run a workflow task/Get details of a workflow task): Các nút n8n chuyên biệt này xử lý tương tác với dịch vụ cào web bên ngoài. Chúng khởi tạo tác vụ cào và chờ đợi kết quả đầu ra JSON chi tiết, phong phú.
Cấu hình chính: Truyền ={{ $json.URL }} tới tham số Target_Page của mẫu BrowserAct.
Code in JavaScript (Nút Code n8n): Thiết yếu cho việc làm sạch dữ liệu. Nút n8n này sử dụng JavaScript để áp dụng các sửa lỗi regex cho các chuỗi JSON bị lỗi định dạng, phân tích chuỗi đã làm sạch và hợp nhất các đối tượng dữ liệu thành một mục duy nhất, thống nhất trước khi ghi vào Sheets.
Google Sheets (Create sheet, Clear sheet, Append row in sheet): Quản lý đầu ra. Nút n8n Create sheet sử dụng một biểu thức động (={{ $json.Name }}) để tạo các tab duy nhất cho báo cáo của mỗi người dùng.
Nút Split Out n8n: Được sử dụng ba lần (Split Out1, Split Out, Split Out2) để tách mục dữ liệu hợp nhất duy nhất thành các danh sách riêng biệt sẵn sàng để ghi từng hàng (ví dụ: tách thông tin hồ sơ người dùng khỏi danh sách các kho lưu trữ).