Loại bỏ dữ liệu trùng lặp bằng các phương thức (Methods) của Mảng JavaScript - Quy trình làm việc n8n

Các nhà phân tích và kỹ sư dữ liệu cần tiền xử lý các bộ dữ liệu lớn.
Người dùng n8n nâng cao muốn tận dụng JavaScript tùy chỉnh để thao tác dữ liệu.
Người dùng xây dựng các mẫu n8n đáng tin cậy để đồng bộ hóa CRM hoặc nhập cơ sở dữ liệu.
Bất kỳ ai tập trung vào việc cải thiện chất lượng dữ liệu trong quá trình thực thi quy trình làm việc n8n của họ.

Chất lượng dữ liệu là tối quan trọng trong bất kỳ quy trình tự động hóa nào. Dữ liệu thực tế thường chứa các bản sao—ví dụ: nhiều lượt đăng ký bằng cùng một địa chỉ email—có thể làm hỏng hệ thống CRM hoặc việc nhập dữ liệu vào cơ sở dữ liệu. Quy trình làm việc n8n mạnh mẽ này cung cấp một giải pháp linh hoạt, có thể tái sử dụng để giải quyết vấn đề phổ biến này.

Bằng cách tận dụng tính linh hoạt của node Code trong n8n và các phương thức mảng (array methods) gốc của JavaScript, mẫu n8n này minh họa cách xác định và loại bỏ các bản ghi trùng lặp theo lập trình dựa trên một mã nhận dạng duy nhất (chẳng hạn như địa chỉ email). Giải pháp mã tùy chỉnh này nhanh hơn và dễ cấu hình hơn so với việc sử dụng nhiều node n8n tiêu chuẩn cho các tác vụ lọc phức tạp, làm cho nó trở thành một khối xây dựng cần thiết cho nhiều ứng dụng quy trình làm việc n8n.

Quy trình làm việc n8n này được thiết kế như một bài hướng dẫn theo dạng mô-đun, bắt đầu bằng node kích hoạt (trigger) thủ công đơn giản của n8n và minh họa quy trình làm sạch dữ liệu.

1. Bắt đầu Thủ công: Quy trình làm việc khởi động bằng cách sử dụng node kích hoạt Thủ công (Manual n8n trigger), cho phép người dùng kiểm tra logic theo yêu cầu.


2. Tạo Dữ liệu Mẫu (Messy Data): Node Code đầu tiên của n8n, 'Create Sample Data' (Tạo Dữ liệu Mẫu), tạo ra một mảng dữ liệu người dùng mẫu có chủ ý chứa các bản sao. Điều này mô phỏng dữ liệu lộn xộn thường gặp trong các tình huống thực tế, chuẩn bị cấu trúc dữ liệu cho bước tiếp theo.


3. Logic Loại bỏ Trùng lặp Cốt lõi: Node Code n8n 'Deduplicate Users' (Loại bỏ trùng lặp Người dùng) thực thi việc làm sạch dữ liệu chính. Nó phân tích cú pháp (parse) JSON đầu vào và áp dụng bộ lọc JavaScript chính xác bằng cách sử dụng findIndex() so với khóa 'email'. Điều này đảm bảo rằng chỉ có lần xuất hiện đầu tiên của mỗi địa chỉ email duy nhất được giữ lại, loại bỏ hiệu quả tất cả các bản sao. Kết quả sau đó được chuyển đổi trở lại thành nhiều mục (item) n8n riêng lẻ.


4. Tóm tắt Kết quả: Node Code cuối cùng 'Display Results' (Hiển thị Kết quả) tổng hợp các mục đã được làm sạch. Nó tính toán số lượng cuối cùng người dùng duy nhất và biên soạn tất cả dữ liệu đã loại bỏ trùng lặp thành một đối tượng JSON được tóm tắt rõ ràng, kết thúc việc thực thi quy trình làm việc n8n.

Để sử dụng mẫu n8n làm sạch dữ liệu mạnh mẽ này, hãy làm theo các bước sau:

1. Nhập (Import): Sao chép mã JSON của quy trình làm việc n8n được cung cấp.


2. Quy trình làm việc Mới: Trong phiên bản n8n của bạn, nhấp vào 'New' (Mới) và sau đó là 'Import from JSON' (Nhập từ JSON). Dán mã đã sao chép.


3. Thực thi: Vì quy trình làm việc n8n này chỉ sử dụng các node cốt lõi và mã tùy chỉnh mà không cần thông tin xác thực dịch vụ bên ngoài, nên không cần cấu hình khóa API nào.


4. Kiểm tra: Nhấp vào node kích hoạt n8n 'When clicking 'Test workflow'' (Khi nhấp vào 'Kiểm tra quy trình làm việc') và sau đó nhấp vào 'Test Workflow' (Kiểm tra Quy trình làm việc) để xem logic loại bỏ trùng lặp thực thi ngay lập tức và xem kết quả sạch trong node 'Display Results' cuối cùng.

When clicking 'Test workflow' (Manual Trigger): Trigger n8n đơn giản này bắt đầu quá trình kiểm tra và phát triển.
Create Sample Data (Code Node): Chức năng: Khởi tạo các trường hợp kiểm thử bằng cách tạo một mảng JavaScript chứa sáu đối tượng người dùng, trong đó có hai đối tượng bị trùng lặp cố ý dựa trên địa chỉ email của chúng.
Deduplicate Users (Code Node): Chức năng: Chứa logic làm sạch dữ liệu cốt lõi. Nó tận dụng JSON.parse() để xử lý dữ liệu đầu vào và triển khai phương thức mảng filter() cần thiết kết hợp với findIndex(u => u.email === user.email) để đảm bảo tính duy nhất dựa trên trường email. Đây là một node n8n quan trọng để thao tác dữ liệu.
Display Results (Code Node): Chức năng: Thu thập danh sách các mục cuối cùng đã được loại bỏ trùng lặp, tính tổng số lượng duy nhất và đóng gói dữ liệu đã làm sạch cùng với số liệu thống kê vào một gói kết quả đầu ra cuối cùng để dễ dàng xem xét. Điều này hoàn tất việc thực thi quy trình làm việc n8n.