使用 JavaScript 陣列方法進行資料去重 - n8n 工作流程

需要預先處理大型資料集的資料分析師和工程師。
希望利用自訂 JavaScript 進行資料處理的高階 n8n 使用者。
用於建構可靠的 n8n 範本以進行 CRM 同步或資料庫插入的使用者。
任何專注於提升其 n8n 工作流程執行中資料品質的人員。

在任何自動化流程中，資料品質都至關重要。現實世界的資料經常包含重複項——例如，同一個電子郵件地址有多筆註冊紀錄——這可能會破壞 CRM 系統或資料庫匯入的資料。此強大的 n8n 工作流程提供了一個穩健、可重複使用的解決方案來處理這個常見問題。

此 n8n 範本利用了 n8n 程式碼節點的靈活性和原生的 JavaScript 陣列方法，展示瞭如何根據唯一識別碼（如電子郵件地址）以程式化方式識別和移除重複的資料記錄。對於複雜的篩選任務，此自訂程式碼解決方案比使用多個標準 n8n 節點更快、更具可設定性，使其成為許多 n8n 工作流程應用程式的基本建構模組。

此 n8n 工作流程被設計為模組化教學，從一個簡單的手動 n8n 觸發器開始，展示資料清理的過程。

1. 手動啟動： 工作流程使用「手動 n8n 觸發器」節點啟動，允許使用者依需求測試邏輯。


2. 產生雜亂資料： 第一個 n8n 程式碼節點「建立範例資料」會生成一個包含使用者記錄的範例陣列，其中故意包含重複項。這模擬了現實場景中常遇到的雜亂資料，為下一步準備資料結構。


3. 核心去重邏輯： 「去重複使用者」n8n 程式碼節點執行主要的資料清理工作。它會解析傳入的 JSON，並針對 'email' 鍵使用 findIndex() 應用精確的 JavaScript 篩選。這確保了只有每個唯一電子郵件地址的首次出現才被保留，從而有效移除所有重複項。結果隨後會被轉換回多個獨立的 n8n 項目。


4. 總結結果： 最後的「顯示結果」n8n 程式碼節點會彙總清理後的項目。它會計算最終的唯一使用者數量，並將所有去重複後的資料編譯成一個乾淨、已摘要的 JSON 物件，從而結束 n8n 工作流程的執行。

若要使用這個強大的資料清理 n8n 範本，請遵循以下步驟：

1. 匯入： 複製提供的 n8n 工作流程 JSON 代碼。


2. 新增工作流程： 在您的 n8n 實例中，點擊「新增 (New)」然後選擇「從 JSON 匯入 (Import from JSON)」。貼上複製的代碼。


3. 執行： 由於此 n8n 工作流程僅使用核心節點和自訂程式碼，無需外部服務憑證，因此不需要設定任何 API 金鑰。


4. 測試： 點擊「當點擊『測試工作流程』 (When clicking 'Test workflow')」n8n 觸發器節點，然後點擊「測試工作流程 (Test Workflow)」，即可立即看到去重複邏輯執行，並在最後的「顯示結果」節點中查看乾淨的結果。

當點擊『測試工作流程』 (Manual Trigger)： 此簡單的 n8n 觸發器啟動測試和開發流程。
建立範例資料 (Code Node)： 功能：透過建立一個包含六個使用者物件的 JavaScript 陣列來初始化測試案例，其中有兩個物件的電子郵件地址故意重複。
去重複使用者 (Code Node)： 功能：包含核心的資料清理邏輯。它利用 JSON.parse() 來處理傳入資料，並實作了必需的 filter() 陣列方法，結合 findIndex(u => u.email === user.email)，以確保基於電子郵件欄位是唯一的。這是資料處理中至關重要的 n8n 節點。
顯示結果 (Code Node)： 功能：收集最終去重複後的項目列表，計算唯一總數，並將清理後的資料連同統計數據打包成最終的輸出負載 (payload)，以便於審閱。這完成了 n8n 工作流程的執行。