使用 JavaScript 数组方法进行数据去重 - n8n 工作流

需要预处理大型数据集的数据分析师和工程师。
希望利用自定义 JavaScript 进行数据处理的高阶 n8n 用户。
那些为 CRM 同步或数据库插入构建可靠 n8n 模板的用户。
所有致力于在 n8n 工作流执行中提升数据质量的人员。

在任何自动化管道中，数据质量都至关重要。现实世界的数据中经常包含重复项——例如，同一个邮箱地址多次注册——这可能会破坏 CRM 系统或数据库导入。这个强大的 n8n 工作流为解决这个常见问题提供了一个稳定、可复用的解决方案。

通过利用 n8n 代码节点的灵活性和原生的 JavaScript 数组方法，此 n8n 模板演示了如何基于唯一标识符（如电子邮件地址）以编程方式识别和删除重复记录。相比于使用多个标准 n8n 节点来处理复杂的过滤任务，这种自定义代码的解决方案速度更快，配置性也更强，是许多 n8n 工作流应用中不可或缺的组成部分。

该 n8n 工作流被设计为一个模块化教程，从一个简单的手动 n8n 触发器开始，演示数据清理的整个过程。

1. 手动启动： 工作流使用“手动 n8n 触发器”节点启动，允许用户按需测试逻辑。


2. 生成脏数据： 第一个 n8n 代码节点“创建示例数据”会生成一个用户记录的样本数组，其中故意包含重复项。这模拟了现实场景中经常遇到的脏数据，为下一步准备数据结构。


3. 核心去重逻辑： “去重用户” n8n 代码节点执行主要的（核心）数据清理工作。它解析传入的 JSON，并针对 'email' 字段应用一个精确的 JavaScript 过滤器，使用 findIndex() 来确保只保留每个唯一电子邮件地址的首次出现，从而有效地删除了所有重复项。然后，结果会被转换回多个独立的 n8n 节点项。


4. 汇总结果： 最后一个“显示结果” n8n 代码节点会聚合清理后的数据项。它计算出最终的唯一用户数量，并将去重后的所有数据整理成一个干净、汇总的 JSON 对象，从而结束 n8n 工作流的执行。

要使用这个强大的数据清理 n8n 模板，请遵循以下步骤：

1. 导入： 复制提供的 n8n 工作流 JSON 代码。


2. 新建工作流： 在你的 n8n 实例中，点击“新建”，然后选择“从 JSON 导入”。粘贴你复制的代码。


3. 执行： 由于此 n8n 工作流仅使用核心节点和自定义代码，不涉及外部服务凭证，因此无需配置任何 API 密钥。


4. 测试： 点击“当点击‘测试工作流’” n8n 触发器节点，然后点击“测试工作流”，即可立即查看去重逻辑的执行情况，并在最终的“显示结果”节点中看到清理后的数据。

当点击‘测试工作流’（手动触发器）： 这个简单的 n8n 触发器用于启动测试和开发流程。
创建示例数据（代码节点）： 功能：通过创建一个包含六个用户对象的 JavaScript 数组来初始化测试用例，其中有两个对象的电子邮件地址是故意重复的。
去重用户（代码节点）： 功能：包含核心数据清理逻辑。它利用 JSON.parse() 来处理传入数据，并结合 findIndex(u => u.email === user.email) 实现关键的 filter() 数组方法，以确保基于电子邮件字段的唯一性。这是进行数据操作的一个关键 n8n 节点。
显示结果（代码节点）： 功能：收集最终去重后的数据项列表，计算出唯一的总数，并将清理过的数据连同统计信息打包成最终的输出数据包，方便查看。这标志着 n8n 工作流执行的完成。