Deduplicação de Dados Usando Métodos de Array do JavaScript - Fluxo de trabalho n8n

Analistas e Engenheiros de Dados que precisam pré-processar grandes volumes de dados.
Usuários avançados de n8n que desejam alavancar o JavaScript personalizado para manipulação de dados.
Usuários que criam templates confiáveis de n8n para sincronização de CRM ou inserções em bases de dados.
Qualquer pessoa focada em melhorar a qualidade dos dados durante a execução dos seus fluxos de trabalho no n8n.

A qualidade dos dados é fundamental em qualquer pipeline de automação. Dados do mundo real frequentemente contêm duplicatas — por exemplo, múltiplos cadastros com o mesmo endereço de e-mail — o que pode corromper sistemas de CRM ou importações de bases de dados. Este poderoso fluxo de trabalho n8n fornece uma solução robusta e reutilizável para lidar com este problema comum.

Ao alavancar a flexibilidade do nó Code do n8n e os métodos de array nativos do JavaScript, este template n8n demonstra como identificar e remover programaticamente registros duplicados com base num identificador único (como um endereço de e-mail). Esta solução de código personalizado é mais rápida e configurável do que usar múltiplos nós n8n padrão para tarefas complexas de filtragem, tornando-a um bloco de construção essencial para muitas aplicações de fluxos de trabalho n8n.

Este fluxo de trabalho n8n foi desenhado como um tutorial modular, começando com um gatilho manual simples do n8n e demonstrando o processo de limpeza de dados.

1. Início Manual: O fluxo de trabalho inicia usando o nó de gatilho Manual do n8n, permitindo ao usuário testar a lógica sob demanda.


2. Gerar Dados "Sujos": O primeiro nó Code do n8n, 'Create Sample Data', gera um array de exemplo de registros de usuários que intencionalmente inclui duplicatas. Isto simula os dados confusos frequentemente encontrados em cenários reais, preparando a estrutura de dados para o próximo passo.


3. Lógica Central de Desduplicação: O nó Code do n8n 'Deduplicate Users' executa a limpeza primária dos dados. Ele analisa o JSON recebido e aplica um filtro JavaScript preciso usando findIndex() contra a chave 'email'. Isso garante que apenas a primeira ocorrência de cada endereço de e-mail único seja mantida, removendo eficazmente todas as duplicatas. O resultado é então transformado de volta em múltiplos itens individuais do n8n.


4. Resumir Resultados: O nó Code final do n8n, 'Display Results', agrega os itens limpos. Ele calcula a contagem final de usuários únicos e compila todos os dados desduplicados num objeto JSON limpo e resumido, concluindo a execução do fluxo de trabalho n8n.

Para utilizar este poderoso template de limpeza de dados do n8n, siga estes passos:

1. Importar: Copie o código JSON do fluxo de trabalho n8n fornecido.


2. Novo Fluxo de Trabalho: Na sua instância do n8n, clique em 'New' (Novo) e depois em 'Import from JSON' (Importar de JSON). Cole o código copiado.


3. Execução: Como este fluxo de trabalho n8n utiliza apenas nós centrais e código personalizado sem credenciais de serviços externos, nenhuma configuração de chave de API é necessária.


4. Testar: Clique no nó de gatilho do n8n 'When clicking 'Test workflow'' e depois clique em 'Test Workflow' (Testar Fluxo de Trabalho) para ver a lógica de desduplicação a ser executada instantaneamente e visualizar os resultados limpos no nó final 'Display Results'.

When clicking 'Test workflow' (Gatilho Manual): Este simples gatilho do n8n inicia o processo para testes e desenvolvimento.
Create Sample Data (Nó de Código): Função: Inicializa o caso de teste criando um array JavaScript contendo seis objetos de usuário, dois dos quais são intencionalmente duplicados com base no seu endereço de e-mail.
Deduplicate Users (Nó de Código): Função: Contém a lógica central de limpeza de dados. Utiliza JSON.parse() para processar os dados recebidos e implementa o método de array essencial filter() combinado com findIndex(u => u.email === user.email) para garantir a unicidade com base no campo de e-mail. Este é um nó crucial do n8n para manipulação de dados.
Display Results (Nó de Código): Função: Recolhe a lista final e desduplicada de itens, calcula a contagem total de usuários únicos e empacota os dados limpos juntamente com estatísticas num payload de saída final para fácil revisão. Isto completa a execução do fluxo de trabalho n8n.