JavaScript配列メソッドを使用したデータ重複排除 - n8n ワークフロー

大規模データセットの前処理を必要とするデータアナリストおよびエンジニア。
データ操作のためにカスタムJavaScriptの活用を目指す上級n8nユーザー。
CRM連携やデータベースへのインポート用に、信頼性の高いn8nテンプレートを構築するユーザー。
n8nワークフローの実行においてデータ品質の向上に注力しているすべての人。

あらゆる自動化パイプラインにおいて、データ品質は最重要です。現実世界のデータには重複が含まれていることがよくあります（例：同じメールアドレスでの複数回のサインアップ）。これはCRMシステムやデータベースのインポートを破損させる可能性があります。この強力なn8nワークフローは、この一般的な問題に対処するための、堅牢で再利用可能なソリューションを提供します。

nこのn8nテンプレートは、n8nのCodeノードの柔軟性とJavaScriptの標準配列メソッドを活用し、一意の識別子（メールアドレスなど）に基づいてプログラムで重複レコードを特定し削除する方法を示します。このカスタムコードソリューションは、複雑なフィルタリングタスクのために複数の標準n8nノードを使用する方法よりも高速で設定の自由度が高いため、多くのn8nワークフローアプリケーションにとって不可欠な構成要素となります。

このn8nワークフローはモジュール化されたチュートリアルとして設計されており、単純な手動のn8nトリガーから始まり、データクレンジングのプロセスを実演します。

1. 手動開始: ワークフローは手動のn8nトリガーノードで開始され、ユーザーがオンデマンドでロジックをテストできるようにします。


2. サンプルデータの生成: 最初のn8n Codeノード「サンプルデータの作成」は、意図的に重複を含むユーザーレコードのサンプル配列を生成します。これは、現実のシナリオで遭遇する可能性のある不きれいなデータをシミュレートし、次のステップのためにデータ構造を準備します。


3. 重複排除のコアロジック: 「ユーザーの重複排除」n8n Codeノードが主要なデータクレンジングを実行します。入力されたJSONを解析し、'email'キーに対してfindIndex()を使用した正確なJavaScriptフィルターを適用します。これにより、一意のメールアドレスごとに最初の出現のみが保持され、すべての重複が効果的に削除されます。その後、結果は複数の個別のn8nアイテムに変換されます。


4. 結果の要約: 最後の「結果の表示」n8n Codeノードが、クレンジングされたアイテムを集約します。最終的な一意のユーザー数を計算し、重複排除されたすべてのデータをクリーンで要約されたJSONオブジェクトにまとめ、n8nワークフローの実行を完了します。

この強力なデータクレンジングn8nテンプレートを利用するには、次の手順に従ってください:

1. インポート: 提供されているn8nワークフローのJSONコードをコピーします。


2. 新規ワークフロー: n8nインスタンスで、「新規作成」をクリックし、次に「JSONからインポート」をクリックします。コピーしたコードを貼り付けます。


3. 実行: このn8nワークフローはコアノードとカスタムコードのみを使用し、外部サービス認証情報を使用しないため、APIキーの設定は必要ありません。


4. テスト: 「'ワークフローをテスト'をクリック」するn8nトリガーノードをクリックし、次に「ワークフローをテスト」をクリックして、重複排除ロジックが即座に実行されるのを確認し、最後の「結果の表示」ノードでクリーンな結果を表示します。

「ワークフローをテスト」をクリック (手動トリガー): この単純なn8nトリガーは、テストと開発のプロセスを開始します。
サンプルデータの作成 (Codeノード): 機能: メールアドレスに基づいて意図的に2つの重複が含まれる6つのユーザーオブジェクトを含むJavaScript配列を作成することにより、テストケースを初期化します。
ユーザーの重複排除 (Codeノード): 機能: データクレンジングのコアロジックを含みます。JSON.parse()を活用して受信データを処理し、メールフィールドに基づく一意性を保証するためにfindIndex(u => u.email === user.email)と組み合わせた不可欠なfilter()配列メソッドを実装します。これはデータ操作のための重要なn8nノードです。
結果の表示 (Codeノード): 機能: 最終的で重複が排除されたアイテムリストを収集し、総ユニーク数を計算し、クレンジングされたデータと統計を最終出力ペイロードにパッケージ化して簡単に確認できるようにします。これにより、n8nワークフローの実行が完了します。