GitHub 個人資料爬蟲到 Google 試算表 - n8n 工作流程

正在收集潛在開發者候選人完整資料的招募人員和獵頭。
需要來自網路來源的結構化、已豐富化資料的資料分析師。
正在尋找 n8n 自動化流程中動態試算表管理進階範例的自動化專家。
需要一個強健系統來處理 n8n 節點輸出之複雜網路爬取結果的 BrowserAct 使用者。

這個精密的 n8n 自動化流程扮演著資料豐富化的引擎。它解決了將一份基礎的 GitHub URL 清單轉換成詳細、有條理的紀錄這個難題。n8n 流程從 Google 試算表中的來源清單開始，使用 BrowserAct n8n 節點對每個個人資料進行無頭瀏覽器（headless browser）爬取。關鍵在於，它包含了一個程式碼（Code）n8n 節點，用來修復和整合複雜爬取任務常產生的混亂 JSON 輸出。最後，本 n8n 範本並不會把所有資料塞進一個工作表中，而是會動態為每一位 GitHub 使用者建立一個獨立、有條理的試算表分頁（tab），確保個人資料、連結和程式碼庫的資料分開乾淨。這種結構層級讓產生的報表能立即派上用場。

整個過程由手動 n8n 觸發器啟動，也可以設定為排程運行。

1. 讀取輸入： n8n 流程首先透過 讀取試算表中的列 (Get row(s) in sheet) n8n 節點，從指定的來源 Google 試算表中讀取 GitHub URL 的主清單。


2. 逐項處理： 逐項迴圈 (Loop Over Items) n8n 節點確保每個個人資料 URL 都被依序處理，為每位使用者建立獨立的執行路徑。


3. 執行爬取： 發送一則 Slack 訊息，確認任務開始。接著 執行工作流程任務 (Run a workflow task) (BrowserAct) n8n 節點啟動外部爬取任務，並將個人資料 URL 作為輸入傳遞。


4. 等待與擷取： 取得工作流程任務詳情 (Get details of a workflow task) n8n 節點會暫停 n8n 流程執行，直到爬取任務完全結束並擷取到原始輸出資料為止。


5. 資料修復與整合： 特殊的 JavaScript 程式碼 (Code in JavaScript) n8n 節點會接收原始輸出，修復常見的 JSON 格式錯誤（例如缺少金鑰的引號），並將所有擷取的資料點（個人資料摘要、連結、程式碼庫）合併成一個乾淨的資料項目。


6. 動態試算表建立： 對於新處理的使用者，n8n 流程會動態建立一個以使用者名稱命名的 Google 試算表分頁，清除任何現有資料，並設定好標頭（Headers）。


7. 輸出格式化： 整合後的資料會使用 分割輸出 (Split Out) n8n 節點區分成三個類別：使用者資料（個人資料摘要）、使用者連結，以及使用者程式碼庫。


8. 最終寫入： 每個資料區塊會使用各自獨立的 在試算表中附加列 (Append row in sheet) Google 試算表 n8n 節點寫入該使用者的專屬工作表中，完成結構化報表的建立。

要部署此 n8n 自動化流程範本，請遵循以下步驟：

1. 匯入： 將提供的 JSON 複製到您的 n8n 實例中，使用「從 JSON 匯入」選項。


2. Google 試算表憑證： 設定 Google 試算表 OAuth2 API 憑證。您需要指定輸入試算表（其中包含一個名為 URL 的欄位中的 URL 清單）和輸出試算表（擷取的資料將寫入此處）。


3. BrowserAct 設定： 設定您的 BrowserAct API 憑證。請確保外部的 BrowserAct 範本已啟用，並記下其工作流程 ID (Workflow ID) 以更新 執行工作流程任務 (Run a workflow task) n8n 節點。


4. Slack 設定（可選但建議）： 設定您的 Slack OAuth2 API 憑證，並更新 傳送訊息 (Send a message) n8n 節點中的頻道 ID，以便接收執行通知。


5. 執行： 使用手動 n8n 觸發器來測試此自動化流程，或將其狀態設為「啟用」以便排程運行。

此 n8n 自動化流程依賴數個核心與社群 n8n 節點類型來管理流程和資料轉換：

點擊「執行流程」(ManualTrigger) 時： 用於手動執行資料管道的主要 n8n 觸發器。
Google 試算表 (讀取試算表中的列/Get row(s) in sheet)： 從您預先定義的輸入試算表中擷取目標 GitHub URL 清單。
逐項迴圈 (Loop Over Items / SplitInBatches)： 一個流程控制 n8n 節點，確保對檢索到的每個 URL 單獨執行整個自動化過程，維持資料完整性。
BrowserAct (執行工作流程任務/取得工作流程任務詳情)： 這些專業 n8n 節點負責與外部網路爬取服務互動。它們啟動爬取任務，並等待豐富詳盡的 JSON 輸出。
關鍵設定： 將 ={{ $json.URL }} 傳遞給 BrowserAct 範本的 Target_Page 參數。
JavaScript 程式碼 (Code in JavaScript / Code n8n node)： 資料清理的關鍵節點。此 n8n 節點使用 JavaScript 對格式錯誤的 JSON 字串應用正則表達式修復，解析清理後的字串，並將資料物件合併成單一的統一項目，然後再寫入試算表。
Google 試算表 (建立試算表、清除試算表、在試算表中附加列)： 用於管理輸出。建立試算表 (Create sheet) n8n 節點使用動態表達式 (={{ $json.Name }}) 為每份使用者報表產生獨一無二的分頁。
分割輸出 n8n 節點 (Split Out)： 使用了三次（Split Out1、Split Out、Split Out2），將單一整合好的資料項目分割成獨立的清單，準備好逐列寫入（例如，將使用者個人資料資訊與程式碼庫清單分開）。