Sponsored by APIMart - AI API, 99.9% SLA. 언제나 끊김 없이, 나만의 AI를. 대부분의 모델을 20~60% 저렴하게 이용할 수 있으며, nanobanana pro API는 단

AI 광고 라이브러리

Openclaw Skills

DataLens 스크래핑 기술

Openclaw용 DataLens 스크래핑 기술

AI 에이전트가 Chrome 확장 프로그램 및 MCP 인터페이스를 통해 모든 웹사이트에서 구조화된 데이터를 추출할 수 있게 해주는 고급 웹 스크래핑 기술입니다.

weird94

v1.0.0

Apr 16, 2026

설치

정보

Skill.md

설치 및 다운로드

1. ClawHub CLI

레지스트리에서 스킬을 바로 설치하는 가장 빠른 방법입니다.


                  npx clawhub@latest install datalens-web-scraper

2. 수동 설치

스킬 폴더를 다음 위치 중 하나로 복사하세요

글로벌

~/.openclaw/skills/

워크스페이스

<project>/skills/

우선순위: 워크스페이스 > 로컬 > 번들

3. 프롬프트 설치

이 프롬프트를 OpenClaw에 복사하면 자동으로 설치됩니다.


                  Clawhub를 사용해서 datalens-web-scraper 설치를 도와줘. Clawhub가 설치되어 있지 않다면 먼저 설치해 줘 (npm i -g clawhub).

다운로드를 원하시나요?

ZIP 아카이브 형태의 원본 스킬 파일을 받으세요.

DataLens 스크래핑 기술란 무엇인가요?

DataLens는 AI 에이전트가 Chrome 브라우저와 상호 작용하여 구조화된 정보를 스크래핑할 수 있도록 설계된 Openclaw Skills 전용 데이터 추출 기술입니다. 브라우저와 터미널 기반 에이전트 사이의 간극을 메움으로써 목록, 테이블, 댓글, 제품 및 리뷰의 추출을 용이하게 합니다. 이 기술은 Model Context Protocol (MCP)을 사용하여 구조화되지 않은 웹 콘텐츠를 실행 가능한 데이터로 전환하는 원활한 워크플로우를 제공하며, Openclaw Skills로 정교한 자동화 워크플로우를 구축하는 개발자에게 초석이 됩니다.

이 기술은 전용 Chrome 확장 프로그램과 WebSockets를 통해 통신하는 proxy를 생성하여 작동합니다. 이를 통해 AI 에이전트는 페이지에 무엇이 있는지 확인하고, 반복되는 패턴을 식별하며, 동적 콘텐츠, 페이지네이션 및 중첩된 데이터 구조를 처리할 수 있는 복잡한 스크래핑 작업을 실행할 수 있습니다.

DataLens 스크래핑 기술 활용 사례

이커머스 플랫폼에서 제품 카탈로그 및 가격 추출.
감성 분석을 위한 사용자 리뷰 및 소셜 미디어 댓글 수집.
연구 및 집계를 위한 뉴스 헤드라인 및 기사 메타데이터 수집.
사용자 인증이 필요한 대시보드 및 테이블의 데이터 변경 모니터링.
API가 없는 레거시 웹사이트에서 구조화된 데이터 세트 수집 자동화.

DataLens 스크래핑 기술 작동 원리

AI 에이전트는 감지 도구를 사용하여 대상 웹페이지의 테이블 구조와 아이템 선택기를 식별합니다.
선택적 단계를 통해 에이전트는 DOM 트리를 검사하여 확장 버튼이나 "load more" 트리거를 찾아 클릭할 수 있습니다.
에이전트는 열에 대한 AI 기반 분석을 수행하여 강력한 스크래퍼 구성 및 작업 초안을 생성합니다.
가져올 레코드 수에 대한 제한을 포함할 수 있는 작업 초안을 사용하여 스크래핑 작업을 시작합니다.
에이전트는 추출이 완료되거나 중지될 때까지 작업 상태를 주기적으로 폴링합니다.
최종 데이터는 Openclaw Skills 내에서 사용하기 위해 사용자가 선호하는 형식(JSON, CSV 또는 XLSX)으로 내보내집니다.

DataLens 스크래핑 기술 설정 가이드

DataLens를 Openclaw Skills 환경에 통합하려면 다음 준비 단계를 따르세요.

필요한 npm 패키지를 전역으로 설치합니다.

npm install -g datalens-mcp-server

웹 스토어에서 DataLens Chrome 확장 프로그램을 설치하고 활성화되어 있는지 확인합니다.
터미널에서 Node.js 버전 18 이상을 사용할 수 있는지 확인합니다.
대상 페이지가 로드된 상태로 Chrome을 열거나, 도구가 URL 인수를 통해 자동으로 열도록 합니다.
datalens-mcp-call이 PATH에 있는지 확인하거나 명령 실행을 위해 npx datalens-mcp-call을 사용합니다.

DataLens 스크래핑 기술 데이터 스키마 및 분류 체계

DataLens 기술은 구조화된 구성 및 작업 관리 시스템을 사용하여 추출 작업을 구성합니다. 데이터는 다음과 같이 분류됩니다.

구성 요소	세부 사항
작업 메타데이터	`jobId`, 현재 `status` (QUEUED, RUNNING, COMPLETED) 및 `scrapedCount`를 포함합니다.
선택기	DOM 내의 데이터를 정확히 찾아내기 위해 `rootSelector`, `itemSelector` 및 `documentInfoPath`를 사용합니다.
스크래퍼 구성	웹 요소를 특정 데이터 필드에 매핑하는 백엔드 생성 AI 구성입니다.
내보내기 형식	JSON으로 표준 출력을 지원하며, CSV 및 XLSX 스프레드시트를 추가로 지원합니다.
로그	복잡한 스크래핑 워크플로우의 문제 해결을 위해 오류 및 디버그 로그가 유지됩니다.