웹 페이지 및 API 응답을 JSON, CSV, Excel과 같은 깔끔한 구조화 데이터 세트로 변환하는 지능형 데이터 추출 유틸리티입니다.
설치 및 다운로드
1. ClawHub CLI
레지스트리에서 스킬을 바로 설치하는 가장 빠른 방법입니다.
npx clawhub@latest install ecommerce-data-scraper-pro
2. 수동 설치
스킬 폴더를 다음 위치 중 하나로 복사하세요
~/.openclaw/skills/ <project>/skills/ 우선순위: 워크스페이스 > 로컬 > 번들
3. 프롬프트 설치
이 프롬프트를 OpenClaw에 복사하면 자동으로 설치됩니다.
Clawhub를 사용해서 ecommerce-data-scraper-pro 설치를 도와줘. Clawhub가 설치되어 있지 않다면 먼저 설치해 줘 (npm i -g clawhub).
다운로드를 원하시나요?
ZIP 아카이브 형태의 원본 스킬 파일을 받으세요.
Data Scraper란 무엇인가요?
Data Scraper skill은 웹이나 외부 서비스에서 고품질 데이터를 수집해야 하는 개발자를 위한 강력한 솔루션입니다. 이 도구를 AI 에이전트 환경에 통합하면 복잡한 웹사이트 탐색, JavaScript 렌더링 처리, 특정 정보 추출 과정을 수동 작업 없이 자동화할 수 있습니다. 비정형 웹 콘텐츠와 실행 가능한 데이터 사이의 가교 역할을 하며, Openclaw Skills 생태계 내 사용에 최적화되어 있습니다.
안정성과 유연성에 중점을 두고 설계된 이 기술은 단순한 단일 페이지 스크래핑부터 복잡한 멀티스레드 배치 작업까지 모든 것을 처리합니다. 요청 빈도를 관리하고 일반적인 안티 스크래핑 조치를 우회하는 지능형 기능이 포함되어 있어 데이터 파이프라인의 안정성과 효율성을 유지합니다.
Data Scraper 활용 사례
- 여러 소매 플랫폼의 전자상거래 가격 및 재고 추적.
- 경쟁 분석을 위한 고용 시장 데이터 및 급여 정보 집계.
- 자동화된 연구 및 요약을 위한 뉴스 콘텐츠 및 블로그 게시물 수집.
- 게시물 참여도 및 댓글을 포함한 소셜 미디어 지표 모니터링.
- 내부 보고를 위한 REST 또는 GraphQL API 데이터 가져오기 및 형식화.
Data Scraper 작동 원리
- 사용자가 대상 URL, URL 파일 또는 API 엔드포인트를 제공하여 요청을 시작합니다.
- 기술은 JavaScript 중심 사이트에는 Playwright를, 정적 콘텐츠에는 BeautifulSoup을 사용하는 등 최적의 파싱 방법을 결정합니다.
- 사전 정의된 스키마(예: 제품 또는 기사) 또는 사용자 지정 CSS/XPath 선택기를 사용하여 데이터를 식별합니다.
- 지능형 속도 제한 및 proxy 관리를 적용하여 액세스를 유지하고 robots.txt 가이드라인을 준수합니다.
- 이 도구는 데이터를 요청된 출력 유형으로 형식화하기 전에 검색된 데이터를 정리하고 중복을 제거합니다.
Data Scraper 설정 가이드
Openclaw Skills 설정 내에 이 기술을 배포하려면 다음 명령어를 사용하여 scraper를 초기화하십시오:
# 단일 URL의 기본 스크래핑
uv run scripts/data-scraper.py scrape --url "https://example.com/products" --selector ".product"
# URL 목록에서 배치 스크래핑
uv run scripts/data-scraper.py scrape --urls-file urls.txt --output results.json
proxies 또는 특정 API 인증 token을 사용하는 경우 환경 변수가 구성되어 있는지 확인하십시오.
Data Scraper 데이터 스키마 및 분류 체계
이 기술은 추출된 데이터를 표준화된 스키마로 구성하여 다운스트림 분석 도구와의 호환성을 보장합니다. 아래는 지원되는 주요 데이터 모델입니다:
| 유형 | 설명 | 주요 필드 |
|---|---|---|
| product | 전자상거래 항목 | price, name, rating, stock_status |
| article | 편집 콘텐츠 | title, author, published_date, body |
| job | 채용 정보 | position, company, location, salary_range |
| social | 소셜 플랫폼 | post_text, user, likes, timestamp |
모든 출력에는 감사를 위해 소스 URL 및 스크래핑 타임스탬프와 같은 메타데이터가 포함됩니다.
Data Scraper 고급 기능
- JSON, CSV 및 완벽하게 형식화된 Excel 통합 문서를 포함한 다중 형식 내보내기 지원.
- 자동화된 정기 데이터 수집을 위한 cron 구문 사용 통합 예약 기능.
- 지능형 지연 및 proxy 순환을 특징으로 하는 고급 봇 방지 보호.
- Bearer token 인증 및 GraphQL 쿼리를 포함한 복잡한 API 상호 작용 지원.
- 사용자가 CSS/XPath를 통해 모든 DOM 요소를 구조화된 데이터 키에 매핑할 수 있는 사용자 지정 필드 정의.
- Openclaw Skills 내 대규모 데이터 수집 작업을 위한 고성능 배치 처리.
SKILL.md
로드 중
관련 Openclaw 스킬
CartPilot
CartPilot은 주요 중국 전자상거래 플랫폼 전반의 주문 경로를 최적화하여 가격, 속도, 노력을 균형 있게 조정하는 전략적 체크아웃 의사결정 계층입니다.
Molty Royale Agent Operation
Molty Royale 블록체인 게임 생태계 내에서 자율 AI agents를 운영하기 위한 포괄적인 skill입니다.
AI Email Master
AI Email Master는 톤 조정, 템플릿 라이브러리 및 문법 검사를 제공하여 영향력 있는 커뮤니케이션을 돕는 전문 이메일 작성 보조 도구입니다.
AI Social Pro
AI Social Pro는 AI를 활용하여 글로벌 및 중국 주요 플랫폼 전반의 콘텐츠 생성, 예약 및 성과 분석을 수행하는 포괄적인 소셜 미디어 관리 플랫폼입니다.
AI Resume Pro
ATS 최적화 이력서, 맞춤형 커버레터 생성 및 LinkedIn 프로필 최적화를 지원하는 전문 AI 기반 이력서 빌더입니다.
추천*
