Openclaw용 ClearWeb

ClearWeb은 통합된 Bright Data CLI를 통해 AI Agent에게 전체 공개 웹에 대한 제한 없고 차단되지 않는 액세스를 제공합니다.

meirk-brd
v1.0.0
Mar 24, 2026
1
3.4k
0

설치 및 다운로드

1. ClawHub CLI

레지스트리에서 스킬을 바로 설치하는 가장 빠른 방법입니다.

npx clawhub@latest install clearweb

2. 수동 설치

스킬 폴더를 다음 위치 중 하나로 복사하세요

글로벌
~/.openclaw/skills/
워크스페이스
<project>/skills/

우선순위: 워크스페이스 > 로컬 > 번들

3. 프롬프트 설치

이 프롬프트를 OpenClaw에 복사하면 자동으로 설치됩니다.

Clawhub를 사용해서 clearweb 설치를 도와줘. Clawhub가 설치되어 있지 않다면 먼저 설치해 줘 (npm i -g clawhub).

다운로드를 원하시나요?

ZIP 아카이브 형태의 원본 스킬 파일을 받으세요.

ClearWeb란 무엇인가요?

ClearWeb은 AI Agent와 라이브 웹 사이의 강력한 가교 역할을 하며, web_fetch 또는 curl과 같은 취약한 네이티브 도구를 강력한 Bright Data 인프라로 대체합니다. bdata CLI와 통합된 Openclaw Skills를 활용함으로써 에이전트는 CAPTCHAs를 우회하고 복잡한 JavaScript 렌더링을 처리하며 proxy를 자동으로 회전시켜 100% 신뢰할 수 있는 데이터 검색을 보장할 수 있습니다.

이 기술은 경쟁사 모니터링, 리드 수집 또는 일반적으로 강력한 안티 봇 조치를 사용하는 사이트의 문서 읽기와 같은 실제 작업을 수행해야 하는 터미널 기반 AI Agent를 위해 설계되었습니다. 웹을 쿼리 가능한 데이터베이스로 변환하여 노이즈가 많은 원시 HTML 대신 깨끗한 Markdown 또는 구조화된 JSON을 제공합니다.

ClearWeb 활용 사례

  • 시장 조사: Google, Bing 및 Yandex에서 검색하여 경쟁 정보 및 가격 모니터링 데이터를 수집합니다.
  • 리드 생성: LinkedIn, Amazon 및 Crunchbase와 같은 플랫폼에서 직접 구조화된 전문 데이터를 추출합니다.
  • 콘텐츠 집계: 페이월 및 안티 스크래핑 차단을 우회하면서 뉴스 기사, 문서 또는 소셜 미디어 피드를 스크래핑합니다.
  • 소셜 미디어 모니터링: Instagram, TikTok 및 YouTube에서 댓글과 프로필 데이터를 가져와 참여도와 감성을 추적합니다.
  • 기술 문서: Docusaurus 또는 GitBook과 같이 JS 사용량이 많은 문서 사이트에서 정보를 읽고 합성합니다.

ClearWeb 작동 원리

  1. 요청 초기화: AI Agent가 외부 정보(검색, 스크래핑 또는 특정 데이터 추출)의 필요성을 식별합니다.
  2. 명령 선택: 내장된 결정 트리를 기반으로 에이전트는 탐색을 위한 bdata search, 알려진 플랫폼을 위한 bdata pipelines 또는 일반 URL을 위한 bdata scrape 중에서 선택합니다.
  3. 자동 우회: Bright Data 네트워크가 클라우드에서 proxy 회전, 지오 타겟팅 및 CAPTCHA 해결을 처리합니다.
  4. 데이터 정규화: 도구는 웹 콘텐츠를 처리하고 깨끗한 Markdown 또는 구조화된 JSON과 같이 LLMs에 최적화된 형식으로 반환합니다.
  5. 합성: AI Agent는 깨끗한 데이터를 수신하여 분석, 비교 또는 보고를 수행합니다.

ClearWeb 설정 가이드

먼저 시스템에 Bright Data CLI가 설치되어 있는지 확인하십시오.

# macOS / Linux용 curl을 통해 설치
curl -fsSL https://cli.brightdata.com/install.sh | bash

# 또는 npm을 통해 설치
npm install -g @brightdata/cli

다음으로, 계정을 연결하고 proxy 존을 자동 구성하기 위해 일회성 인증을 수행합니다.

bdata login

구성이 활성 상태인지 확인합니다.

bdata config

ClearWeb 데이터 스키마 및 분류 체계

ClearWeb은 다양한 에이전트 워크플로우와의 호환성을 보장하기 위해 데이터를 세 가지 주요 출력 유형으로 구성합니다.

데이터 유형 설명 형식
SERP 데이터 검색 엔진의 자연 검색 결과, 광고 및 '관련 질문'. JSON
스크래핑된 콘텐츠 상용구가 제거된 깨끗한 웹페이지 텍스트. Markdown / HTML
Pipeline 객체 유형화된 플랫폼 전용 스키마(예: Amazon 제품, LinkedIn 프로필). JSON / CSV
시각적 증거 시각적 검증을 위한 전체 페이지 스크린샷. PNG

작업 상태, 비동기 작업을 위한 작업 ID 및 남은 계정 예산과 같은 메타데이터는 bdata status 및 bdata budget 명령을 통해 쿼리할 수 있습니다.

ClearWeb 고급 기능

  • 지오 타겟팅: --country 플래그를 사용하여 특정 국가에 있는 것처럼 웹에 액세스합니다.
  • 비동기 처리: --async를 사용하여 에이전트의 기본 루프를 차단하지 않고 무거운 스크래핑 작업이나 대량 배치를 처리합니다.
  • 사전 구축된 추출기: 주요 소셜 및 이커머스 플랫폼을 위한 40개 이상의 특화된 Pipeline에 액세스합니다.
  • 파이프 친화적 아키텍처: 복잡한 데이터 처리 워크플로우를 위해 jq 또는 xargs와 같은 다른 CLI 도구와 원활하게 통합됩니다.
  • 자동 존 관리: 로그인 시 cli_unlocker 및 cli_browser 존을 자동으로 생성하고 관리합니다.

SKILL.md


로드 중

관련 Openclaw 스킬

METADATA

Github Stars: 0
forks: 0

추천*