ProofKit detecta falsos éxitos en AI agents al requerir pruebas en tiempo real antes de que cualquier tarea se marque como completada.
Instalar y Descargar
1. ClawHub CLI
La forma más rápida de instalar una habilidad directamente desde el registro.
npx clawhub@latest install proofkit
2. Instalación manual
Copia la carpeta de la habilidad a una de estas ubicaciones
~/.openclaw/skills/ <project>/skills/ Prioridad: Espacio de trabajo > Local > Integrado
3. Instalación del prompt
Copia este prompt en OpenClaw para instalarlo automáticamente.
Ayúdame a instalar proofkit usando Clawhub. Si Clawhub no está instalado, instálalo primero (npm i -g clawhub).
¿Prefieres descargar?
Obtén los archivos originales de la habilidad en un archivo ZIP.
¿Qué es ProofKit?
ProofKit es la capa de verificación adversaria para agents autónomos: trata cada declaración de éxito como no confiable hasta que un artefacto en tiempo real demuestre que el trabajo realmente se realizó. Combina un escáner estático de falsos éxitos con un flujo de trabajo de verificación real que busca efectos secundarios concretos, como un message_id que no sea cero, un archivo recién creado, un HTTP 200 real o una fila de base de datos modificada.
En Openclaw Skills, ProofKit te ayuda a detener simulaciones de dry-run, código de marcador de posición (stubs), errores silenciados y métricas inventadas antes de que lleguen a CI o a producción. El resultado es un cambio práctico: en lugar de confiar en registros y valores de retorno, se entregan únicamente resultados respaldados por pruebas.
Casos de uso de ProofKit
- Agents autónomos de publicación, comercio o captación de clientes donde debes demostrar que la publicación, el pedido o el correo electrónico realmente ocurrieron
- Flotas de múltiples agents donde el falso éxito de un agent corrompería las entradas de los procesos posteriores
- CI para código generado por AI para bloquear la fusión de stubs, datos de demostración y resultados inventados
- Cualquier situación en la que un agent diga que ha funcionado y no puedas permitirte confiar ciegamente en esa afirmación
Cómo funciona ProofKit
- Ejecuta el escáner estático de falsos éxitos contra uno o más archivos Python con
python3 proofkit\/verify_real_scan.py <file> [<file> ...]. - Permite que el escáner marque patrones sospechosos, como retornos de éxito codificados de forma fija (hardcoded),
message_id: 0, simuladores basados enrandom, cuerpospassvacíos, excepciones silenciadas y valores predeterminados de simulación (dry-run). - Pasa al paso de verificación real: exige un documento real que demuestre la ejecución, como números reales en stdout, un archivo que ahora existe y tiene bytes, un HTTP 200 o una fila de base de datos modificada.
- Añade un tripwire (cable de activación) para que el paso posterior no pueda ejecutarse si falta el artefacto, lo que convierte los falsos aprobados en fallos graves en lugar de entregas silenciosas.
- Utiliza el veredicto para clasificar la ejecución como
VERIFIED LIVE,BUILT-BUT-UNVERIFIEDoFAKE-BROKENy, opcionalmente, amplía la misma lógica con\/redteam,gatecheck, ganchos (hooks) de CI o el modo Fleet.
Configuración de ProofKit
- Asegúrate de que Python 3 esté disponible.
python3 --version
- Copia
verify_real_scan.pyen tu proyecto. Para Openclaw Skills, el nivel gratuito solo incluye el escáner y el método.
mkdir -p tools
cp verify_real_scan.py tools\/
- Ejecuta el escaneo en cualquier archivo de agent o archivo auxiliar que desees validar.
python3 tools\/verify_real_scan.py path\/to\/agent.py path\/to\/helper.py
- Conecta el mismo comando en CI o en un envoltorio de lanzamiento para que las fusiones fallen cuando aparezcan patrones de falso éxito o cuando falte el artefacto real.
python3 tools\/verify_real_scan.py "$TARGET_FILE"
- Si necesitas la suite de aplicación de políticas, instala la skill completa desde ClawHub y mantén un modelo local disponible para las pasadas adversarias. El conjunto de herramientas utiliza Python stdlib puro más tu modelo local existente.
Esquema de datos y taxonomía de ProofKit
Modelo de entrada y salida
| Objeto | Estructura | Origen | Propósito |
|---|---|---|---|
| Objetivos de escaneo | Uno o más archivos Python pasados en la CLI | Entrada del usuario | Código a inspeccionar |
| Hallazgos estáticos | Informe y advertencias de stdout | verify_real_scan.py |
Indicadores de falso éxito |
| Artefactos reales | Números, archivos, respuestas HTTP, deltas de BD | Comprobaciones de tiempo de ejecución | Prueba de que la tarea realmente se ejecutó |
| Veredictos | VERIFIED LIVE, BUILT-BUT-UNVERIFIED, FAKE-BROKEN |
Flujo de trabajo de verificación real | Estado final |
| Resultados de aplicación | Tablas PASS/DRIFT, resultados de refutación por mayoría, fallos de CI | Suite premium | Control de políticas |
Taxonomía de hallazgos
- Éxito codificado de forma fija:
return True,success=True,message_id: 0 - Métricas inventadas:
random.*utilizado como sustituto de una medición real - Código incompleto:
TODO,NotImplementedErroro cuerpospassvacíos - Contaminación de producción: datos de demostración, muestra o fixture en rutas reales (live)
- Errores silenciados:
except: passseguido de un informe de éxito - Teatro de simulación (dry-run): valores predeterminados que afirman un trabajo real sin ejecutarlo realmente
Principios de datos
- La precisión es lo primero, con coincidencia de límites de palabras para que los nombres no relacionados como
exist_ok=Trueno activen el escáner. - Las pruebas son lo primero, porque un escaneo estático limpio es necesario pero no suficiente.
- No se requiere una base de datos persistente; el flujo de trabajo es una entrada de archivo, una prueba de artefacto y veredictos legibles por humanos.
Funciones avanzadas de ProofKit
\/redteamejecuta N escépticos independientes por afirmación, pide a cada uno que la refute y la cancela por mayoría para que el primer aprobado optimista no gane de forma predeterminadagatecheckgenera más de 6 pruebas de invariantes de protección, como accesibilidad del interruptor de apagado, transacciones bloqueadas, integridad de defensa contra inyecciones y puertas de calidad con cierre por fallo, presentadas en una tabla PASS/DRIFT- La generación de arneses tripwire envuelve un paso de construcción para que un falso aprobado no pueda continuar a menos que exista el artefacto real
- El soporte de hooks de CI hace fallar la canalización ante cualquier indicador de falso éxito o artefacto faltante, lo que hace obligatorio la prueba de trabajo para fusionar
- El modo Fleet escala la suite a través de N agents y clasifica qué agents tienen más probabilidades de estar entregando falsos éxitos
- La suite puede seguir los datos un nivel más abajo para exponer envoltorios (wrappers) donde la API real está oculta detrás de una interfaz falsa
SKILL.md
Cargando
Habilidades relacionadas de Openclaw
Aomi Build
Aomi Build convierte especificaciones OpenAPI, documentos de SDK y referencias de API en crates Rust Aomi listos para producción con herramientas tipadas e invocables por agentes para flujos de trabajo de Openclaw Skills.
Aomi Transact
Aomi Transact transforma prompts de cripto y DeFi en inglés sencillo en transacciones on-chain simuladas en fork y firmadas por billetera desde el terminal.
CI Pipeline Debugger
CI Pipeline Debugger ofrece a los usuarios de Openclaw Skills una forma rápida de analizar logs de CI/CD, aislar pasos con fallos y convertir los errores de la canalización en soluciones prácticas.
Merged Social and Poster Generator Skill
Una skill de automatización que fusiona los sistemas de diseño visual de guizang-social-card y magazine-poster en un generador programático unificado de activos de diseño.
AgentPMT Audit Logs
AgentPMT Audit Logs le brinda visibilidad de solo lectura sobre los chats de los agentes, las llamadas a herramientas, las ejecuciones de flujos de trabajo y las programaciones para que pueda auditar qué sucedió y por qué.
Terraform Drift Detector
Openclaw Skills para Terraform Drift Detector compara el estado de Terraform con la infraestructura en la nube activa en tiempo real y señala la desviación con informes prácticos.
Presentado*
