Un outil Python sans dépendance pour valider l'intégrité des données et la conformité du schema pour les fichiers CSV, JSON et JSONL.
Installer & Télécharger
1. ClawHub CLI
Le moyen le plus rapide d'installer une compétence directement depuis le registre.
npx clawhub@latest install data-quality-checker
2. Installation manuelle
Copiez le dossier de la compétence dans l'un de ces emplacements
~/.openclaw/skills/ <project>/skills/ Priorité : Espace de travail > Local > Intégré
3. Installation du prompt
Copiez ce prompt dans OpenClaw pour l'installer automatiquement.
Aide-moi à installer data-quality-checker via Clawhub. Si Clawhub n'est pas installé, installe-le d'abord (npm i -g clawhub).
Vous préférez télécharger ?
Obtenez les fichiers bruts de la compétence dans une archive ZIP.
Qu'est-ce que Data Quality Checker ?
Le Data Quality Checker est un utilitaire de diagnostic robuste conçu pour garantir l'intégrité des données à travers divers formats de fichiers. En tant que partie de l'écosystème Openclaw Skills, il offre aux développeurs et aux data scientists une solution Python haute performance et sans dépendance pour identifier les problèmes structurels et de contenu. Il va au-delà du simple parsing en calculant un score de qualité complet (0-100) basé sur la sévérité pondérée, permettant aux équipes de quantifier instantanément la santé de leurs ensembles de données.
Cette skill excelle dans l'identification de la détérioration cachée des données telle que les anomalies statistiques, les incohérences d'espaces blancs et le schema drift. En fournissant des rapports clairs, classés par sévérité, en Markdown pour la révision humaine et en JSON pour les pipelines automatisés, il comble le fossé entre le nettoyage manuel des données et les flux de travail automatisés d'ingénierie des données. Que vous prépariez des ensembles de données pour le machine learning ou que vous validiez des réponses d'API, cet outil garantit que vos données restent propres et conformes.
Cas d'utilisation de Data Quality Checker
- Valider des fichiers CSV, JSON ou JSONL avant de les importer dans une base de données de production.
- Détecter les enregistrements en double et les conflits d'ID potentiels dans les grands ensembles de données.
- Identifier les anomalies statistiques à l'aide de la méthode de l'écart interquartile (IQR) pour nettoyer les données d'entraînement.
- Imposer la conformité du schema dans les pipelines CI/CD pour empêcher les données malformées de casser les services en aval.
- Profiler la qualité des données pour les rapports automatisés et la visibilité des parties prenantes.
Comment fonctionne Data Quality Checker
- L'utilisateur fournit un chemin de fichier de données et des paramètres optionnels comme le format ou des filtres de vérification spécifiques.
- Le script analyse le fichier (CSV, JSON ou JSONL) et le compare éventuellement à un schema fourni ou généré automatiquement.
- Il exécute une suite de tests de diagnostic incluant la cohérence des types, la détection des doublons et la validation du format.
- Un score de qualité est calculé en fonction de la quantité et de la sévérité des problèmes trouvés (Critical, Warning ou Info).
- L'outil génère un rapport dans le format demandé et renvoie un code de sortie basé sur la sévérité la plus élevée trouvée.
Configuration de Data Quality Checker
Pour commencer à utiliser cet utilitaire Openclaw Skills, assurez-vous d'avoir Python 3 installé. Aucune dépendance externe n'est requise.
# Clonez votre dépôt de skill ou allez dans le répertoire des scripts
# Exécutez une vérification de base sur un fichier CSV
python3 scripts/check_data_quality.py vos_donnees.csv
# Pour enregistrer un rapport Markdown pour la documentation
python3 scripts/check_data_quality.py vos_donnees.json --format markdown --output quality_report.md
Schéma de données et taxonomie de Data Quality Checker
La skill organise ses conclusions sur la base d'un système de notation pondéré par la sévérité. Elle prend en charge les structures de données suivantes :
| Caractéristique | Détails |
|---|---|
| Formats d'entrée | CSV, JSON, JSONL |
| Formats de rapport | Markdown (Lisible par l'homme), JSON (Lisible par la machine) |
| Règles de validation | Prend en charge les propriétés JSON schema standard incluant type, minimum, maximum, pattern et enum |
| Notation | Échelle 0-100 (90+ est Propre ; <50 est Critique) |
Fonctionnalités avancées de Data Quality Checker
- Génération automatique de Schema : Créez automatiquement un schema de validation JSON basé sur un ensemble de données de haute qualité existant.
- Intégration CI/CD : Utilisez des codes de sortie spécifiques (0, 1 ou 2) pour interrompre les builds si des problèmes critiques de qualité de données sont détectés.
- Vérifications ciblées : Isolez des problèmes spécifiques en n'exécutant qu'un sous-ensemble de vérifications (ex :
--checks missing,duplicates). - Profilage statistique : Détection d'anomalies intégrée à l'aide de la méthode IQR pour trouver des points de données qui s'écartent considérablement de la norme.
- Détection de Schema Drift : Identifiez les keys ou propriétés incohérentes à travers différentes lignes dans les fichiers JSON et JSONL.
SKILL.md
Chargement
Compétences Openclaw associées
Audit de Bibliothèque de Composants
Un outil d'audit automatisé pour maintenir des bibliothèques de composants React, Vue et Svelte de haute qualité en identifiant le code inutilisé, les lacunes d'accessibilité et les manques de documentation.
Runbook Automator
Convertit la documentation manuelle des incidents en playbooks exécutables automatisés et auto-réparateurs pour une résolution plus rapide.
GitHub Actions Optimizer
Un utilitaire de niveau professionnel pour analyser et optimiser les workflows GitHub Actions afin de réduire les coûts et d'améliorer la fiabilité des builds.
Nginx Config Linter
Un outil d'analyse statique complet pour auditer les fichiers de configuration Nginx à la recherche d'erreurs de syntaxe, de vulnérabilités de sécurité et de goulots d'étranglement de performance.
Analyse Stratégique de GMC
Une compétence d'analyse experte conçue pour décoder la stratégie de marque Professional Grade de GMC et sa domination dans les segments des camions et SUV à haute marge en Amérique du Nord.
PostCSS Config Validator
Un outil spécialisé pour auditer et valider les configurations PostCSS afin de garantir un traitement CSS optimal et la fiabilité du build.
En vedette*
