Un utilitaire léger en Python pur pour détecter automatiquement les encodages de fichiers texte et les marqueurs BOM sans dépendances externes.
Installer & Télécharger
1. ClawHub CLI
Le moyen le plus rapide d'installer une compétence directement depuis le registre.
npx clawhub@latest install cn-text-encoding-detector
2. Installation manuelle
Copiez le dossier de la compétence dans l'un de ces emplacements
~/.openclaw/skills/ <project>/skills/ Priorité : Espace de travail > Local > Intégré
3. Installation du prompt
Copiez ce prompt dans OpenClaw pour l'installer automatiquement.
Aide-moi à installer cn-text-encoding-detector via Clawhub. Si Clawhub n'est pas installé, installe-le d'abord (npm i -g clawhub).
Vous préférez télécharger ?
Obtenez les fichiers bruts de la compétence dans une archive ZIP.
Qu'est-ce que Text Encoding Detector ?
Text Encoding Detector est un outil Python robuste et sans dépendance, conçu pour résoudre les problèmes d'encodage de caractères de manière programmatique. Cet utilitaire, convivial pour les développeurs, analyse les fichiers texte pour identifier avec précision les encodages tels que UTF-8, UTF-16 LE/BE, GBK, GB2312 et Latin-1, tout en identifiant automatiquement les marqueurs BOM (Byte Order Mark). En intégrant cet outil avec les Openclaw Skills, les développeurs et les agents IA peuvent analyser, inspecter et corriger les fichiers texte corrompus de manière transparente au sein des pipelines de codage automatisés.
Fonctionnant entièrement sur la bibliothèque standard de Python, il ne nécessite aucune API externe ni accès à internet. Cette conception axée sur le local garantit des performances maximales et la confidentialité, ce qui en fait un ajout essentiel à la boîte à outils de tout développeur lors de la construction de flux de travail automatisés traitant des bases de données de documents multilingues ou hérités.
Cas d'utilisation de Text Encoding Detector
- Correction de texte corrompu (Mojibake) : Détectez automatiquement l'encodage correct des fichiers texte illisibles pour restaurer un contenu lisible.
- Pipeline de prétraitement de jeu de données : Vérifiez les encodages de fichiers avant d'insérer des documents dans des modèles d'apprentissage automatique ou des bases de données pour éviter les échecs d'ingestion.
- Conversions d'encodage par lots : Scannez des répertoires entiers pour trouver des jeux de caractères incohérents et les convertir systématiquement en UTF-8.
- Identification des marqueurs BOM : Identifiez et gérez les marques d'ordre d'octets (BOM) dans les fichiers UTF pour assurer la compatibilité avec les outils de ligne de commande basés sur Unix.
Comment fonctionne Text Encoding Detector
- Vérification du fichier d'entrée : Le script accepte un chemin de fichier cible comme argument d'entrée.
- Analyse du BOM et de l'en-tête : L'outil effectue un scan initial au niveau des octets de l'en-tête du fichier pour détecter les signatures explicites de marque d'ordre d'octets (BOM).
- Tentative d'encodage heuristique : L'algorithme tente de lire le contenu du fichier, en privilégiant le décodage UTF-8. En cas d'échec, il revient aux encodages régionaux comme GBK ou GB2312, suivis de Latin-1.
- Génération de fallback et sortie : Si aucun motif standard ne correspond, il affiche 'UNKNOWN'. Sinon, il renvoie un payload JSON structuré contenant le chemin du fichier, l'encodage détecté et la taille du fichier en octets.
Configuration de Text Encoding Detector
Aucune dépendance Python externe n'est nécessaire, ce qui rend la configuration simple. Il suffit de cloner ou de copier le script dans votre projet et de le configurer avec votre espace de travail Openclaw Skills.
Installation
Assurez-vous d'avoir Python 3.x installé dans votre environnement. Clonez le dépôt et appelez le script :
# Exécutez le détecteur en utilisant Python 3
python3 scripts/encoding_detector.py --file path/to/your/document.txt
Intégration Openclaw
Pour l'utiliser avec les Openclaw Skills, enregistrez le script Python dans vos fichiers de définition d'outils pour permettre à votre agent IA de déclencher des audits d'encodage dynamiquement lors des tâches de codage.
Schéma de données et taxonomie de Text Encoding Detector
Text Encoding Detector produit des données structurées au format JSON standard, facilitant la consommation par programme par d'autres scripts ou agents IA au sein des Openclaw Skills.
| Champ | Type | Description |
|---|---|---|
file |
String | Le chemin absolu ou relatif du fichier texte scanné. |
encoding |
String | L'encodage de caractères détecté (par ex. UTF-8, GBK, UTF-16 LE, UNKNOWN). |
size_bytes |
Integer | La taille totale du fichier en octets. |
Exemple de sortie JSON
{
"file": "document.txt",
"encoding": "UTF-8",
"size_bytes": 15234
}
Fonctionnalités avancées de Text Encoding Detector
- Analyse sensible au BOM : Évite les bugs de décodage courants en reconnaissant les marques d'ordre d'octets (UTF-8, UTF-16 BE/LE) dès le début du fichier.
- Empreinte zéro dépendance : Construit entièrement à l'aide de la bibliothèque standard Python, garantissant une exécution immédiate dans des environnements de conteneurs restreints ou hors ligne.
- Heuristique à chemin rapide : Utilise un arbre de fallback optimisé (tentative UTF-8, puis GBK, puis Latin-1) pour résoudre efficacement les encodages chinois et d'Europe occidentale standard.
- Sortie CLI structurée : Émet des résultats JSON analysables, permettant un chargement en chaîne de pipeline transparent avec les outils des Openclaw Skills.
SKILL.md
Chargement
Compétences Openclaw associées
cn-text-reverser
Un outil Python sans dépendance pour inverser des séquences de texte multi-octets globalement ou caractère par caractère.
Tip Calculator
Un outil CLI léger et en pur Python pour calculer les pourboires et diviser les notes entre plusieurs personnes, sans aucune dépendance externe.
cn-whitespace-cleaner
Un outil en ligne de commande léger et sans dépendance pour supprimer les espaces redondants, les tabulations indésirables et les sauts de ligne excessifs de vos entrées de texte et de vos fichiers.
Unicode Info
Un outil Python local et sans dépendances pour inspecter les codepoints, les noms officiels et les catégories des caractères Unicode.
Convertisseur de température
Un utilitaire de ligne de commande Python léger et sans dépendances pour une conversion instantanée entre les échelles de température Celsius, Fahrenheit et Kelvin.
cn-shuffle-lines
Un outil CLI léger et purement en Python conçu pour mélanger de manière aléatoire des lignes de texte à partir d'entrées directes ou de fichiers externes.
En vedette*
