Openclaw向けマルチモーダル画像理解スキル

テキスト専用AIモデルがOpenAIまたはAnthropicプロトコルを介して画像を分析、OCR、および詳細を抽出できるようにするブリッジスキルです。

zzfly256

v1.0.0

Jun 17, 2026

インストール

概要情報

Skill.md

インストール＆ダウンロード

1. ClawHub CLI

レジストリから直接スキルをインストールする最速の方法です。


                  npx clawhub@latest install multimodal-image-understanding

2. 手動インストール

スキルフォルダを以下のいずれかの場所にコピーしてください

グローバル

~/.openclaw/skills/

ワークスペース

<project>/skills/

優先順位：ワークスペース > ローカル > バンドル

3. プロンプトのインストール

このプロンプトをOpenClawにコピーするだけで、自動的にインストールされます。


                  Clawhubを使って multimodal-image-understanding をインストールして。Clawhubがインストールされていない場合は、先にインストールしてください（npm i -g clawhub）。

ダウンロードをご希望ですか？

ZIPアーカイブで生のスキルファイルを取得します。

マルチモーダル画像理解スキルとは？

マルチモーダル画像理解スキルは、AIコーディングエージェントとDeepSeek-v4やGLM 5.1のようなテキスト専用の大規模言語モデル間のインテリジェントな仲介役として機能します。エージェントが画像関連のタスクに遭遇したが、ネイティブに画像を処理できない場合、このツールがシームレスに介入し、視覚的入力を上位のマルチモーダル対応ビジョンモデルにルーティングします。これはOpenclaw Skillsエコシステムにおける重要な機能強化であり、モデルを完全に切り替えることなく複雑なワークフローをそのまま維持します。

AnthropicとOpenAIの両方のプロトコルをサポートすることで、このスキルはローカル画像ファイルやリモートURLを詳細なテキストの洞察に変換します。開発者はこのBYOK (Bring Your Own Key) ビジョンアダプターを使用することで、主要な開発エージェントを軽量に保ちながら、画像記述、構造抽出、OCRの課題をオンデマンドで解決できます。

マルチモーダル画像理解スキルのユースケース

DeepSeek-v4などのテキスト専用モデルを使用する際に、画像分析、OCR、またはテキスト抽出リクエストを処理する。
ユーザーが「私のビジョンモデルを使用」または専用のマルチモーダルAPIを介した画像分析を実行するように明示的に要求する場合。
\/multimodal-image-understandingコマンドを使用して、エージェントチェーン内でビジョンタスクを直接オーケストレーションする。

マルチモーダル画像理解スキルの仕組み

デフォルトの設定ファイル (~\/.config\/multimodal-image-understanding\/config.json) からユーザー認証情報とルーティングオプションを解決して読み取ります。
設定フィールド (openai または anthropic) に基づいてターゲットゲートウェイプロトコルを解析します。
ランナースクリプト scripts\/multimodal_understand.py をトリガーし、ローカルパスをbase64として読み込むか、リモート画像URLを取得します。
promptと画像ペイロードを指定された上位ビジョンAPIに安全にディスパッチします。
モデルのテキスト記述または分析結果を、使用のために標準出力 (stdout) に直接エコーします。

マルチモーダル画像理解スキルのセットアップ

セットアップ設定

設定ディレクトリを作成し、デフォルトのテンプレートペイロードをコピーします：

mkdir -p ~\/.config\/multimodal-image-understanding
cp assets\/config.example.json ~\/.config\/multimodal-image-understanding\/config.json

設定の編集

~\/.config\/multimodal-image-understanding\/config.json でモデルの仕様を設定します。以下はOpenAIプロトコルを使用する例です：

{
  "protocol": "openai",
  "endpoint": "https:\/\/api.openai.com\/v1",
  "model": "gpt-4o",
  "api_key": "${OPENAI_API_KEY}",
  "max_tokens": 1024,
  "temperature": 0.2
}

スキルの実行

CLIを介して画像を直接提供し、分析をリクエストします：

python3 scripts\/multimodal_understand.py \
  --image \/path\/to\/photo.jpg \
  --prompt "Provide a detailed transcription of all handwritten text in this image."

マルチモーダル画像理解スキルのデータスキーマとタクソノミー

このスキルは、構造化された設定 schema を通じてオーケストレーションプロパティを管理します。メタデータの分類は以下の通りです：

パラメータ	型	説明	必須
`protocol`	String	ゲートウェイインターフェースプロトコル：`openai` または `anthropic`	はい
`endpoint`	String	上位サーバーアドレス。環境変数をサポート	はい
`model`	String	モデルID (例：`gpt-4o`, `claude-3-5-sonnet`)	はい
`api_key`	String	シークレットキー。`${ENV_VAR_NAME}` パターンをサポート	はい
`max_tokens`	Integer	出力レスポンスサイズを制限	いいえ
`image_mode`	String	ローカルダウンロードおよびリモートURLのエンコードを強制するには `base64` に設定	いいえ

標準のファイルシステム権限を使用して、ローカル設定ファイルがロックされていることを確認してください：

chmod 600 ~\/.config\/multimodal-image-understanding\/config.json

マルチモーダル画像理解スキルの高度な機能

環境変数サポート：APIキーの漏洩を防ぐため、JSON値内の ${MY_API_KEY} のような環境変数を自動的に評価および補完します。
柔軟な画像入力：ローカルディレクトリパス、base64データ、および標準のリモートHTTP(S)画像URLをネイティブに受け入れます。
マルチプロトコルハンドラー：OpenAI Chat Completions形式およびAnthropic Messagesプロトコルの組み込みサポート。
静かな実行チェーン：--quietフラグをサポートし、stderrからの診断情報を抑制し、モデルの応答のみをstdoutに送信してパイプライン処理を行います。