Một bộ công cụ đánh giá chuyên dụng để định lượng mật độ esoteric knowledge và các tiêu chuẩn hiệu suất của các gói kiến thức AI của bạn.
Cài đặt & Tải xuống
1. ClawHub CLI
Cách nhanh nhất để cài đặt kỹ năng trực tiếp từ thư viện.
npx clawhub@latest install expertpack-eval
2. Cài đặt Thủ công
Sao chép thư mục kỹ năng vào một trong những vị trí sau
~/.openclaw/skills/ <project>/skills/ Ưu tiên: Không gian làm việc > Cục bộ > Gói sẵn
3. Cài đặt Prompt
Sao chép prompt này vào OpenClaw để tự động cài đặt.
Giúp tôi cài đặt expertpack-eval bằng Clawhub. Nếu Clawhub chưa
Bạn muốn tải xuống?
Nhận các tệp kỹ năng gốc dưới dạng lưu trữ ZIP.
ExpertPack Eval là gì?
ExpertPack Eval là một tiện ích tinh vi được thiết kế cho các nhà phát triển sử dụng Openclaw Skills để xác thực giá trị độc nhất của các cơ sở kiến thức tùy chỉnh của họ. Nó giải quyết một thách thức cốt lõi trong phát triển AI: xác định xem một gói kiến thức thực sự cung cấp thông tin mới hay chỉ đơn giản là lặp lại những gì các mô hình hàng đầu đã biết. Bằng cách tính toán tỷ lệ Esoteric Knowledge (EK) ratio, kỹ năng này giúp bạn đảm bảo rằng ranh giới agent của bạn vẫn sắc bén và gia tăng giá trị.
Là một người bạn đồng hành với hệ thống expertpack cốt lõi, ExpertPack Eval tự động hóa việc thử nghiệm các mô hình hàng đầu như GPT-4 và Claude thông qua OpenRouter. Nó sử dụng phương pháp thăm dò mù (blind-probing) để xác minh xem một mô hình có thể trả lời các mệnh đề cụ thể mà không cần truy cập vào gói của bạn hay không, từ đó đo lường hiệu quả 'khoảng cách thông tin' mà Openclaw Skills của bạn đang lấp đầy.
Trường hợp sử dụng ExpertPack Eval
- Định lượng giá trị độc nhất của một gói kiến thức tùy chỉnh so với trọng số LLM cơ sở.
- Đánh giá hiệu suất agent trên các phiên bản khác nhau của tập dữ liệu hoặc kiến trúc mô hình.
- Chạy các bài kiểm tra hồi quy tự động cho các AI agent chạy bằng gói kiến thức bằng cách sử dụng chấm điểm LLM-as-judge.
- Lọc bỏ các phần đệm kiến thức chung từ các tập dữ liệu chuyên dụng để cải thiện hiệu quả RAG.
Cách thức hoạt động của ExpertPack Eval
- Kỹ năng này bắt đầu một cuộc thăm dò mù bằng cách truy vấn nhiều mô hình hàng đầu thông qua OpenRouter bằng các mệnh đề được trích xuất từ gói của bạn.
- Nó tận dụng một mô hình giám khảo cấp cao (chẳng hạn như Claude 3.5 Sonnet) để chấm điểm các phản hồi của mô hình một cách khách quan.
- Một EK ratio được tính toán dựa trên tỷ lệ phần trăm các mệnh đề mà các mô hình cơ sở không thể trả lời đúng nếu không có gói kiến thức.
- Người dùng có thể chạy các bộ đánh giá có cấu trúc đối với các điểm cuối agent trực tiếp để xác minh hiệu suất trong các kịch bản hội thoại thực tế.
- Công cụ tạo ra các đầu ra YAML tích hợp với Obsidian frontmatter, cho phép theo dõi chất lượng dài hạn bằng Dataview.
Cài đặt ExpertPack Eval
Để bắt đầu với thành phần này của Openclaw Skills, hãy đảm bảo bạn đã cài đặt python3 và có một OpenRouter API key đang hoạt động.
# Thiết lập OpenRouter API key của bạn (hoặc để OpenClaw tự giải quyết từ hồ sơ xác thực của bạn)
export OPENROUTER_API_KEY='your_api_key'
# Chạy một cuộc thăm dò mù để đo lường EK ratio
python3 scripts/eval-ek.py <path-to-pack> --models gpt-4.1-mini,claude-sonnet-4-6
Lược đồ dữ liệu & Hệ thống phân loại của ExpertPack Eval
ExpertPack Eval sử dụng các tệp YAML có cấu trúc để quản lý siêu dữ liệu và kết quả đánh giá, đảm bảo tính tương thích với hệ sinh thái rộng lớn hơn của Openclaw Skills.
| Tệp/Trường | Mục đích |
|---|---|
| manifest.yaml | Lưu trữ ek_ratio đã đo, dấu thời gian và các mô hình đã thử nghiệm. |
| eval-set.yaml | Chứa các câu hỏi kiểm tra được phân loại (Basic, Intermediate, Advanced). |
| results.yaml | Đầu ra chi tiết chứa điểm số cho mỗi mệnh đề và phản hồi của giám khảo. |
| ek_score | Một giá trị thập phân (0.0 - 1.0) đại diện cho mật độ esoteric của gói. |
Tính năng Nâng cao của ExpertPack Eval
- Hỗ trợ đánh giá đa mô hình để thử nghiệm đồng thời trên GPT, Claude và Gemini.
- Logic chấm điểm LLM-as-judge tự động với các mô hình giám khảo có thể cấu hình để giảm thiểu sai lệch.
- Tích hợp frontmatter tương thích với Obsidian cho các quy trình quản lý kiến thức chuyên nghiệp.
- Khả năng thử nghiệm điểm cuối trực tiếp để xác thực việc đào tạo agent và cải thiện cấu trúc.
- Tích hợp quy trình làm việc liền mạch với các Openclaw Skills khác để phát triển agent từ đầu đến cuối.
SKILL.md
Đang tải
Các kỹ năng Openclaw liên quan
Agent Memory Setup
Một tiện ích thiết lập toàn diện để xây dựng kiến trúc bộ nhớ đa tầng kiên cố cho các agent OpenClaw.
Trình tinh chỉnh nội dung tiếng Trung chống AI (zh_de_ai_ify)
Một công cụ chuyên dụng để loại bỏ sự nhân tạo kiểu AI và thuật ngữ doanh nghiệp khỏi văn bản tiếng Trung để tạo ra nội dung tự nhiên, giống như con người viết.
Achievement-QZTC Analysis Generator
Một công cụ chuyên nghiệp để tạo và kiểm tra các báo cáo phân tích kết quả đạt được mục tiêu học phần từ dữ liệu Excel.
TickTick CLI Skill
Một giao diện dòng lệnh toàn diện để quản lý các nhiệm vụ, dự án và lời nhắc của TickTick thông qua các quy trình công việc tự động.
Bộ chuyển đổi Ontology sang ExpertPack
Một tiện ích di chuyển kỹ thuật được thiết kế để biến đổi các đồ thị tri thức Ontology chỉ thêm (append-only) thành các ExpertPacks di động, có độ trung thực cao.
GitHub PR Writer
Một tiện ích hỗ trợ bởi AI giúp tạo mô tả GitHub pull request chuyên nghiệp, có cấu trúc bằng cách phân tích các diff của nhánh và lịch sử commit của bạn.
METADATA
Đặc sắc*
