duclvQ / vi-law-laya

vi-law-laya

A Vietnamese query–passage relevance model. For each (query, passage) pair it returns the probability that the passage answers the query (0–1). Intended as a reranker after first-stage retrieval.

• Architecture: Laya (multilingual variant, mmBERT-base, 322M parameters) with a yes/no decision head.
• Max length: 8,192 tokens.
• Fine-tuning: RLCD + soft cross-entropy, 1 epoch, 757,748 pairs; post-hoc temperature scaling (T = 1.42).
• General-purpose variant: duclvQ/vi-laya .

Usage

pip install "laya>=0.3.11"

import laya
from huggingface_hub import snapshot_download

agent = laya.Agent(snapshot_download("duclvQ/vi-law-laya"), device="cuda")   # or "cpu"
question = {"match": {"type": "noul",
                      "instructions": agent.cfg["question"]["instructions"]}}


def rank(query, docs):
    states = [{"query": query, "document": d} for d in docs]
    scores = [r["answers"]["match"]["noul"] for r in agent.predict_batch(states, question, batch_size=8)]
    print(query)
    for s, d in sorted(zip(scores, docs), reverse=True):
        print(f"  {s:.3f}  {d[:70]}")


# Each query: the answer + two hard negatives (same topic, do not answer the query).
rank("Vịnh Hạ Long nằm ở tỉnh nào?", [
    "Vịnh Hạ Long là một vịnh thuộc phần bờ tây vịnh Bắc Bộ, thuộc địa phận tỉnh Quảng Ninh.",
    "Vịnh Lan Hạ thuộc quần đảo Cát Bà, thành phố Hải Phòng.",
    "Tràng An ở Ninh Bình thường được gọi là 'Vịnh Hạ Long trên cạn'.",
])
rank("Tại sao bầu trời có màu xanh?", [
    "Bầu trời có màu xanh do tán xạ Rayleigh: ánh sáng bước sóng ngắn (xanh lam) bị các phân tử khí tán xạ mạnh hơn ánh sáng đỏ.",
    "Cầu vồng xuất hiện khi ánh sáng Mặt Trời bị khúc xạ, phản xạ và tán sắc trong các giọt nước mưa.",
    "Khí quyển Trái Đất gồm khoảng 78% nitơ, 21% oxy và một lượng nhỏ các khí khác.",
])
rank("Làm thế nào để giải phóng dung lượng bộ nhớ trên điện thoại Android?", [
    "Vào Cài đặt > Bộ nhớ, xóa bộ nhớ đệm, gỡ ứng dụng không dùng và chuyển ảnh, video lên đám mây để giải phóng dung lượng.",
    "Để tăng thời lượng pin, hãy giảm độ sáng màn hình và tắt Bluetooth, GPS khi không dùng.",
    "RAM là bộ nhớ tạm thời giúp điện thoại chạy nhiều ứng dụng cùng lúc.",
])
rank("Chiến thắng Điện Biên Phủ diễn ra năm nào?", [
    "Chiến dịch Điện Biên Phủ kết thúc thắng lợi ngày 7/5/1954, buộc Pháp ký Hiệp định Genève.",
    "Chiến dịch Hồ Chí Minh diễn ra từ ngày 26/4 đến 30/4/1975, thống nhất đất nước.",
    "Điện Biên Phủ là thành phố thuộc tỉnh Điện Biên, vùng Tây Bắc Việt Nam.",
])

Output:

Vịnh Hạ Long nằm ở tỉnh nào?
  0.926  Vịnh Hạ Long là một vịnh thuộc phần bờ tây vịnh Bắc Bộ, thuộc địa phận
  0.114  Vịnh Lan Hạ thuộc quần đảo Cát Bà, thành phố Hải Phòng.
  0.105  Tràng An ở Ninh Bình thường được gọi là 'Vịnh Hạ Long trên cạn'.
Tại sao bầu trời có màu xanh?
  0.927  Bầu trời có màu xanh do tán xạ Rayleigh: ánh sáng bước sóng ngắn (xanh
  0.100  Cầu vồng xuất hiện khi ánh sáng Mặt Trời bị khúc xạ, phản xạ và tán sắ
  0.071  Khí quyển Trái Đất gồm khoảng 78% nitơ, 21% oxy và một lượng nhỏ các k
Làm thế nào để giải phóng dung lượng bộ nhớ trên điện thoại Android?
  0.676  Vào Cài đặt > Bộ nhớ, xóa bộ nhớ đệm, gỡ ứng dụng không dùng và chuyển
  0.108  RAM là bộ nhớ tạm thời giúp điện thoại chạy nhiều ứng dụng cùng lúc.
  0.106  Để tăng thời lượng pin, hãy giảm độ sáng màn hình và tắt Bluetooth, GP
Chiến thắng Điện Biên Phủ diễn ra năm nào?
  0.343  Chiến dịch Điện Biên Phủ kết thúc thắng lợi ngày 7/5/1954, buộc Pháp k
  0.113  Điện Biên Phủ là thành phố thuộc tỉnh Điện Biên, vùng Tây Bắc Việt Nam
  0.100  Chiến dịch Hồ Chí Minh diễn ra từ ngày 26/4 đến 30/4/1975, thống nhất

noul is P(match). Put the query first and the document second; truncation, if any, always cuts the end of the document.

Results

Reranking the top-50 candidates of BAAI/bge-m3.

Zalo AI Legal Text Retrieval (788 queries, 61,425 law articles)

ALQAC (620 queries, 62,643 law articles)

Probability quality (all top-50 pairs; AUC = separation of matching vs. non-matching pairs)

Speed (RTX A4500, bf16): 13 ms/pair on short articles (ALQAC), 22 ms/pair on long articles (Zalo).

Examples

Queries from domains outside the fine-tuning data (legal). Each query is scored against one correct passage and two same-topic distractors ( examples.json ).

Citation

Base model: convaiinnovations/laya ; encoder: jhu-clsp/mmBERT-base .