duclvQ / vi-laya

vi-laya

A general-purpose Vietnamese query–passage relevance model. For each (query, passage) pair it returns the probability that the passage answers the query (0–1). Intended as a reranker after first-stage retrieval.

• Architecture: Laya (multilingual variant, mmBERT-base, 322M parameters) with a yes/no decision head.
• Max length: 8,192 tokens.
• Fine-tuning: RLCD + soft cross-entropy, 1 epoch, 775,749 pairs (general + legal Vietnamese); post-hoc temperature scaling (T = 1.28).
• Legal-domain variant: duclvQ/vi-law-laya .

Usage

pip install "laya>=0.3.11"

import laya
from huggingface_hub import snapshot_download

agent = laya.Agent(snapshot_download("duclvQ/vi-laya"), device="cuda")   # or "cpu"
question = {"match": {"type": "noul",
                      "instructions": agent.cfg["question"]["instructions"]}}


def rank(query, docs):
    states = [{"query": query, "document": d} for d in docs]
    scores = [r["answers"]["match"]["noul"] for r in agent.predict_batch(states, question, batch_size=8)]
    print(query)
    for s, d in sorted(zip(scores, docs), reverse=True):
        print(f"  {s:.3f}  {d[:70]}")


# Each query: the answer + two hard negatives (same topic, do not answer the query).
rank("Tại sao bầu trời có màu xanh?", [
    "Bầu trời có màu xanh do tán xạ Rayleigh: ánh sáng bước sóng ngắn (xanh lam) bị các phân tử khí tán xạ mạnh hơn ánh sáng đỏ.",
    "Cầu vồng xuất hiện khi ánh sáng Mặt Trời bị khúc xạ, phản xạ và tán sắc trong các giọt nước mưa.",
    "Khí quyển Trái Đất gồm khoảng 78% nitơ, 21% oxy và một lượng nhỏ các khí khác.",
])
rank("Trẻ em mấy tháng tuổi thì được tiêm vắc xin sởi?", [
    "Theo lịch tiêm chủng mở rộng, trẻ được tiêm mũi vắc xin sởi đầu tiên lúc 9 tháng tuổi và tiêm nhắc vắc xin sởi – rubella lúc 18 tháng tuổi.",
    "Vắc xin viêm gan B liều sơ sinh nên được tiêm trong vòng 24 giờ đầu sau sinh.",
    "Sởi là bệnh truyền nhiễm cấp tính do virus, biểu hiện sốt, ho, chảy nước mũi, sau đó phát ban từ sau tai lan xuống toàn thân.",
])
rank("Đội tuyển Việt Nam vô địch AFF Cup lần đầu tiên vào năm nào?", [
    "Đội tuyển bóng đá quốc gia Việt Nam lần đầu vô địch AFF Suzuki Cup vào năm 2008 dưới sự dẫn dắt của huấn luyện viên Henrique Calisto.",
    "Năm 2018, U23 Việt Nam giành ngôi á quân Giải vô địch U23 châu Á tại Thường Châu, Trung Quốc.",
    "SEA Games là đại hội thể thao dành cho các quốc gia Đông Nam Á, được tổ chức hai năm một lần.",
])
rank("Làm sao để ngủ ngon hơn vào ban đêm?", [
    "Để ngủ ngon hơn, hãy đi ngủ và thức dậy vào giờ cố định, tránh cà phê sau buổi chiều và hạn chế dùng điện thoại trước khi ngủ.",
    "Ngủ trưa khoảng 15–30 phút giúp cải thiện sự tỉnh táo vào buổi chiều.",
    "Chứng ngáy ngủ xảy ra khi luồng không khí đi qua đường thở bị cản trở một phần.",
])
rank("Làm thế nào để giải phóng dung lượng bộ nhớ trên điện thoại Android?", [
    "Vào Cài đặt > Bộ nhớ, xóa bộ nhớ đệm, gỡ ứng dụng không dùng và chuyển ảnh, video lên đám mây để giải phóng dung lượng.",
    "Để tăng thời lượng pin, hãy giảm độ sáng màn hình và tắt Bluetooth, GPS khi không dùng.",
    "RAM là bộ nhớ tạm thời giúp điện thoại chạy nhiều ứng dụng cùng lúc.",
])
rank("Người lao động được nghỉ phép năm bao nhiêu ngày?", [
    "Người lao động làm việc đủ 12 tháng cho một người sử dụng lao động thì được nghỉ hằng năm, hưởng nguyên lương, 12 ngày làm việc đối với người làm công việc trong điều kiện bình thường.",
    "Người lao động được nghỉ làm việc, hưởng nguyên lương trong những ngày lễ, tết: Tết Dương lịch 01 ngày, Tết Âm lịch 05 ngày.",
    "Lao động nữ được nghỉ thai sản trước và sau khi sinh con là 06 tháng.",
])

Output:

Tại sao bầu trời có màu xanh?
  0.951  Bầu trời có màu xanh do tán xạ Rayleigh: ánh sáng bước sóng ngắn (xanh
  0.082  Cầu vồng xuất hiện khi ánh sáng Mặt Trời bị khúc xạ, phản xạ và tán sắ
  0.074  Khí quyển Trái Đất gồm khoảng 78% nitơ, 21% oxy và một lượng nhỏ các k
Trẻ em mấy tháng tuổi thì được tiêm vắc xin sởi?
  0.949  Theo lịch tiêm chủng mở rộng, trẻ được tiêm mũi vắc xin sởi đầu tiên l
  0.083  Vắc xin viêm gan B liều sơ sinh nên được tiêm trong vòng 24 giờ đầu sa
  0.082  Sởi là bệnh truyền nhiễm cấp tính do virus, biểu hiện sốt, ho, chảy nư
Đội tuyển Việt Nam vô địch AFF Cup lần đầu tiên vào năm nào?
  0.947  Đội tuyển bóng đá quốc gia Việt Nam lần đầu vô địch AFF Suzuki Cup vào
  0.081  Năm 2018, U23 Việt Nam giành ngôi á quân Giải vô địch U23 châu Á tại T
  0.068  SEA Games là đại hội thể thao dành cho các quốc gia Đông Nam Á, được t
Làm sao để ngủ ngon hơn vào ban đêm?
  0.946  Để ngủ ngon hơn, hãy đi ngủ và thức dậy vào giờ cố định, tránh cà phê 
  0.118  Ngủ trưa khoảng 15–30 phút giúp cải thiện sự tỉnh táo vào buổi chiều.
  0.075  Chứng ngáy ngủ xảy ra khi luồng không khí đi qua đường thở bị cản trở 
Làm thế nào để giải phóng dung lượng bộ nhớ trên điện thoại Android?
  0.942  Vào Cài đặt > Bộ nhớ, xóa bộ nhớ đệm, gỡ ứng dụng không dùng và chuyển
  0.085  RAM là bộ nhớ tạm thời giúp điện thoại chạy nhiều ứng dụng cùng lúc.
  0.080  Để tăng thời lượng pin, hãy giảm độ sáng màn hình và tắt Bluetooth, GP
Người lao động được nghỉ phép năm bao nhiêu ngày?
  0.511  Người lao động làm việc đủ 12 tháng cho một người sử dụng lao động thì
  0.105  Người lao động được nghỉ làm việc, hưởng nguyên lương trong những ngày
  0.080  Lao động nữ được nghỉ thai sản trước và sau khi sinh con là 06 tháng.

noul is P(match). Put the query first and the document second; truncation, if any, always cuts the end of the document.

Results

Reranking the top-50 candidates of BAAI/bge-m3.

UIT-ViQuAD 2.0 (validation: 2,653 questions, 557 Wikipedia paragraphs)

Zalo AI Legal Text Retrieval (788 queries, 61,425 law articles)

ALQAC (620 queries, 62,643 law articles)

Probability quality (all top-50 pairs; AUC = separation of matching vs. non-matching pairs)

Speed (RTX A4500, bf16): 13 ms/pair on short passages, 22 ms/pair on long articles (Zalo).

Examples

Each query is scored against one correct passage and two same-topic distractors ( examples.json ).

Top-1 correct: 16/16.

Citation

Base model: convaiinnovations/laya ; encoder: jhu-clsp/mmBERT-base .