ThanhLe0125 / e5-math-ebd-01

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base . It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ThanhLe0125/e5-math-ebd-01")
# Run inference
sentences = [
    'query: Nếu u1 = 2 và q = 3, tìm u4.',
    'passage: # Cấp số nhân\n\n## Định nghĩa\n**Cấp số nhân** là dãy số $(u_n)$ mà kể từ số hạng thứ hai, mỗi số hạng đều bằng số hạng đứng trước nó nhân với một số không đổi $q \\neq 0$.\n\n$$u_{n+1} = u_n \\times q \\quad (\\forall n \\geq 1)$$\n\nSố $q$ được gọi là **công bội** của cấp số nhân.\n\n## Số hạng tổng quát\n$$u_n = u_1 \\times q^{n-1}$$\n\nHoặc với số hạng bất kỳ: $u_n = u_k \\times q^{n-k}$\n\n## Tính chất cơ bản\n1. **Tính chất đặc trưng:** $\\frac{u_{n+1}}{u_n} = q$ (hằng số, $u_n \\neq 0$)\n\n2. **Số hạng ở giữa:** $u_k^2 = u_{k-p} \\times u_{k+p}$ với $p > 0$\n\n3. **Ba số hạng liên tiếp:** $a, b, c$ tạo thành CSN ⇔ $b^2 = ac$ (với $a, c$ cùng dấu)\n\n## Ví dụ\n**Ví dụ 1:** Dãy số $3, 6, 12, 24, 48, ...$\n- Số hạng đầu: $u_1 = 3$\n- Công bội: $q = \\frac{6}{3} = 2$\n- Số hạng tổng quát: $u_n = 3 \\times 2^{n-1}$\n\n**Ví dụ 2:** Cho CSN có $u_2 = 6$ và $u_5 = 162$. Tìm $u_1$ và $q$.\n\n**Lời giải:**\n$u_5 = u_2 \\times q^3 \\Rightarrow 162 = 6 \\times q^3 \\Rightarrow q^3 = 27 \\Rightarrow q = 3$\n\n$u_1 = \\frac{u_2}{q} = \\frac{6}{3} = 2$\n\n## Ứng dụng thực tế\n- **Lãi suất kép:** Tiền lãi được cộng vào vốn gốc\n- **Tăng trưởng dân số:** Tăng theo tỷ lệ phần trăm hàng năm\n- **Phân rã phong xạ:** Giảm theo tỷ lệ cố định\n- **Lan truyền virus:** Số ca nhiễm tăng theo cấp số nhân',
    'passage: # Tổ hợp\n\n## Định nghĩa\n**Tổ hợp chập $k$ của $n$ phần tử** là cách chọn $k$ phần tử từ $n$ phần tử mà không quan tâm đến thứ tự.\n\n**Ký hiệu:** $C_n^k$ hoặc $\\binom{n}{k}$\n\n**Điều kiện:** $0 \\leq k \\leq n$\n\n## Công thức\n$$C_n^k = \\frac{A_n^k}{k!} = \\frac{n!}{k!(n-k)!}$$\n\n**Công thức Pascal:** $C_n^k = C_{n-1}^{k-1} + C_{n-1}^k$\n\n## Tính chất cơ bản\n1. $C_n^0 = C_n^n = 1$\n2. $C_n^k = C_n^{n-k}$\n3. $C_n^1 = n$\n4. $C_n^2 = \\frac{n(n-1)}{2}$\n\n## Ví dụ tính toán\n**Ví dụ 1:** Từ 10 học sinh, chọn 3 học sinh tham gia đội tuyển. Có bao nhiêu cách?\n\n**Lời giải:** $C_{10}^3 = \\frac{10!}{3! \\times 7!} = \\frac{10 \\times 9 \\times 8}{3 \\times 2 \\times 1} = 120$ cách.\n\n**Ví dụ 2:** Trong một lớp có 15 nam và 10 nữ. Chọn 5 người sao cho có đúng 3 nam và 2 nữ.\n\n**Lời giải:** \n- Chọn 3 nam từ 15 nam: $C_{15}^3 = 455$ cách\n- Chọn 2 nữ từ 10 nữ: $C_{10}^2 = 45$ cách\n- Tổng cộng: $455 \\times 45 = 20,475$ cách\n\n## Nhị thức Newton\n$$(a + b)^n = \\sum_{k=0}^{n} C_n^k a^{n-k} b^k$$\n\n**Ví dụ:** $(x + 2)^4 = C_4^0 x^4 + C_4^1 x^3 \\cdot 2 + C_4^2 x^2 \\cdot 2^2 + C_4^3 x \\cdot 2^3 + C_4^4 \\cdot 2^4$\n$= x^4 + 8x^3 + 24x^2 + 32x + 16$\n\n## Phân biệt chỉnh hợp và tổ hợp\n- **Chỉnh hợp:** Quan tâm thứ tự (Ví dụ: Chọn và xếp hạng)\n- **Tổ hợp:** Không quan tâm thứ tự (Ví dụ: Chọn thành viên nhóm)\n\n**Mối quan hệ:** $A_n^k = k! \\times C_n^k$',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

• Dataset: ranking_evaluator
• Evaluated with BinaryClassificationEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,924 training samples
• Columns: sentence_0 , sentence_1 , and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 10 tokens mean: 24.51 tokens max: 53 tokens	min: 228 tokens mean: 254.59 tokens max: 256 tokens	min: 228 tokens mean: 254.66 tokens max: 256 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  query: Nếu biết tổng của 5 số hạng đầu và tổng của 10 số hạng đầu của một cấp số cộng, làm sao để tìm công sai?	passage: # Tổng n số hạng đầu của cấp số cộng ## Công thức tổng Cho cấp số cộng $(u_n)$ với số hạng đầu $u_1$ và công sai $d$. Công thức 1: $S_n = \frac{n}{2}[2u_1 + (n-1)d]$ Công thức 2: $S_n = \frac{n(u_1 + u_n)}{2}$ Công thức 3: $S_n = nu_1 + \frac{n(n-1)}{2}d$ ## Tính chất của tổng 1. $S_n - S_{n-1} = u_n$ (với $n \geq 2$) 2. Nếu $S_n = an^2 + bn$ thì dãy là CSC với: - $u_1 = a + b$ - $d = 2a$ ## Ví dụ tính toán Ví dụ 1: Tính tổng 15 số hạng đầu của CSC: $3, 7, 11, 15, ...$ Lời giải: - $u_1 = 3$, $d = 4$ - $S_{15} = \frac{15}{2}[2 \times 3 + (15-1) \times 4] = \frac{15}{2}[6 + 56] = 465$ Ví dụ 2: Tìm $n$ biết tổng $n$ số hạng đầu của CSC có $u_1 = 2$, $d = 3$ là $S_n = 77$. Lời giải: $77 = \frac{n}{2}[2 \times 2 + (n-1) \times 3] = \frac{n(4 + 3n - 3)}{2} = \frac{n(3n + 1)}{2}$ $154 = n(3n + 1) = 3n^2 + n$ $3n^2 + n - 154 = 0$ Giải được $n = 7$ (loại nghiệm âm) ## Bài toán thực tế Một công ty kế hoạch tăng lương cho nhân viên theo CSC...	passage: # Bài toán tổ hợp - chỉnh hợp thực tế ## Dạng bài thường gặp 1. Sắp xếp người ngồi 2. Chọn đội tuyển, ủy ban 3. Phân chia nhóm 4. Xếp lịch, phân công 5. Mật khẩu, biển số xe ## Ví dụ tổng hợp Ví dụ 1: Một bàn dài có 10 ghế. Có 6 nam và 4 nữ. Hỏi có bao nhiêu cách xếp sao cho: a) Các nữ ngồi cạnh nhau b) Nam và nữ ngồi xen kẽ Lời giải: a) Coi 4 nữ như 1 khối, ta có 7 đối tượng (6 nam + 1 khối nữ) - Xếp 7 đối tượng: $7!$ cách - Xếp 4 nữ trong khối: $4!$ cách - Tổng: $7! \times 4! = 120,960$ cách b) Vì có 6 nam và 4 nữ, xếp theo kiểu: N-Nam-N-Nam-... - Xếp 6 nam: $6!$ cách - Chọn 4 vị trí từ 7 vị trí giữa các nam: $C_7^4$ cách - Xếp 4 nữ vào 4 vị trí đã chọn: $4!$ cách - Tổng: $6! \times C_7^4 \times 4! = 1,209,600$ cách Ví dụ 2: Chia 12 học sinh thành 3 nhóm có 4 người mỗi nhóm. Lời giải: - Chọn 4 người cho nhóm 1: $C_{12}^4$ - Chọn 4 người cho nhóm 2 từ 8 người còn lại: $C_8^4$ - 4 người còn lại tự động vào nhóm 3...
  query: Công thức tính tổ hợp chập k của n phần tử là gì?	passage: # Tổ hợp ## Định nghĩa Tổ hợp chập $k$ của $n$ phần tử là cách chọn $k$ phần tử từ $n$ phần tử mà không quan tâm đến thứ tự. Ký hiệu: $C_n^k$ hoặc $\binom{n}{k}$ Điều kiện: $0 \leq k \leq n$ ## Công thức $$C_n^k = \frac{A_n^k}{k!} = \frac{n!}{k!(n-k)!}$$ Công thức Pascal: $C_n^k = C_{n-1}^{k-1} + C_{n-1}^k$ ## Tính chất cơ bản 1. $C_n^0 = C_n^n = 1$ 2. $C_n^k = C_n^{n-k}$ 3. $C_n^1 = n$ 4. $C_n^2 = \frac{n(n-1)}{2}$ ## Ví dụ tính toán Ví dụ 1: Từ 10 học sinh, chọn 3 học sinh tham gia đội tuyển. Có bao nhiêu cách? Lời giải: $C_{10}^3 = \frac{10!}{3! \times 7!} = \frac{10 \times 9 \times 8}{3 \times 2 \times 1} = 120$ cách. Ví dụ 2: Trong một lớp có 15 nam và 10 nữ. Chọn 5 người sao cho có đúng 3 nam và 2 nữ. Lời giải: - Chọn 3 nam từ 15 nam: $C_{15}^3 = 455$ cách - Chọn 2 nữ từ 10 nữ: $C_{10}^2 = 45$ cách - Tổng cộng: $455 \times 45 = 20,475$ cách ## Nhị thức Newton $$(a + b)^n = \sum_{k=0}^{n} C_n^k a^{n-k} b^k$$ Ví dụ: $(x + 2)...	passage: # Công thức tọa độ cơ bản trong không gian ## Độ dài vectơ và khoảng cách Độ dài vectơ: $
  query: Ngoài tối ưu lợi nhuận, còn những dạng bài tối ưu kinh tế nào khác?	passage: # Bài toán tối ưu kinh tế ## Các khái niệm cơ bản - Doanh thu: $R(x) = p \cdot x$ (giá × số lượng) - Chi phí: $C(x) = $ chi phí cố định + chi phí biến đổi - Lợi nhuận: $P(x) = R(x) - C(x)$ ## Ví dụ: Tối ưu lợi nhuận Một công ty sản xuất $x$ sản phẩm/ngày với: - Chi phí: $C(x) = x^2 + 40x + 400$ (nghìn đồng) - Giá bán: 200 nghìn đồng/sản phẩm Tìm mức sản xuất để lợi nhuận tối đa. Lời giải: Doanh thu: $R(x) = 200x$ Lợi nhuận: $P(x) = 200x - (x^2 + 40x + 400) = -x^2 + 160x - 400$ $P'(x) = -2x + 160 = 0 \Rightarrow x = 80$ $P''(x) = -2 < 0$ nên $x = 80$ cho cực đại. Lợi nhuận tối đa: $P(80) = -6400 + 12800 - 400 = 6000$ nghìn đồng. Kết luận: Sản xuất 80 sản phẩm/ngày để đạt lợi nhuận tối đa 6 triệu đồng. ## Dạng bài khác - Tối ưu giá bán khi có mối quan hệ giữa giá và lượng tiêu thụ - Tối ưu chi phí vận chuyển, sản xuất - Tối ưu thời gian với chi phí nhân công	passage: # Tính toán tứ phân vị - Ví dụ thực hành ## Ví dụ với dữ liệu rời rạc Điểm thi của 10 học sinh: 5, 6, 7, 7, 8, 8, 8, 9, 9, 10 Tìm vị trí: - $Q_1$: vị trí $\frac{10}{4} = 2.5$ → trung bình của số thứ 2 và 3 - $Q_2$: vị trí $\frac{10}{2} = 5$ → trung bình của số thứ 5 và 6 - $Q_3$: vị trí $\frac{3 \times 10}{4} = 7.5$ → trung bình của số thứ 7 và 8 Kết quả: - $Q_1 = \frac{6 + 7}{2} = 6.5$ - $Q_2 = \frac{8 + 8}{2} = 8$ - $Q_3 = \frac{8 + 9}{2} = 8.5$ - $IQR = 8.5 - 6.5 = 2$ ## Ví dụ với dữ liệu ghép nhóm Cân nặng 100 học sinh:

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy : steps
• per_device_train_batch_size : 4
• per_device_eval_batch_size : 4
• num_train_epochs : 20
• multi_dataset_batch_sampler : round_robin

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.5.2
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}