adriansanz / SITGES_robertav1

SentenceTransformer based on PlanTL-GOB-ES/roberta-base-bne

This is a sentence-transformers model finetuned from PlanTL-GOB-ES/roberta-base-bne . It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: PlanTL-GOB-ES/roberta-base-bne
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("adriansanz/SITGES_robertav1")
# Run inference
sentences = [
    'Quin és el propòsit del Directori de la Vila?',
    'Consulteu les dades i els horaris de funcionament de la instal·lació al Directori de la Vila.',
    'Per consultar les dades i els horaris de funcionament de la instal·lació.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 512 training samples
• Columns: sentence_0 , sentence_1 , and sentence_2
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2
  type	string	string	string
  details	min: 12 tokens mean: 25.79 tokens max: 56 tokens	min: 11 tokens mean: 64.52 tokens max: 143 tokens	min: 4 tokens mean: 19.73 tokens max: 79 tokens

• Samples:

  sentence_0	sentence_1	sentence_2
  Quin és el requisit de duració mínima per a obtenir la bonificació de la taxa?	Es concedirà una bonificació del 50 per cent de la quota de la Taxa quan es duguin a terme obres a les vies públiques, que tinguin una duració igual o superior a 1 mes i afectin directament als locals en que es realitzin activitats econòmiques.	1 mes
  Quin és el document que cal aportar per a rebre els ajuts?	Aportació de documentació. Ajuts per la reactivació de petites empreses i persones autònomes donades d’alta al règim especial de treballadors autònoms (RETA) amb una antiguitat superior als cinc anys (COVID19)	La documentació.
  Quin és el benefici de la inscripció en el Padró Municipal d'Habitants?	La inscripció en el Padró municipal conté com a obligatories les dades personals de Nom i Cognoms, Sexe, Nacionalitat, Lloc i data de naixement, Número de document d'identidad (DNI, NIE, Passaport), i Certificat o títol escolar o académic.	Té una informació actualitzada i correcta.

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size : 16
• per_device_eval_batch_size : 16
• num_train_epochs : 10
• fp16 : True
• multi_dataset_batch_sampler : round_robin

All Hyperparameters

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.4
• PyTorch: 2.4.0+cu121
• Accelerate: 0.32.1
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification}, 
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}