yosefw / roberta-amharic-embed-medium

RoBERTa Amharic Text Embedding Medium

This is a sentence-transformers model finetuned from yosefw/roberta-medium-am-embed on the json dataset. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: yosefw/roberta-medium-am-embed
• Maximum Sequence Length: 510 tokens
• Output Dimensionality: 512 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 510, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 512, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yosefw/roberta-amharic-embed-medium")
# Run inference
sentences = [
    ' የቻይና የንግድ ሳምንት እየተካሄደ ነው ',
    '\xa0የቻይናው ኩባንያ (MIE events DMCC) እና አገር በቀሉ ፕራና ኢቨንትስ በጋራ ትብብር ያዘጋጁት ሁለተኛው የቻይና የንግድ ሳምንት፣ ከትናንት በስቲያ በሚሊኒየም አዳራሽ የተከፈተ ሲሆን የንግድ ሳምንቱ በዛሬው ዕለት ይጠናቀቃል። በዘንድሮው የንግድ ትርዒቴ ላይ የኮንስትራክሽን ግብአቶችና ማሽነሪዎች፣ የኤሌክትሪክ ቁሳቁስና ኤሌክትሮኒክሶች፣ የመብራትና የኢነርጂ መሳሪያዎች፣ የግብርና ማሽነሪዎች፣ ለማዕድን ሥራ የሚያገለግሉ መሳሪያዎች፣ የምግብ ማቀነባበሪያ ማሽኖች፣ የሆቴል እንጨት ሥራዎች፣ ለዕለት ተዕለት ፍላጎት የሚውሉ ዕቃዎች፣ የእንስሳት መኖ ቴክኖሎጂና የጤና መጠበቂያዎችን ያካተተ መሆኑን አዘጋጆቹ ገልፀዋል፡፡ የኤምአይኢ ኢቬንትስ ማኔጂንግ ዳይሬክተር ሚ/ር ዴቪድ ዋንግ፤ “የቻይና የተለያዩ ምርቶችን ለማስመጣት፣ እንደዚሁም ልዩ ልዩ አገልግሎቶችን ለማግኘት፣ የኢትዮጵያ አምራቾችና ነጋዴዎች ከቻይና ኩባንያዎች ጋር ጠንካራ የንግድ ግንኙነት እንዲኖራቸው ምቹ ሁኔታ እንዲፈጠር ማድረግ በመቻላችን የላቀ ደስታ ይሰማናል” ብለዋል፡፡ ከቻይና ጋር በጋራ በመስራቱ በኩል ከዚህ ቀደም ምንም ዓይነት እድሉ የሌላቸው፤ እንደዚሁም ሥራውን ከየት እንደሚጀምሩ ምንም ዓይነት ፍንጩ ለሌላቸው የኤግዚቢሽኑ ጎብኚዎች በምን መልኩ ከቻይና ጋር የንግድ ልውውጥ ማድረግ እንደሚችሉ መረጃ የሚሰጥ ሴሚናር በሦስቱ ቀናት ኤግዚቢሽን እንደሚካሄድ ታውቋል። ኤም እይ ኢ ዓለም አቀፉ የሁነቶች (Events) ዳይሬክተር ሚ/ስ ሚሸል ሜይሪክ በሰጡት ማብራሪያ የሴሚናሮቹ ዋነኛ ዓላማ “የቻይና ምርቶች ዝቅተኛ የጥራት ደረጃ አላቸው” የሚለውን የተሳሳተ አመለካከት ለመለወጥ መሆኑን ጠቁመው፤ “እንደዚህ ዓይነቱ አመለካከት እንደ አጋጣሚ ሆኖ በኢትዮጵያ ብቻ ሳይሆን በበርካታ ሃገራት ያለ በመሆኑ መሰል ሴሚናርም የኢትዮጵያ ኩባንያዎች በሚከፍሉት የተሻለ የክፍያ መጠን የተሻለ ጥራት ያለው ምርትን ከቻይና የሚያገኙ መሆኑን ግንዛቤ ለማስጨበጥ ይጠቅማል” ብለዋል፡፡ የቻይና የንግድ ሳምንት ማንም ሰው በነፃ ከኢንተርኔት ላይ አውርዶ ሊጠቀምበት የሚችል የራሱ የሆነ ኢንተርኔት መተግበሪያ ወይም አፕልኬሽን ያለው ሲሆን ጎብኚዎች ስለ ኤግዚቢሽኑ ተሳታፊዎች ወቅታዊ መረጃን እንዲያገኙ እንደሚደረግና ከተሳታፊዎች ጋር በቀጥታ ኦንላይን የሃሳብ ልውውጥ ማድረግ፣ በሴሚናሩ ንግግር አድራጊዎች ዙሪያ መረጃ ማግኘት፣ ብሎም በቻይና የንግድ ሳምንት 80 ሺ ተሳታፊ ከሚደርሱ በቻይና የንግድ ሳምንት ተሳታፊ ኩባንያዎች ጋር የሚገናኙበት እድልም ይፈጠርላቸዋል ሲሉ አዘጋጆቹ አመልክተዋል፡፡\xa0 \xa0',
    'አዲስ አበባ፡- ኢትዮጵያ በጸጥታው ምክር ቤት ተለዋጭ አባል በመሆን ባገለገለችበት ወቅት የወሰደቻቸውና ያንጸባረቀቻቸው አቋሞች ዲፕሎማሲያዊ ከበሬታ እንዳስገኙላት በተባበሩት መንግሥታት ድርጅት የኢትዮጵያ ቋሚ መልዕክተኛ የሆኑት አምባሳደር ታዬ እጽቀስላሴ ገለፁ፡፡አምባሳደር ታዬ እጽቀስላሴ ትናንት በውጭ ጉዳይ ሚኒስቴር ጽህፈት ቤት በሰጡት በመግለጫ እንዳሉት፤ ኢትዮጵያ እ.አ.አ. ከ 2017 እስከ 2018 የተባበሩት መንግሥታት ድርጅት የጸጥታው ምክር ቤት ተለዋጭ አባል በመሆን ባገለገለችበት ወቅት በርካታ ተግባራትን አከናውናለች፡፡ በጸጥታው ምክር ቤት ቆይታዋ ከሰላም ማስከበር ጋር በተያያዘ ያከናወነቻቸው ተግባራት እውቅና እንዲያገኙ ማድረግ የቻለች ሲሆን፤ ባለፉት ሁለት ዓመታት በአብዬ የሚገኘው የተባበሩት መንግሥታት የሰላም አስከባሪ ኃይል ቆይታው እንዲራዘምና ተልዕኮ ስኬታማ እንዲሆን ከሌሎች አገሮች ጋር በመተባበር ውሳኔ እንዲተላለፍ አድርጋለች፡፡በሶማሊያ ማዕከላዊው መንግሥት መጠናከር በሚችልበት ሁኔታ ዙሪያ ድጋፍ በማሰማት እንዲሁም አሚሶም የሚባለው የሰላም አስከባሪ ኃይል አስፈላጊውን ድጋፍ ከተባበሩት መንግሥታት እና ከጸጥታው ምክር ቤት እንዲያገኝ በማድረግ ደረጃ ሰፊ አስተዋጽኦ አበርክታለች፡፡እንደ አምባሳደሩ ገለጻ፤ ኢትዮጵያ በቡሩንዲ በተለይም ከአሩሻ ስምምነት ጋር ተያይዞ ሰላም እንዲኖር፣ እንዲሁም በኮንጎ ዲሞክራቲክ ሪፐብሊክ ሰላም እንዲሰፍን ማስተጋባት ብቻ ሳይሆን\xa0 የውሳኔ ረቂቅ ሀሳብ በማቅረብ ደረጃ\xa0 ተሳትፋለች፡፡ ከመካከለኛው ምስራቅ ሀገራት የሶሪያ ቀውስን፣ የኬሚካል ጦር መሳሪያዎችንና በሀገር ውስጥ ያለውን የእርስ በርስ ጦርነት በተመለከተ በጸጥታው ምክር ቤት የበኩሏን ተሳትፎ አድርጋለች፡፡ በተለይ የመን ውስጥ ያለውን ሰፊ የሰባዊ ቀውስ ዓለም አቀፉ ማህበረሰብ እንዲታደግ በዋነኛነት አጀንዳውን በማራመድ ሰፊ አስተዋጽኦ ማድረግ ችላለች፡፡እንደ አምባሳደር ታዬ ማብራሪያ፤ በጸጥታው ምክር ቤት ከቅርብ ጊዜ ወዲህ በዓለም አቀፍ ጸጥታ ጉዳዮች ላይ የራሳቸው የሆነ አስተዋጽኦ ሊኖራቸው ይችላል ተብለው በሚገመቱ በአየር ንብረት ለውጥ፣ በሰዎች ፍልሰትና መሰል ጉዳዮች ላይ የርዕሰ ጉዳይ ክርክር በሚደረግበት ጊዜ ኢትዮጵያ በጉዳዮቹ ላይ ሰፊ አስተዋጽኦ አድርጋለች፡፡ በተጨማሪም ከእስራኤል እና ፍልስጤም እንዲሁም ከሰሜን ኮሪያ የኒኩሌር ሙከራዎች ጋር በተያያዙ ጉዳዮች ወጥነት ያላቸው የጠነከሩ\xa0 አቋሞችን በመውሰድ ድምፅዋን አሰምታለች፡፡ኢትዮጵያ ከሁለት ዓመት በፊት ለጸጥታው ምክር ቤት ተለዋጭ አባልነት ስትመረጥ ከ 190 ሀገራት የ185ቱን ይሁንታ አግኝታ ነበር፡፡አዲስ ዘመን ታህሳስ 25/2011በየትናየት ፈሩ',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Datasets: dim_512 and dim_256
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

json

• Dataset: json
• Size: 40,237 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 14.68 tokens max: 43 tokens	min: 43 tokens mean: 288.85 tokens max: 510 tokens

• Samples:

  anchor	positive
  ተመድ - የጦርና የስብዓዊ ወንጀሎችን የፈፀሙ የደቡብ ሱዳንን ባለሥልጣናት ማወቁን ገለፀ	የተባበሩት መንግሥታት ድርጅት መርማሪዎች ከ40 በላይ የሚሆኑ የጦርና የሰብዓዊ ወንጀሎችን በመፈፀም ኃላፊነት እንዳለባቸው የሚታመኑ ከ40 በላይ የደቡብ ሱዳን ባለሥልጣናትና ወታደራዊ መኮንኖችን ማንነት አውቀናል ብለዋል።.የተጠቀሱት ወንጀሎች የተፈፀሙት በ10 ሺሕዎች በተገደሉበትና ከ4 ሚሊዮን በላይ ሌሎች በተፈናቀሉበት ሀገሪቱ ውስጥ እየተካሄደ ባለው የርስ በርስ ጦርነት ወቅት ነው። ዛሬ በደቡብ ሱዳን የተባበሩት መንግሥታት የሰብዓዊ መብቶች ኮሚሽን ይፋ የተደረገው ሪፖርት፣ በሲቪሎች ላይ የተፈፀሙ አሰቃቂ እና አረመኔዊ ድርጊቶችን ይዘረዝራል። የአንዳንዶቹ የጥቃቱ ሰለባዎች ዓይን ፈሷል፣ እንደ ከብት ታርደዋል፣ ተኮላሽተዋል ወይም ተሰልበዋል፡፡ ሌሎች ደግሞ በኃይልና በብዛት ወሲብ የተፈፀምባቸው ሲሆን ድርጊቱን የቤተሰብ አባላት እንዲመለከቱ መድረጋቸውንም ሪፖርቱ ጨምሮ አጋልጧል።ሪፖርቱ በተጨማሪም የመርማሪው ኮሚሽን አባል አድንሪው ክላፕሃም በሰብዓዊ ወንጀሎች ሊከሰሱ በሚገባቸው - በአብዛኛው የመንግሥት ኃይሎች በግልፅ የተፈጸሙ ዘር ተኮር ጥቃቶች ሲሉ የገለጿቸው ድርጊቶችንም ዘርዝሯል።የተባበሩት መንግሥታት ድርጅት መርማሪዎች፣ ይህን የዛሬውን ሪፖርት ያወጡት፣ 230 ዕማኞች የሰጧቸውን መግለጫዎችና ከ60 ሺሕ በላይ ሰነዶችን መሠረት በማድረግ መሆኑን ተናግረዋል።ደቡብ ሱዳን ውስጥ እአአ በ2013 ዓ.ም የርስ በርስ ጦርነቱ የፈነዳው በአብዛኛው የፕሬዚዳንት ሣልቫ ኪር ደጋፊ በሆኑት የዲንቃ ብሄረሰብ አባላትና በቀድሞ ምክትላቸው በሪክ ማቻር ሽምቅ ተዋጊ ኑዌሮች መካከል ግጭት በመፈጠሩ ምክንያት መሆኑ ይታወቃል።በሪፖርቱ መሠረት በሚሥጥር የተያዘው የ41 ተጠርጣሪዎች ስም ዝርዝር - በተባበሩት መንግሥታት ለሰብዓዊ መብቶች ከፍተኛ ኮሚሽነር ለዛይድ ራዳ አልሁሴን ተልኳል።ከሚጠረጠ...
  በአረቡ አገራት ቀውስ ምክንያት ዶሃ ዲፕሎማሲያዊ ስጋት ላይ እንደምትገኝ ተገለጸ	የአረብ አገራት ከሳዑዲ አረቢያ ጋር ያላቸውን ግንኙነት ማቋረጣቸውን ተከትሎ የዶሃ ዲፕሎማሲ ስጋት ላይ ይገኛል፡፡ከዚህ ቀደም ከኳታር ጋር ጥሩ የሚባል የሁለትዮሽ ግንኙነት ያላቸው አገራት ስማቸው ኳታር ከተከሰሰችበት የሽብር ጉዳይ ጋር እንዳይነሳ የሰጉ ይመስል ዝምታን መርጠዋል፡፡ኳታር ደግሞ ክሷን በማጣጣል ከባህረ ሰላጤው አገራት ጋር ያላት ግንኙነት እንዳይሻክር ፍላጎት ያላት መሆኗን ደጋግማ አስታውቃ እንደነበር ይታወሳል፡፡ሆኖም ወደሚፈለገው የመፍሔ አቅጣጫ ያልመጣው እና መቋጫ ያላገኘው የአረቡ አገራት ቀውስ አሁን ወደ መካከለኛው ምስራቅ የተሸጋገር ይመስላል፡፡ቻይና ከባህረ ሰላጤው አገራት ጋር ያላትን ግንኙነት ለማጠናከር ረቡዕ እለት በአህመድ አልጃብር  የሚመራውን የተባበሩት አረብ ኤሚሬትስ ልዑክን ቤጂንግ ተቀብላለች፡፡ ከአንድ ቀን በኋላም  የኳታሩ ውጭ ጉዳይ ሼክ ሞሐመድ ቢን አብዱራህማን አል ታኒ ቻይና ገብተዋል፡፡እንደ ሺኗ ቻይና አገራቱን የመዳኘት ሚናዋን ለመወጣት የምታደርገው ጥረት ነው ተብሏል፡፡ የውጭ ጉዳይ ሚኒስትሩ ዋንግ ዪ በአረቡ አገራት እና በመካከለኛው ምስራቅ ለአመታት የዘለቀው ግንኙነት የሚጠናከርበት ጊዜ አሁን ነው፡፡ ቻይና ደግሞ በዚህ ግንኙነት መካከል የአገራቱን ቅራኔ ለመፍታት ትጥራለች ነው የተባለው፡፡ይህ የጋራ ጥቅም ላይ የተመሰረተ የዲፕሎማሲ ተግባር ነው እየፈፀምን ያለነው ብለዋል የውጭ ጉዳይ ሚኒስትሩ፡፡ የኳታሩ አቻቸው በበኩላቸው የቻይናን ጥረት አድንቀዋል፡፡ ቻይና አለማቀፍ ህጎች እንዲከበሩ እና በድርድሩ የኳታር ድምፅ እንዲሰማ መንገድ እንደምትከፍት ተስፋ እናደርጋለን ብለዋል፡፡በሌላ በኩል ከቻይና ጋር የመከሩት የሳዑዲው ሱልጣን አህመድ አልጃብር ቤጂንግ በባህረ ሰላጤው አገራት መካከል ታሪካዊ አሻራዋን ለማሳረፍ እየጣረች ነው ብለዋ...
  ሞት የናፈቃቸው የ99 ዓመት አዛውንት!	ለአገራቸው ነፃነት ከጣልያን ጋር የተዋጉ አርበኛ ታሪክሁለት ልጆቻቸው በቀይ ሽብር ተገደሉ፡፡ ልጆቼን ልቅበር ሲሉ እስር ቤት ተወረወሩ፡፡ ሚስታቸው በሃዘን ብዛት ህይወታቸው አለፈ፡፡ አንድ የቀረቻቸው ልጅ የት እንደገባች አያውቁም፡፡ ስድስት ዓመት ታስረው ሲወጡ ቤታቸው ፈርሷል! እንዴታ! አምስት አመት ሙሉ ተዋግቻለሁ፡፡እንዴት ነው የዘመቱት?አባቴ ቀኝአማች ብሩ ሀይለኛ አርበኛ ነበሩ፡፡ በጦርነቱ ጣሊያኖች አባቴን ሲገድሉብኝ እጅግ ተቆጣሁ፣ ደሜ ፈላ፡፡ በወቅቱ የ20 ዓመት ወጣት ነበርኩ፡፡ ማቄን ጨርቄን የምለው አልነበረኝም፡፡ ጫካ ገባሁና መዋጋት ጀመርኩኝ፡፡ ከየት አካባቢ ነው ወደ ጦርነቱ የሄዱት?የተወለድኩት ወሎ ውስጥ አማራ ሳይንት ነው፡፡ ጦርነቱን የተቀላቀልኩትም ከዚያ ሄጄ ነው፡፡ በላይ ዘለቀን ያውቁታል ይባላል፡፡ እውነት ነው?አሳምሬ አውቀዋለሁ እንጂ እንዴት አላውቀውም! አብራችሁ ዘምታችኋል እንዴ?አብረን አልዘመትንም፡፡ እኔ እራያ አዘቦ፣ መሆኒ፣ ሸዋ፣ መንዝ፣ መራ ቤቴ፣ አህያ ፈጅ ዶባ እየተዘዋወርኩ ራያው ከፈለ ከተባለ የጦር መሪ ጋር ነው የተዋጋሁት፡፡ ጐበዝ የጦር መሪ ነበር፡፡ በላይ ዘለቀ ግን አባይ በረሃ ላይ ነበር፡፡ ግን ተገናኝተን እናውቃለን፡፡ በደንብ ነው የማውቀው! ድል ካደረጋችሁ በኋላ ስለነበረው ሁኔታ ያጫውቱኝ-----ጃንሆይ “አገርህን ለመጠበቅ በጫካ ያለህ ወደ እኔ ተሰብሰብ” ብለው ሲጣሩ፣ ከነበርኩበት ተነስቼ ከጓደኞቼ ጋር መጣሁ፡፡ እርሳቸው ውጭ አገር ከርመው መምጣታቸው ነበር፡፡ እናም አርበኛው ሁሉ በጠቅላላ አዲስ አበባ ገባና ተሰበሰበ፡፡ ጃንሆይ ጃን ሜዳ መጡ፣ በሬው ሁሉ ታረደ፣ ተደገሰ፡፡ ድግሱ ሲያልቅ እዚሁ ለትንሽ ጊዜ ቆዩ ተባልን፡፡ ግን ማንም የሰማቸው የለም፣ ሁሉም በየሀገሩ ሲበታተን እኔም አማራ ሳይንት ገባሁ፡፡ በወቅቱ ጡ...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          512,
          256
      ],
      "matryoshka_weights": [
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy : epoch
• per_device_train_batch_size : 128
• per_device_eval_batch_size : 128
• gradient_accumulation_steps : 2
• learning_rate : 8e-05
• num_train_epochs : 6
• lr_scheduler_type : cosine
• warmup_ratio : 0.1
• seed : 16
• fp16 : True
• load_best_model_at_end : True
• optim : adamw_torch_fused
• batch_sampler : no_duplicates

All Hyperparameters

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}