r1char9 / ner-rubert-tiny-news

📰 Ner-rubert-tiny-RuNews

Модель для распознавания именованных сущностей (NER) в русскоязычных новостных текстах .

🔍 Основана на RuBERT-tiny2 и дообучена на новостном корпусе Collection3 , с фокусом на тексты, содержащие упоминания Сбербанка , Яндекса , а также других медиа и государственных структур.

💡 Что умеет модель

Распознаёт следующие типы сущностей:

📊 Метрики на тестовом наборе

🛠️ Пример использования

from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

label2id = {
    'O': 0,
    'B-GEOPOLIT': 1, 'I-GEOPOLIT': 2,
    'B-MEDIA': 3,    'I-MEDIA': 4,
    'B-LOC': 5,      'I-LOC': 6,
    'B-ORG': 7,      'I-ORG': 8,
    'B-PER': 9,      'I-PER': 10
}
id2label = {v: k for k, v in label2id.items()}

model_id = "r1char9/ner-rubert-tiny-RuNews"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForTokenClassification.from_pretrained(
    model_id,
    num_labels=len(label2id),
    id2label=id2label,
    label2id=label2id
)

ner_pipeline = pipeline(
    "ner",
    model=model,
    tokenizer=tokenizer,
    aggregation_strategy="simple"
)

text = (
    "Генеральный директор Сбербанка Герман Греф на конференции в Москве заявил, "
    "что сотрудничество с Яндексом в области искусственного интеллекта выходит на новый уровень. "
    "Он также отметил, что правительство Российской Федерации поддерживает развитие цифровой экономики, "
    "особенно в рамках Евразийского экономического союза."
)

results = ner_pipeline(text)

for entity in results:
    print(entity)

# {'entity_group': 'ORG', 'score': 0.951569, 'word': 'Сбербанка', 'start': 21, 'end': 30}
# {'entity_group': 'PER', 'score': 0.9922959, 'word': 'Герман Греф', 'start': 31, 'end': 42}
# {'entity_group': 'LOC', 'score': 0.60198957, 'word': 'Москве', 'start': 60, 'end': 66}
# {'entity_group': 'ORG', 'score': 0.6973838, 'word': 'Яндексом', 'start': 96, 'end': 104}
# {'entity_group': 'GEOPOLIT', 'score': 0.9631994, 'word': 'Российской Федерации', 'start': 203, 'end': 223}
# {'entity_group': 'ORG', 'score': 0.85091865, 'word': 'Евразийского экономического союза.', 'start': 284, 'end': 318}