Vikhrmodels / it-5.4-fp16-orpo-v2

Инструктивный вихрь 5.4

Базовый Вихрь 5той версии (мистраль) обученный на переведенных инструкциях и ответах GPT-4 и улучшенный с помощью ORPO на нашем внутреннем датасете.

Модель имеет довольно высокое разннобразие ответов, поэтому рекомендуется использовать temperature в рендже [0.1, 0.4].

• GGUF

Использование через transformers

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = 'Vikhrmodels/it-5.4-fp16-orpo-v2'
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="sequential",
    attn_implementation="sdpa",
    torch_dtype=torch.bfloat16
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

test_input = tokenizer.apply_chat_template([
    {'role': 'user', 'content': 'Привет, объясни что такое черные дыры'}
], add_generation_prompt=True, tokenize=True, return_tensors='pt')
test_input = test_input.to(model.device)

answer = model.generate(
    test_input,
    do_sample=True,
    use_cache=True,
    max_new_tokens=256, 
    temperature=0.3,
)[:, test_input.shape[-1]:]
answer = tokenizer.batch_decode(answer, skip_special_tokens=True)[0]
print(answer)

Ответ модели:

Привет! Черные дыры - это удивительные объекты, которые существуют в космосе. Они образуются из остатков массивных звезд, которые взрываются в результате сверхновой. После взрыва остается ядро звезды, которое коллапсирует под действием собственной гравитации, образуя черную дыру.

Черная дыра - это область пространства, где гравитационное притяжение настолько сильное, что ничто, даже свет, не может вырваться из нее. Это происходит потому, что гравитационное поле черной дыры настолько сильное, что оно искривляет пространство-время настолько, что даже свет не может покинуть ее.

Черные дыры могут быть разных размеров, от маленьких, которые могут быть размером с планету, до огромных, которые могут быть размером с галактику. Они могут быть как неподвижными, так и движущимися, и могут взаимодействовать с другими объектами в космосе, такими как звезды и планеты.

Черные дыры - это удивительные объекты, которые продолжают изучать ученые, и они могут многое рассказать нам о Вселенной и ее происхождении.

Использование через vllm + openai client

Запуск сервера в терминале:
python -m vllm.entrypoints.openai.api_server --model Vikhrmodels/it-5.4-fp16-orpo-v2 --dtype half --api-key token-abc123 -tp 1

import openai

llm_model = "Vikhrmodels/it-5.4-fp16-orpo-v2"
llm_client = openai.OpenAI(
            base_url="http://localhost:8000/v1",
            api_key="token-abc123",
        )

def make_completion(history, client, model):
    completion = client.chat.completions.create(
                model=model,
                messages=history,
                temperature=0.3,
                max_tokens=2048,
                stop=["</s>", "<eos>", "<|eot_id|>", "<|im_end|>"]
    )
    output = completion.choices[0].message.content
    return output

answer = make_completion([
    {'role': 'user', 'content': 'Привет, объясни что такое черные дыры'}
], llm_client, llm_model)
print(answer)

Метрики на ru_arena_general