QuantFactory / Cotype-Nano-GGUF

QuantFactory/Cotype-Nano-GGUF

This is quantized version of MTSAIR/Cotype-Nano created using llama.cpp

Original Model Card

Cotype-Nano🤖

MTSAIR/Cotype-Nano – это легковесная LLM, разработанная для выполнения задач с минимальными ресурсами. Она оптимизирована для быстрого и эффективного взаимодействия с пользователями, обеспечивая высокую производительность даже в условиях ограниченных ресурсов.

Cotype Nano is a lightweight LLM, designed to perform tasks with minimal resources. It is optimized for fast and efficient interaction with users, providing high performance even under resource-constrained conditions.

Inference with vLLM

python3 -m vllm.entrypoints.openai.api_server --model MTSAIR/Cotype-Nano --port 8000

Recommended generation parameters and system prompt

import openai
import pandas as pd
from tqdm import tqdm

openai.api_key = 'xxx'

endpoint = 'http://localhost:8000/v1'
model = 'MTSAIR/Cotype-Nano'
openai.api_base = endpoint

# Possible system prompt:
# {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},


response = openai.ChatCompletion.create(
    model=model,
    temperature=0.4, # 0.0 is also allowed
    frequency_penalty=0.0,
    max_tokens=2048,
    top_p=0.8, # 0.1 is also allowed
    messages=[
          {"role": "user", "content": "Как мне обучить модель meta-llama/Llama-3.2-1B с помощью библиотеки transformers?"}
        ]
    )

answer = response["choices"][0]["message"]["content"]
print(answer)

Inference with Huggingface

from transformers import pipeline

pipe = pipeline("text-generation", model="MTSAIR/Cotype-Nano", device="cuda")

messages = [
  {"role": "system", "content": "Ты — ИИ-помощник. Тебе дано задание: необходимо сгенерировать подробный и развернутый ответ."},
  {"role": "user", "content": "Расскажи мне про ИИ"},
]

res = pipe(messages, max_length=1024)
print(res[0]['generated_text'][-1]['content'])

Example request

Request: Напиши простой сервер на фастапи

Cotype-Nano response:

Фастапи (FastAPI) — это современный фреймворк для создания веб-сервисов на языке Python, который использует асинхронный синтаксис и поддерживает генераторы. Он подходит для создания сложных веб-приложений и часто используется в сочетании с базой данных.

Для создания простого сервера на фастапи, вам понадобится:

1. Установить фастапи и необходимые библиотеки.
2. Создать базовый класс App для настройки сервера.
3. Реализовать маршруты и обработчики для вашего веб-приложения.

Шаг 1: Установка фастапи и необходимых библиотек

Для начала установите фастапи и другие необходимые библиотеки, такие как uvicorn для запуска сервера:

pip install fastapi uvicorn

Шаг 2: Создание класса App

Создайте класс App , который будет настраивать сервер:

from fastapi import FastAPI

app = FastAPI()

Шаг 3: Реализация маршрутов

Добавьте маршруты и обработчики для вашего веб-приложения. Например, создадим простой endpoint для ответа на GET-запросы:

@app.get("/")
async def read_root():
    return {"message": "Hello, FastAPI!"}

Шаг 4: Запуск сервера

Используйте uvicorn для запуска сервера:

uvicorn main:app --reload

Здесь main — это имя файла с вашим кодом, а app — это экземпляр класса App , который вы создали ранее.

--reload указывает uvicorn перезагружать сервер при изменении кода.

Теперь, когда вы запустите сервер, он будет доступен по адресу http://127.0.0.1:8000 . Вы можете отправить GET-запрос на / и увидеть ответ:

{
    "message": "Hello, FastAPI!"
}

Это базовый пример того, как можно создать простой сервер на фастапи. Вы можете расширять и модифицировать его, добавляя новые маршруты, обработчики и функциональность в соответствии с вашими требованиями.

Training process

The model was trained in two stages. In the first stage, MLP layers were trained on mathematics and code. In the second stage, the entire model was trained on internal and open synthetic instructional datasets.

ru-llm-arena: 30.2 (local measurement)