cnmoro / LFM2-350M-PTBR

An attempt on finetuning LiquidAI/LFM2-350M for proficiency in Portuguese language.

I noticed some degradation in some areas, while improvements in others.

ollama run cnmoro/LFM2-350M-PTBR:q4_k_m

ollama run cnmoro/LFM2-350M-PTBR:q8_0

from transformers import AutoModelForCausalLM, AutoTokenizer

# Load model and tokenizer
model_id = "cnmoro/LFM2-350M-PTBR"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="auto",
    torch_dtype="bfloat16",
#    attn_implementation="flash_attention_2" <- uncomment on compatible GPU
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# Generate answer
prompt = "Fale um pouco sobre Inteligência Artificial"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": prompt}],
    add_generation_prompt=True,
    return_tensors="pt",
    tokenize=True,
).to(model.device)

output = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.3,
    min_p=0.15,
    repetition_penalty=1.05,
    max_new_tokens=512,
)

print(tokenizer.decode(output[0], skip_special_tokens=False))

# <|startoftext|><|im_start|>system
# Você é um assistente que sempre responde em português brasileiro.<|im_end|>
# <|im_start|>user
# Fale um pouco sobre Inteligência Artificial<|im_end|>
# <|im_start|>assistant
# A inteligência artificial, ou IA, refere-se ao desenvolvimento de sistemas computacionais capazes de realizar tarefas que
# normalmente exigiriam a inteligência humana, como aprendizagem, razão e tomada de decisões. A IA é um subconjunto da ciência
# da computação e dos estudos da mente, que se concentra na criação de software que simula processos cognitivos humanos, como
# percepção, compreensão e raciocínio.
# 
# Os diferentes tipos de IA incluem inteligência artificial, aprendizado de máquina, visão computacional, linguagem natural e
# robótica. Esses sistemas podem ser projetados para executar tarefas específicas ou aprender como melhorá-las com o tempo sem
# intervenção humana. Por exemplo, os algoritmos de IA usados ​​em carros autônomos são treinados em grandes quantidades de dados
# sobre estradas, condições climáticas e situações envolvendo outros veículos para aprender como navegar na rodovia com
# segurança. Da mesma forma, os chatbots usam a IA para responder perguntas ou fornecer informações de maneira natural em
# conversa humana.
# 
# Aplicações da Inteligência Artificial incluem processamento de linguagem natural, visão computacional e aprendizado de
# máquina, que são amplamente utilizados em várias indústrias, como saúde, finanças, manufatura e entretenimento. A IA tem o
# potencial de revolucionar a forma como trabalhamos, compreendemos o mundo e interagimos com dispositivos. No entanto, também
# levanta preocupações sobre questões éticas, como privacidade, transparência e responsabilidade por decisões tomadas por
# sistemas de IA.