mykor / Octen-Embedding-0.6B-GGUF

Octen-Embedding-0.6B-GGUF

import numpy as np
import torch
from llama_cpp import Llama
from sentence_transformers import SentenceTransformer
from sentence_transformers.util import cos_sim


model = SentenceTransformer(
    "Octen/Octen-Embedding-0.6B",
    model_kwargs={"dtype": torch.bfloat16},
)
llama = Llama.from_pretrained(
    repo_id="mykor/Octen-Embedding-0.6B-GGUF",
    filename="Octen-Embedding-0.6B-BF16.gguf",
    verbose=False,
    embedding=True,
    n_ctx=0,
)

text = """처음은 미약한 물결이겠지만
그렇게 너의 꿈에 닿을 수 있겠지
거대한 바다에 갇혀버린 너를 구할 방법을 알고 있어
절대로 멈추지 마, 빛나고 있으니

아, 신이 본다면, 아, 훔치고 말걸
믿지 않는 것들은 무시해
커다란 파동을 일으키는
그 힘을 너도 가지고 있어, 내게 보여줄래

파란을 일으켜 눈부신 널 보여줘
이 바다를 집어삼키자
파도의 색은 파랑이 아니야, 물들이자 서로의
색으로 빛나는 바다를 (바다를) 만들어 가보자

쉿, 조용한 이곳에 누군가 있어
하늘의 해도 탐내고 있어
눈치챘다면, 얼른 헤엄쳐
해를 삼킬 큰 물결을 만들자

탐나는 빛을 가진 너마저
널 의심하게 될 테지만 믿어
가능성 그거면 돼
유일한 색을 가지고 있으니

아, 신이 알아도, 아, 가질 수 없어
믿지 않는 것 들은 무시해
커다란 파동을 일으키는
그 힘을 너도 가지고 있어, 내게 보여줄래

파란을 일으켜 눈부신 널 보여줘
이 바다를 집어삼키자
파도의 색은 파랑이 아니야, 물들이자 서로의
색으로 빛나는 바다를 (바다를) 만들어 가보자

넌 정말로 어리석구나 내 품을 떠나
더 커다란 미래를 꿈꿀 수 있다고 믿니 누가, 그래?

파란을 일으켜 심연을 깨고 나와
이 바다를 집어삼키자
파도의 색은 파랑이 아니야, 물들이자 우리의
색으로 빛나는 바다를 (바다를) 보여주러 가자"""


embed1 = model.encode(text)
embed2 = np.array(llama.embed(text), dtype=np.float32)
print(cos_sim(embed1, embed2).item())

0.9998425245285034