humanizer
by jialinyyzz rewrites
AI-written drafts (emails, essays, reports, forum posts; English and Chinese)
so they read like a person wrote them; it is trained to keep every number,
unit, date, name and quotation. It is a fine-tune of Google's
Gemma 4 12B
. This repo packages its
text model as single
CMF
files for
cortiq
, a Rust inference engine with no Python and no ML framework: NVIDIA,
AMD and Intel GPUs through Vulkan/DX12, Apple silicon through Metal, and the CPU.
humanizer-12b-q8_2f.cmf
(11.97 GB) is the default: 31.7 tokens/s on an RTX
PRO 4000 and 6.6 on an M4 Mac mini (Metal).
humanizer-12b-q4tp-ffn.cmf
(7.89 GB) fits GPUs with 12 GB and decodes 41.6 tokens/s on the RTX PRO 4000,
at slightly lower quality (
Files
).
Use cortiq 0.8.16 or later; prebuilt binaries for Linux, macOS and Windows are
on the
releases page
. Pass the
draft as it is: the file builds the authors' prompt around it and starts from
their sampling settings. Keep
--max-tokens
high (the default is 256): a
rewrite runs about as long as its draft (932 tokens for a 957-token draft in
our tests).
Files
file
weights
size
top-1 vs bf16
KL
perplexity
peak GPU memory
recommended for
humanizer-12b-q8_2f.cmf
8-bit
11.97 GB
99.4 %
0.0008
2.1174
15.3 GB
default
: closest to the original; Apple silicon; GPUs with 16 GB or more
humanizer-12b-q4tp-ffn.cmf
4-bit FFN, 8-bit attention and embeddings
7.89 GB
95.5 %
0.020
2.1555
10.3 GB
31 % faster decode on the RTX PRO 4000; GPUs with 12 GB
Quality is measured against the authors' bf16 weights run in HF transformers,
on 2,051 tokens of the authors' own bf16 rewrites of six drafts (four English,
two Chinese): the share of positions where the file's top prediction matches
bf16's, the mean KL divergence from bf16, and perplexity (bf16: 2.1168). A
second set of 2,127 tokens gives 98.9 % (
q8_2f
) and 95.6 % (
q4tp-ffn
)
top-1. In a greedy fact check on three drafts,
q8_2f
kept every fact as
written and
q4tp-ffn
wrote one amount differently ("$186,000" as "$186k").
Peak GPU memory was read with
nvidia-smi during
cortiq bench
with a 1,000-token prompt on an RTX PRO 4000;
on Apple silicon and on the CPU both files ran on a 24 GB Mac mini.
Performance
cortiq bench --core --ignore-eos
, one stream, cortiq 0.8.16; RTX rows are medians of three runs:
hardware
backend
file
decode, tok/s
decode at 1k tokens
1k-token prompt, tok/s
time to first token
RTX PRO 4000 Blackwell (24 GB)
Vulkan
q4tp-ffn
41.6
42.8
430
2.3 s
RTX PRO 4000 Blackwell (24 GB)
Vulkan
q8_2f
31.7
32.0
393
2.6 s
Mac mini M4 (24 GB)
Metal
q8_2f
6.6
6.0
68
14.7 s
Mac mini M4 (24 GB)
Metal
q4tp-ffn
8.5
8.3
72
14.0 s
Mac mini M4 (24 GB)
CPU
q8_2f
4.7
Mac mini M4 (24 GB)
CPU
q4tp-ffn
4.6
Reading the prompt also uses the CPU; the RTX host had about 10 cores. Whole
rewrites through
cortiq serve
:
hardware
file
957-token draft: first token
its full rewrite
rewrite speed
RTX PRO 4000 Blackwell
q4tp-ffn
2.2 s
901 tokens in 28.9 s
31.2 tok/s
RTX PRO 4000 Blackwell
q8_2f
2.4 s
932 tokens in 36.4 s
25.6 tok/s
RTX rows use the authors' sampling (medians of three); Mac rows are greedy.
cortiq run
loads the weights onto the GPU at every start (first token after
about 4 s on the RTX PRO 4000), so for more than one draft keep
cortiq serve
running. On a 24 GB Mac the 4-bit file decodes faster (8.5 against 6.6 tok/s).
Usage
Prompt and sampling
humanizer is a text-completion model, not a chat model. Each file carries the
authors' prompt as its template:
cortiq run --prompt
and
/v1/chat/completions
take the draft and build the instruction, a blank line,
the draft with surrounding whitespace removed, and
### Rewritten:
, token for
token the authors' format. One draft per request; system messages and earlier
turns are ignored. Generation ends at the end-of-sequence token, so don't add
stop strings,
"###"
least of all.
The files also carry the authors' sampling: temperature 1.0, top-p 0.95, top-k
and min-p off, repetition penalty 1.0.
run
and
serve
start from it, flags
and request fields override it, and
cortiq info
shows it.
The authors note that on short, informal English drafts with technical jargon
the model now and then writes the whole rewrite in Chinese; their app checks
the language and samples again. Do the same: run it once more without a fixed
seed. The authors size the context at 8,192 tokens for instruction, draft and
rewrite together; split longer documents at paragraph breaks.
Always send
max_tokens
: the server default is 256, and
max_completion_tokens
is not read.
temperature
,
top_p
,
top_k
,
min_p
,
repetition_penalty
(or
repeat_penalty
) and
seed
in a request override the
file's sampling.
/v1/completions
also accepts the authors' full prompt as
plain text, as llama.cpp's
/completion
does; the model then gets the same
tokens as through the chat endpoint.
Other endpoints:
/v1/models
and a web dashboard on the same port.
--host 127.0.0.1
keeps the server local.
Hardware
Choosing a GPU (Vulkan).
cortiq gpu
lists the adapters;
CMF_GPU_ADAPTER=1
(index or name substring) picks one. If the list is empty
on Linux, install
libvulkan1 libglvnd0 libegl1 libgl1 libglx0
; on headless
machines set
XDG_RUNTIME_DIR=/tmp
.
CPU only.
CMF_GPU=0
keeps everything on the CPU.
Examples
q8_2f
through
cortiq serve
with the authors' sampling. Both drafts were
written for this card. Shown is the best of three samples by a strict string
check of the facts; in the other four samples every flagged fact was still
there in another format ("$186K", "Sept 30", "2026.10.8").
English email, draft:
Subject: Update on the Q3 Vendor Migration
Hi Priya,
I hope this message finds you well. I wanted to take a moment to provide you with a comprehensive update regarding the status of our Q3 vendor migration project. As you may be aware, we have been working diligently to transition our logistics operations from Northwind Freight to Calder & Sons.
First and foremost, it is important to note that the migration is currently 72% complete. To date, 1,840 of our 2,550 active shipments have been successfully moved to the new platform. Furthermore, the remaining 710 shipments are scheduled to be transferred by October 24, 2026.
Additionally, I would like to highlight that the projected cost savings remain on track. We anticipate annual savings of approximately $186,000, which represents a 14.5% reduction compared to our previous contract. However, it is worth mentioning that we encountered a brief delay on September 30 due to an API outage on the Calder side, which lasted roughly 6 hours.
Moving forward, Marcus Lee from the operations team will be coordinating the final cutover. Please do not hesitate to reach out if you have any questions or concerns.
Best regards,
Daniel
Rewrite
(all 16 facts kept; "September 30" became "Sep 30"):
Subject: Q3 Vendor Migration update
Hi Priya,
Hope you're doing well. Just wanted to send you a thorough update on our current status on the Q3 vendor migration. If you remember, we're working hard to switch our logistics business from Northwind Freight to Calder & Sons.
Important information - we're 72% done with the migration. We've successfully transferred 1,840 (out of 2,550) active shipments to the new system. The good news - by October 24, 2026 we will move 710 left shipments.
Also, everything's on schedule with the expected cost savings. So we'll be saving ~$186,000 (14.5% less than what we had in the old contract) a year. Though we had a little delay on Sep 30 because of the Calder's API outage (it was about 6 hours).
Anyway, operations team (Marcus Lee) will be in charge of the last cutover. If you have any questions/concerns - please, let me know.
Best regards
Daniel
Text only: the vision and audio parts of the Gemma 4 base are not included.
It can still change a detail. Proofread numbers, dates and names before you
send the result. Formatting (paragraph breaks, lists, headings) can change too.
Now and then it answers an English draft in Chinese; sample again.
The authors note that in casual genres it sometimes adds slang or profanity
that was not in the draft.
The authors intend it as a writing tool for your own drafts. Where a school,
employer or publication has rules about AI assistance, follow them.
Verify the download
hf download infosave/humanizer-cmf humanizer-12b-q8_2f.cmf.sha256 --local-dir .
sha256sum -c humanizer-12b-q8_2f.cmf.sha256 # macOS: shasum -a 256 -c humanizer-12b-q8_2f.cmf.sha256
cortiq verify humanizer-12b-q8_2f.cmf
cortiq info humanizer-12b-q8_2f.cmf # shows the sampling defaults
humanizer
от jialinyyzz
переписывает черновики, написанные ИИ (письма, эссе, отчёты, посты на
форумах; английский и китайский), так, чтобы они читались как написанные
человеком; модель обучена сохранять каждое число, единицу измерения, дату, имя
и цитату. Это дообученная модель Google
Gemma 4 12B
. Здесь её текстовая
модель упакована в отдельные файлы
CMF
для
cortiq
— движка на Rust без Python и ML-фреймворков: GPU NVIDIA, AMD и
Intel через Vulkan/DX12, Apple silicon через Metal, а также CPU.
humanizer-12b-q8_2f.cmf
(11.97 ГБ) — файл по умолчанию: 31.7 ток/с на RTX
PRO 4000 и 6.6 на Mac mini M4 (Metal).
humanizer-12b-q4tp-ffn.cmf
(7.89 ГБ)
помещается в GPU с 12 ГБ и выдаёт 41.6 ток/с на RTX PRO 4000 при чуть меньшем
качестве (
Файлы
).
Нужен cortiq 0.8.16 или новее; готовые сборки для Linux, macOS и Windows — на
странице релизов
. Передавайте
черновик как есть: файл сам строит вокруг него промпт авторов и берёт их
настройки сэмплинга. Ставьте
--max-tokens
с запасом (по умолчанию 256):
переписанный текст примерно той же длины, что и черновик (в наших тестах 932
токена для черновика из 957).
Файлы
файл
веса
размер
совпадение top-1 с bf16
KL
перплексия
пик памяти GPU
назначение
humanizer-12b-q8_2f.cmf
8 бит
11.97 ГБ
99.4 %
0.0008
2.1174
15.3 ГБ
по умолчанию
: ближе всего к оригиналу; Apple silicon; GPU от 16 ГБ
humanizer-12b-q4tp-ffn.cmf
FFN 4 бита, внимание и эмбеддинги 8 бит
7.89 ГБ
95.5 %
0.020
2.1555
10.3 ГБ
генерация на 31 % быстрее на RTX PRO 4000; GPU от 12 ГБ
Качество измерено относительно bf16-весов авторов в HF transformers на 2 051
токене собственных bf16-переписываний авторов для шести черновиков (четыре
английских, два китайских): доля позиций, где лучший прогноз файла совпадает с
bf16, средняя KL-дивергенция от bf16 и перплексия (у bf16 2.1168). Второй
набор из 2 127 токенов даёт 98.9 % (
q8_2f
) и 95.6 % (
q4tp-ffn
) top-1. В
жадной проверке фактов на трёх черновиках
q8_2f
сохранил все факты дословно,
а
q4tp-ffn
записал одну сумму иначе («$186,000» как «$186k»). Пик памяти GPU
снят через nvidia-smi
во время
cortiq bench
с промптом 1000 токенов на RTX PRO 4000; на Apple
silicon и на CPU оба файла работали на Mac mini с 24 ГБ.
Скорость
cortiq bench --core --ignore-eos
, один поток, cortiq 0.8.16; строки RTX — медианы трёх запусков:
железо
бэкенд
файл
генерация, ток/с
генерация на 1k токенах
промпт 1k токенов, ток/с
время до первого токена
RTX PRO 4000 Blackwell (24 ГБ)
Vulkan
q4tp-ffn
41.6
42.8
430
2.3 с
RTX PRO 4000 Blackwell (24 ГБ)
Vulkan
q8_2f
31.7
32.0
393
2.6 с
Mac mini M4 (24 ГБ)
Metal
q8_2f
6.6
6.0
68
14.7 с
Mac mini M4 (24 ГБ)
Metal
q4tp-ffn
8.5
8.3
72
14.0 с
Mac mini M4 (24 ГБ)
CPU
q8_2f
4.7
Mac mini M4 (24 ГБ)
CPU
q4tp-ffn
4.6
Чтение промпта нагружает и CPU; у машины с RTX было около 10 ядер. Переписывание
целиком через
cortiq serve
:
железо
файл
черновик 957 токенов: первый токен
его полное переписывание
скорость переписывания
RTX PRO 4000 Blackwell
q4tp-ffn
2.2 с
901 токен за 28.9 с
31.2 ток/с
RTX PRO 4000 Blackwell
q8_2f
2.4 с
932 токена за 36.4 с
25.6 ток/с
Строки RTX — с сэмплингом авторов (медианы трёх), строки Mac — жадные.
cortiq run
при каждом запуске загружает веса в GPU (первый токен примерно
через 4 с на RTX PRO 4000), поэтому для нескольких черновиков держите запущенным
cortiq serve
. На Mac с 24 ГБ 4-битный файл генерирует быстрее (8.5 против 6.6 ток/с).
Использование
Промпт и сэмплинг.
humanizer — модель продолжения текста, а не чат-модель.
В каждом файле промпт авторов хранится как шаблон:
cortiq run --prompt
и
/v1/chat/completions
принимают черновик и строят инструкцию, пустую строку,
черновик без пробелов по краям и
### Rewritten:
— токен в токен формат
авторов. Один черновик на запрос; системные сообщения и прежние реплики
игнорируются. Генерация заканчивается на токене конца последовательности, так
что не добавляйте стоп-строки, тем более
"###"
.
В файлах записан и сэмплинг авторов: temperature 1.0, top-p 0.95, top-k и
min-p выключены, repetition penalty 1.0.
run
и
serve
начинают с него, флаги
и поля запроса его переопределяют,
cortiq info
его показывает.
cortiq run humanizer-12b-q8_2f.cmf --max-tokens 2048 --prompt "$(cat draft.txt)"# сэмплинг авторов
cortiq run humanizer-12b-q8_2f.cmf --max-tokens 2048 --seed 7 --prompt "$(cat draft.txt)"# воспроизводимый сэмпл
cortiq run humanizer-12b-q8_2f.cmf --max-tokens 2048 --greedy --prompt "$(cat draft.txt)"# детерминированно
По наблюдению авторов, на коротких неформальных английских черновиках с
техническим жаргоном модель иногда пишет весь ответ по-китайски; их приложение
проверяет язык и сэмплирует заново. Делайте так же — запустите ещё раз без
фиксированного seed. Авторы рассчитывают контекст на 8 192 токена на
инструкцию, черновик и ответ вместе; длинные документы делите по абзацам.
Всегда передавайте
max_tokens
: по умолчанию сервер ограничивает ответ 256
токенами, а
max_completion_tokens
не читает. Поля
temperature
,
top_p
,
top_k
,
min_p
,
repetition_penalty
(или
repeat_penalty
) и
seed
переопределяют сэмплинг файла.
/v1/completions
принимает и полный промпт
авторов обычным текстом, как
/completion
в llama.cpp; модель получает те же
токены, что и через чат-эндпоинт.
Ещё есть
/v1/models
и веб-панель на том же порту.
--host 127.0.0.1
оставляет сервер локальным.
Выбор GPU (Vulkan).
cortiq gpu
показывает адаптеры;
CMF_GPU_ADAPTER=1
(индекс или часть имени) закрепляет нужный. Если на Linux список пуст,
установите
libvulkan1 libglvnd0 libegl1 libgl1 libglx0
; на машинах без
дисплея задайте
XDG_RUNTIME_DIR=/tmp
.
CMF_GPU=0
оставляет всё на CPU.
Примеры
Черновики и переписанные тексты (
q8_2f
, сэмплинг авторов, лучший из трёх
сэмплов по строгой проверке фактов) — в разделе
Examples
выше.
В английском письме сохранены все 16 фактов, «September 30» стало «Sep 30»; в
китайском отчёте сохранены все 22 факта, пропали разделители тысяч. В
остальных четырёх сэмплах каждый отмеченный проверкой факт остался на месте в
другом формате («$186K», «Sept 30», «2026.10.8»).
Ограничения
Только текст: зрительная и звуковая части базовой Gemma 4 не включены.
Модель всё же может изменить деталь. Перед отправкой вычитайте числа, даты и
имена. Форматирование (абзацы, списки, заголовки) тоже может измениться.
Иногда отвечает на английский черновик по-китайски — сэмплируйте заново.
По наблюдению авторов, в разговорных жанрах модель иногда добавляет сленг или
ругательства, которых не было в черновике.
Авторы задумали её как инструмент для ваших собственных черновиков. Если у
учебного заведения, работодателя или издания есть правила об использовании
ИИ, соблюдайте их.
Проверка загрузки
hf download infosave/humanizer-cmf humanizer-12b-q8_2f.cmf.sha256 --local-dir .
sha256sum -c humanizer-12b-q8_2f.cmf.sha256 # macOS: shasum -a 256 -c humanizer-12b-q8_2f.cmf.sha256
cortiq verify humanizer-12b-q8_2f.cmf
cortiq info humanizer-12b-q8_2f.cmf # сэмплинг по умолчанию
humanizer-cmf huggingface.co is an AI model on huggingface.co that provides humanizer-cmf's model effect (), which can be used instantly with this infosave humanizer-cmf model. huggingface.co supports a free trial of the humanizer-cmf model, and also provides paid use of the humanizer-cmf. Support call humanizer-cmf model through api, including Node.js, Python, http.
humanizer-cmf huggingface.co is an online trial and call api platform, which integrates humanizer-cmf's modeling effects, including api services, and provides a free online trial of humanizer-cmf, you can try humanizer-cmf online for free by clicking the link below.
infosave humanizer-cmf online free url in huggingface.co:
humanizer-cmf is an open source model from GitHub that offers a free installation service, and any user can find humanizer-cmf on GitHub to install. At the same time, huggingface.co provides the effect of humanizer-cmf install, users can directly use humanizer-cmf installed effect in huggingface.co for debugging and trial. It also supports api for free installation.