PrismML: Ternary Bonsai 2 27B

Описание

Bonsai 2 27B — это модель рассуждений с 27 миллиардами параметров от PrismML, разработанная на основе Qwen3.8-27B. Она поддерживает работу с кодом, математикой, вызовы инструментов и понимание изображений с окном контекста в 262 тыс. токенов. Троичное сжатие уменьшает веса языковой модели примерно до 8,5 ГБ, сохраняя при этом 98,2% среднего балла базовой модели по 14 бенчмаркам PrismML, разработанным для оценки режимов мышления, что обеспечивает эффективный вывод на потребительском оборудовании. Модель по умолчанию работает в режиме рассуждений и использует максимальный уровень усилий при рассуждении.

Характеристики

API и примеры кода

from openai import OpenAI

client = OpenAI(
    base_url="https://infergate.ru/api/v1",
    api_key="sk-•••",
)

resp = client.chat.completions.create(
    model="prism-ml/ternary-bonsai-2-27b",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)

Поддерживаемые параметры запроса