PrismML: Ternary Bonsai 2 9Bновая

Описание

Ternary Bonsai 2 9B — это компактная языковая модель PrismML с открытыми весами, предназначенная для диалогового ИИ, рассуждений и использования инструментов. Построенная на базе Qwen3.5, она использует троичные веса, упакованные в 2 бита, для эффективного вывода. Модель принимает текстовые и графические входные данные. Ее контекстное окно в 262 тыс. токенов поддерживает длительные диалоги и рабочие процессы с большим объемом документов, с выводом до 64 тыс. токенов на ответ.

Характеристики

API и примеры кода

from openai import OpenAI

client = OpenAI(
    base_url="https://infergate.ru/api/v1",
    api_key="sk-•••",
)

resp = client.chat.completions.create(
    model="prism-ml/ternary-bonsai-2-9b",
    messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)

Поддерживаемые параметры запроса