Granite 4.1 8B — это плотная языковая модель с 8 миллиардами параметров, работающая только с декодером, разработанная IBM, входящая в семейство Granite 4.1. Она поддерживает контекстное окно объемом 131 тыс. токенов и предназначена для корпоративных задач, включая вызов инструментов, генерацию с дополнением извлеченной информацией (RAG), генерацию кода с поддержкой вставки посередине, суммирование текста, классификацию и извлечение. Модель поддерживает 12 языков (английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский) и реализует вызов инструментов, совместимый с OpenAI. Выпущена под лицензией Apache 2.0.
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="ibm-granite/granite-4.1-8b",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumbertop_kintegerstopstring | string[]frequency_penaltynumberpresence_penaltynumberrepetition_penaltynumberseedintegerlogprobsbooleantop_logprobsintegerresponse_formatobjectstructured_outputsbooleantoolsarraytool_choicestring | object