Inkling — это мультимодальная модель типа "смесь экспертов" с открытым весом от Thinking Machines Lab, имеющая 41 миллиард активных параметров из 975 миллиардов общих. Она предназначена для решения общих задач, таких как рассуждения, кодирование, создание агентов и систем использования инструментов, генерация с дополнением извлеченными данными, следование инструкциям и многоязычные диалоговые приложения. Ее нативная способность понимать изображения и аудио поддерживает мультимодальный анализ наряду с текстом.
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="thinkingmachines/inkling:batch",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumbertop_kintegermin_pnumberstopstring | string[]frequency_penaltynumberpresence_penaltynumberrepetition_penaltynumberlogit_biasobjecttoolsarraytool_choicestring | objectreasoningobjectreasoning_effortstringinclude_reasoningboolean