Inkling Small — это мультимодальная модель с открытым весом, основанная на архитектуре "смесь экспертов" (mixture-of-experts), разработанная Thinking Machines Lab. Она имеет 12 миллиардов активных параметров из общего числа 276 миллиардов. Inkling Small позиционируется как более компактный и эффективный представитель семейства Inkling, подходящий для решения задач, связанных с рассуждениями, программированием, агентными рабочими процессами, генерацией с дополненным поиском, следованием инструкциям и многоязычным общением.
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="thinkingmachines/inkling-small:batch",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumbertop_kintegermin_pnumberstopstring | string[]frequency_penaltynumberpresence_penaltynumberrepetition_penaltynumberlogit_biasobjectlogprobstop_logprobsintegertoolsarraytool_choicestring | objectreasoningobjectreasoning_effortstringinclude_reasoningboolean