Mistral Small 3 — это языковая модель с 24 миллиардами параметров, оптимизированная для низкой задержки при выполнении распространенных задач искусственного интеллекта. Выпущенная под лицензией Apache 2.0, она включает в себя как предварительно обученные, так и настроенные на инструкции версии, предназначенные для эффективного локального развертывания. Модель достигает 81% точности на бенчмарке MMLU и демонстрирует конкурентоспособную производительность по сравнению с моделями большего размера, такими как Llama 3.3 70B и Qwen 32B, при этом работая в три раза быстрее на эквивалентном оборудовании. [Прочитайте статью в блоге о модели здесь.](https://mistral.ai/news/mistral-small-3/)
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="mistralai/mistral-small-24b-instruct-2501",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumbertop_kintegermin_pnumberstopstring | string[]frequency_penaltynumberpresence_penaltynumberrepetition_penaltynumberseedintegerlogit_biasobjectresponse_formatobjectstructured_outputsboolean