Aion-RP-Llama-3.1-8B занимает первое место в части оценки персонажей теста RPBench-Auto, варианта Arena-Hard-Auto, специфичного для ролевых игр, где большие языковые модели оценивают ответы друг друга. Это дообученная базовая модель, а не инструктивная модель, разработанная для создания более естественного и разнообразного письма.
from openai import OpenAI
client = OpenAI(
base_url="https://infergate.ru/api/v1",
api_key="sk-•••",
)
resp = client.chat.completions.create(
model="aion-labs/aion-rp-llama-3.1-8b",
messages=[{"role": "user", "content": "Привет!"}],
)
print(resp.choices[0].message.content)modelstringобязательныйmessagesarrayобязательныйtemperaturenumbermax_tokensintegertop_pnumber