VoyageAI by MongoDB: rerank-2.5-lite

Описание

rerank-2.5-lite — это реранкер, оптимизированный как по задержке, так и по качеству, обеспечивающий улучшение точности поиска на 7,16% по сравнению с Cohere Rerank v3.5 на 93 наборах данных. Он также превзошел Cohere Rerank v3.5 на 10,36% по показателю Massive Instructed Retrieval Benchmark (MAIR). Модель поддерживает общую длину контекста в 32 тысячи токенов на пару запрос-документ, включая до 8 тысяч токенов для запроса, что позволяет более точно осуществлять поиск по длинным документам. Кроме того, rerank-2.5-lite поддерживает следование инструкциям, позволяя пользователям направлять оценку релевантности с помощью подсказок на естественном языке.

Характеристики

API и примеры кода

import requests

r = requests.post(
    "https://infergate.ru/api/v1/rerank",
    headers={"Authorization": "Bearer sk-•••"},
    json={
        "model": "voyageai/rerank-2.5-lite",
        "query": "Столица Франции",
        "documents": ["Париж — столица Франции", "Берлин — столица Германии"],
        "top_n": 1,
    },
)
for res in r.json()["results"]:
    print(res["index"], res["relevance_score"])

Поддерживаемые параметры запроса