NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

Описание

Llama Nemotron Rerank VL 1B V2 — это мультимодальная модель переранжирования от NVIDIA объемом 1,7 миллиарда параметров. Она оценивает релевантность изображений документов и текста по отношению к запросам пользователя, предназначена для конвейеров Vision RAG, обрабатывающих диаграммы, таблицы, инфографику и документы со смешанными медиа. Работает как кросс-энкодер, который принимает текстовые запросы в сочетании с изображениями, текстом или комбинированными входными данными документа, обеспечивая улучшения охвата примерно на 6-7% по сравнению с базовыми моделями, использующими только встраивания, на бенчмарках визуального поиска документов.

Характеристики

API и примеры кода

import requests

r = requests.post(
    "https://infergate.ru/api/v1/rerank",
    headers={"Authorization": "Bearer sk-•••"},
    json={
        "model": "nvidia/llama-nemotron-rerank-vl-1b-v2:free",
        "query": "Столица Франции",
        "documents": ["Париж — столица Франции", "Берлин — столица Германии"],
        "top_n": 1,
    },
)
for res in r.json()["results"]:
    print(res["index"], res["relevance_score"])

Поддерживаемые параметры запроса