В Сбербанке создали Pollux — компактную открытую модель, проверяющую ответы других нейросетей. Разработку выполнили исследователи управления экспериментальных систем машинного обучения. Пресс-служба банка рассказала ТАСС, что правила такой проверки может задавать сам пользователь.
Pollux насчитывает 4 млрд параметров. Модель работает с русскоязычными и англоязычными ответами, применяя выбранные пользователем критерии и шкалы. Запуск возможен локально: по сообщению банка, это сокращает расходы вычислительных ресурсов по сравнению с массовыми проверками с помощью больших языковых моделей.
Директор по развитию технологий искусственного интеллекта Сбербанка Сергей Марков пояснил, что для обучения подготовили детальные критерии и большой массив данных, размеченных экспертами. Исследователям предоставили открытый доступ как к критериям, так и к самой разметке.
Возможности Pollux включают проверку диалогов из нескольких ходов и результатов RAG-систем, обращающихся к внешним источникам информации. Она также анализирует работу ИИ-агентов, в том числе последовательность обращений к инструментам.