Специалисты Центра практического искусственного интеллекта Сбербанка и НИУ ВШЭ разработали новую метрику оценки качества моделей ИИ, которая не требует ни участия людей, ни заранее размеченных данных. Инструмент получил название Persistence.
Прежде чтобы выбрать лучшую версию модели, специалисты были вынуждены проверять каждый вариант на подготовленных вручную наборах данных. Это занимало много времени и требовало огромных вычислительных ресурсов. Новая метрика анализирует так называемые эмбеддинги — математические представления данных — по их внутренней геометрии, не привлекая разметчиков. «До появления специализированной метрики аналитики данных выбирали архитектуру и момент остановки обучения модели вслепую или через ресурсозатратные эксперименты с разметкой. Это требовало сотен GPU-часов и замедляло вывод моделей в прод. Наша метрика автоматически оценивает качество эмбеддингов по их внутренней геометрии», — пояснил директор департамента развития ИИ-решений Сбербанка Сергей Рябов, сообщает ТАСС со ссылкой на пресс-службу Сбера.
Persistence решает сразу несколько задач в автоматическом режиме: подбирает оптимальный размер эмбеддинга, количество слоёв модели и функцию потерь, а также определяет, на каком этапе обучения следует остановиться — чтобы модель не оказалась ни переобученной, ни недоученной. По данным разработчиков, метрика превосходит зарубежные аналоги по точности предсказания качества на практических задачах.
Практическое применение инструмента может быть очень широким. Он позволит улучшить работу рекомендательных систем в стриминговых сервисах и маркетплейсах, повысит точность голосовых помощников и поможет внедрить ИИ в медицину. Особенно важно, что метрика снизит барьер для применения моделей в тех сферах, где размеченных данных хронически не хватает.