
В октябре более четверти запросов к маршрутизатору моделей искусственного интеллекта Vercel пришлись на модели принятия решений, а не на большие языковые модели. Для этой технологии, появившейся всего месяцем ранее, такой показатель стал значительным объёмом использования. Об этом сообщает TechCrunch.
Модели принятия решений представляют собой разновидность больших языковых моделей, которые не формируют текстовые токены. Вместо этого они быстро выбирают один из заранее заданных вариантов и одновременно оценивают степень уверенности в результате. Такие системы применяют там, где скорость и низкая стоимость решения важнее подробного рассуждения более медленной и дорогой передовой модели.
Лидером по популярности остаётся семейство Jev компании TypeSafe, после его выпуска оценённой в 7,5 млрд долларов. По данным сервиса OpenRouter, который за прошлую неделю обработал более 1,5 млрд запросов к моделям TypeSafe, Jev продолжает заметно опережать конкурентов. При этом создать модель принятия решений оказалось сравнительно просто: после выхода Jev собственные решения представили десятки разработчиков, включая крупные облачные компании.
Во вторник Microsoft объявила о широком запуске Microsoft-Decision-1.1 в Azure. Одновременно британский стартап Sqwish привлёк 3 млн долларов на посевном раунде для развития модели kettei fat. Основатели компании Ушниш Сенгупта и Федерика Фредди ранее занимались небольшими языковыми моделями, а затем адаптировали свои разработки под задачи принятия решений.
Ключевым фактором качества таких систем разработчики считают данные и точную настройку оценок. TypeSafe обучала Jev с использованием синтетических данных, скорректированных статистическими методами, а Sqwish предлагает инструменты дополнительного обучения на данных самого заказчика. В Microsoft также заявили, что модели, оптимизированные только под тестовые показатели, быстро теряют эффективность в реальных корпоративных сценариях, где одновременно важны точность, надёжность, скорость и стоимость.
В Sqwish считают, что в будущем модели принятия решений будут работать вместе с передовыми языковыми системами. По словам Федерики Фредди, для стартапов конкуренция с крупными облачными компаниями и разработчиками передовых моделей создаёт возможности для роста. Она отметила, что для таких корпораций направление может оставаться лишь одним из проектов, тогда как для Sqwish оно является основной сферой деятельности.