Исследователь OpenAI Диогу Алмейда, участвовавший в создании ChatGPT и разработке метода обучения с подкреплением на основе обратной связи от людей (RLHF), решил отказаться от ориентации искусственного интеллекта на человеческий язык. Два года назад он покинул компанию и основал стартап TypeSafe AI. По словам Алмейды, современные модели хорошо работают с языком, но это ограничивает их применение в автоматизации, поскольку компьютеры используют другой формат взаимодействия.
На этой неделе TypeSafe представила Jev — трансформерную модель, которая не относится к большим языковым моделям и не генерирует текст. Вместо этого она выдаёт вероятности, которые разработчики называют «калиброванными решениями». Пользователь заранее задаёт возможные варианты ответа, поэтому модель не способна создавать произвольные выдуманные сведения. Отказ от текстового вывода также сделал Jev быстрой и дешёвой: выходные токены не тарифицируются, а входные считаются миллиардами, а не миллионами.
Основной сферой применения Jev стала программная автоматизация. Интерес разработчиков оказался настолько высоким, что API (программный интерфейс приложения) TypeSafe на короткое время перестал справляться с потоком запросов. Инженер Vercel Пранит Шарма сообщил, что после замены модели OpenAI Luna 5.6 на Jev классификатор для проверки безопасности команд стал выдавать результаты в 5–18 раз быстрее и при этом точнее. В тесте технического директора Bryo AI Нихила Мудхолкара Jev немного уступила Gemini по точности классификации деловых писем, но оказалась в 10–20 раз дешевле; особенно полезными он назвал возвращаемые моделью вероятностные оценки.
Jev может не только заменять большие языковые модели в отдельных задачах, но и контролировать их работу. Алмейда допускает использование системы для анализа действий программных агентов и предотвращения попыток обхода ограничений. Технический директор Earendil Армин Ронакер отметил, что пользователю всё равно приходится самостоятельно оценивать вероятность результата: показатель в 50% похож на случайный выбор, тогда как 95% может служить основанием для действия. Ронакер также считает перспективным применение Jev для маршрутизации запросов между моделями, поскольку быстрая и недорогая система способна в реальном времени определять, какая модель нужна для конкретной задачи.
Название Jev отсылает к английскому экономисту XIX века Уильяму Стэнли Джевонсу и описанному им парадоксу: снижение стоимости товара может привести к росту его потребления. Алмейда рассчитывает, что удешевление машинного интеллекта позволит встроить его в большое количество программ. «Мы думаем, что умное программное обеспечение будет повсюду — оно появится распределённо и естественно, скорее как ранний интернет, чем как гигантские приложения, которые пытаются создавать сейчас», — сказал он TechCrunch.
Архитектуру Jev в TypeSafe не раскрывают; внешние наблюдатели предполагают, что она может быть построена на базе большой языковой модели с открытыми весами. Компания называет Jev «моделью системы первого типа», ориентированной на интуитивную оценку конкретной задачи, а не на рассуждения. По словам Алмейды, систему обучали только на синтетических данных с помощью метода, который он назвал обучением с подкреплением на основе калиброванных решений. TypeSafe планирует выпускать новые версии Jev для других типов данных, а Ронакер ожидает появления конкурирующих разработок после того, как практическая ценность такого подхода стала очевидной.