Стартап PrismML представил модель искусственного интеллекта, которую удалось уменьшить до размера, подходящего для персонального компьютера и, возможно, мощного смартфона. Компания рассчитывает доказать, что производительные большие языковые модели с функциями рассуждения не обязательно должны быть крупными. На развитие проекта PrismML пока привлёк 22,25 млн долларов в рамках посевного раунда.
Новая модель получила название Bonsai 2 27B. Она создана на основе открытой модели Qwen3.8 27B китайской Alibaba и занимает 5,9 ГБ, что в девять–десять раз меньше исходного варианта. О выпуске разработчики объявили в четверг. Глава PrismML Бабак Хассиби также отказался комментировать сообщения о возможных переговорах компании с Apple.
Сжатие почти не сказалось на результатах модели: Bonsai 2 набрала 98% совокупных баллов Qwen в тестах. Предыдущая версия Bonsai, выпущенная в марте, достигала 95% и уже была загружена более 11 млн раз. Ещё 2,6 млн загрузок пришлись на другие, более компактные модели PrismML.
Технология компании основана на уменьшении объёма данных, которые описывают параметры модели. Обычно для хранения каждого такого параметра требуется 16 бит, а PrismML использует так называемые тернарные значения: +1, −1 или 0. Благодаря этому модель занимает значительно меньше места, хотя Хассиби признаёт, что сжатие, вероятно, всегда будет оказывать некоторое влияние на производительность.
PrismML основали исследователи Калифорнийского технологического института, а сам Хассиби, профессор этого института и специалист по технологиям сжатия, возглавляет компанию. Советником стартапа стал Ион Стойка — сооснователь Databricks и руководитель лаборатории Sky Computing Калифорнийского университета в Беркли. Среди инвесторов PrismML — Khosla Ventures, Cerberus Capital и Калифорнийский технологический институт; над аналогичными решениями также работает компания Multiverse Computing.
Следующей задачей стартап называет сжатие моделей с несколькими сотнями миллиардов параметров. «Следующие модели, которые мы выпустим, надеюсь, в ближайшие пару месяцев, будут иметь несколько сотен миллиардов параметров, и я ожидаю, что там будет проще сохранить интеллект», — сказал Хассиби изданию TechCrunch. Стойка считает, что такие разработки позволят запускать продвинутые модели непосредственно на устройствах пользователей: «Вы получите интеллект под рукой, и он будет бесплатным, потому что будет работать на уже купленном вами устройстве. Он также будет конфиденциальным, поскольку вам не придётся отправлять его в облако».