Компания OpenAI представила на конференции Hot Chips первые результаты тестирования новой системы Jalapeño. В испытаниях по методике InferenceX от SemiAnalysis разработка показала большее число токенов на пользователя и более высокую производительность на киловатт по сравнению с доступными передовыми процессорами для выполнения запросов искусственного интеллекта. В OpenAI заявили, что система способна обрабатывать больше задач при меньшем энергопотреблении и быстрее выдавать ответы.
Руководитель аппаратного направления OpenAI Ричард Хо сообщил, что результаты указывают на заметный рост производительности относительно нынешнего уровня. По его словам, Jalapeño рассчитана как на обслуживание большого числа пользователей, так и на работу с низкими задержками. Сравнение проводилось с системой Nvidia Blackwell, однако к моменту массового внедрения Jalapeño конкурирующие решения могут измениться. Об этом сообщило издание TechCrunch.
В OpenAI ожидают, что первые поставки Jalapeño в небольших объемах начнутся в конце 2026 года. Более масштабное развертывание системы компания планирует на 2027 год. О разработке впервые объявили в октябре прошлого года.
Jalapeño создается OpenAI совместно с Broadcom, при этом в процессе разработки использовались и собственные модели OpenAI. Компания намерена развивать проект как платформу нескольких поколений, объединяющую продукты искусственного интеллекта, модели, чипы и память. Такой подход должен позволить согласованно совершенствовать все элементы системы.
Разработчики уделили особое внимание этапам обработки запросов, которые нередко становятся причиной задержек. Система должна сокращать время предварительной загрузки данных и обмена между компонентами. В OpenAI пояснили, что Jalapeño уменьшает перемещение данных и задержки связи, сохраняя состояние модели, включая кеш ключей и значений, рядом с вычислительными ресурсами.