Инженеры Huawei представили архитектуру Peerium, которая должна позволить объединить в единую вычислительную систему до миллиона чипов для искусственного интеллекта (ИИ). Презентация состоялась 17 сентября на ежегодной конференции компании CONNECT. Как пишет сайт Live Science, разработчики рассчитывают использовать технологию для обучения наиболее крупных языковых моделей.
Современные ИИ-чипы обычно размещаются в отдельных серверах и обмениваются данными через сетевые соединения. Peerium рассчитана на поддержание быстрой связи между процессорами, установленными в разных стойках, даже при увеличении их числа до сотен тысяч. В Huawei заявили, что компьютеры на основе этой архитектуры смогут обучать модели с числом параметров до 40 триллионов.
Работа Peerium опирается на три принципа: вложенный параллелизм, единую адресацию памяти и соединения между процессорами без посредников. Вложенный параллелизм распределяет задачи между иерархическими группами чипов, а единая адресация дает процессорам доступ к памяти других серверов. Прямые соединения позволяют компонентам обмениваться данными непосредственно друг с другом.
В Huawei считают, что существующие технологии связи не рассчитаны на систему такого масштаба. Например, решения NVIDIA используют NVLink для обмена данными внутри стоек и InfiniBand для соединения разных стоек, обеспечивая между ними пропускную способность 200 гигабайт в секунду. Собственная технология UnifiedBus, по данным компании, способна увеличить этот показатель до 800 гигабайт в секунду.
Одновременно Huawei представила вычислительную систему Atlas 950 SuperPoD, созданную на базе Peerium и оснащённую более чем 8 тысячами ускорителей Ascend 950DT. Компания уже проводит на этих системах испытания для обучения ИИ-моделей и заявляет о более эффективном использовании вычислительных ресурсов по сравнению с кластерами без Peerium и UnifiedBus. Поставки SuperPoD планируется начать не позднее начала следующего года.
В дальнейшем Huawei намерена объединять несколько SuperPoD в более крупные системы SuperCluster. Один из таких комплексов с 256 тысячами вычислительных карт уже разворачивается и проходит тестирование. Разработчики считают, что архитектура позволит создавать инфраструктуру для обучения моделей, требующих десятки триллионов параметров.