Фото: David Nield
Большие языковые модели используются в чат-ботах ChatGPT и Gemini, а также в других сервисах с искусственным интеллектом. Их применяют для программирования, подготовки текстов, краткого изложения материалов и поиска информации в интернете. Такие модели можно запускать не только через облачные платформы, но и непосредственно на собственном компьютере.
Локальный запуск позволяет работать без подключения к сети и повышает конфиденциальность, поскольку запросы не передаются в облако для обработки. Пользователю также не требуется оформлять ежемесячную подписку или учитывать ограничения по числу обращений к сервису. Как отмечает Wired, бесплатные модели для загрузки предлагают в том числе Meta (признана в РФ экстремистской и запрещена) и Google.
По возможностям и скорости локальные модели могут уступать наиболее продвинутым платным облачным решениям. При этом их достаточно для повседневных задач, а пользователь может выбирать подходящую модель самостоятельно. За обновления и обслуживание такого программного обеспечения придется отвечать самому владельцу компьютера.
Локальные языковые модели поддерживаются на Windows, macOS и Linux. Среди энтузиастов искусственного интеллекта чаще выбирают macOS: устройства Apple отличаются более единообразной аппаратной платформой, а чипы Apple Silicon объединяют центральный процессор, графический процессор и оперативную память. Такая архитектура подходит для обработки задач, связанных с нейросетями.
Для запуска моделей важен объем оперативной памяти. Минимальным уровнем считаются 8 ГБ, однако в этом случае будут ограничения по размеру моделей и скорости их работы. Более комфортным вариантом названы 16 ГБ, а для крупных и быстрых моделей потребуется 32 ГБ или больше.
Наилучшие результаты достигаются при наличии дискретной видеокарты с достаточным объемом видеопамяти. Видеопамять объемом свыше 8 ГБ может заметно улучшить работу моделей, поскольку она рассчитана на подобные вычисления. Облачные чат-боты, в отличие от локальных решений, используют серверные мощности.
