Специалисты из Саратовского национального исследовательского университета имени Н. Г. Чернышевского пришли к выводу, что присутствие шума во время обучения нейросетей делает их более устойчивыми и надежными. Добавление шума в образовательный процесс способно улучшить стойкость аппаратных систем искусственного интеллекта к различным помехам при их дальнейшей эксплуатации. Ученые предлагают не пытаться устранить внутренние шумы, а применять их для повышения стабильности работы.
Большинство современных нейросетей, по сообщению ТАСС, функционируют в цифровом виде, используя обычные компьютеры и графические процессоры. Однако подобные системы нуждаются в значительных энергетических и вычислительных ресурсах, а их расширение сталкивается с техническими трудностями. Сейчас активно развивается сфера аппаратных нейронных сетей, где связи и нейроны создаются с помощью электроники и других физических элементов.
Любое физическое устройство неизбежно сталкивается с шумами в виде тепловых возмущений сигналов. Обычно эти явления считаются причиной ошибок. Изначально исследователи полагали, что внутренний шум будет уменьшать точность функционирования нейросети, однако итоги экспериментов продемонстрировали противоположный эффект. В ходе работы ученые имитировали влияние белого гауссовского шума, добавляя его в сами нейроны или в их соединения. Нейросети учились распознавать картинки и предугадывать сложные сигналы. Выяснилось, что наличие шума на этапе обучения увеличивает сопротивляемость системы к помехам в будущем.
Руководитель исследования Надежда Семенова отметила, что этот результат стал неожиданностью для всей команды. Первоначально предполагалось, что шум будет оказывать лишь отрицательное воздействие, снижая точность сети, и придется искать способы борьбы с ним во время обучения. «Для нас было большой неожиданностью, что добавление шума в процессе обучения — это уже способ борьбы с шумом. По сути, в своей работе мы показываем, что любую аппаратную сеть необходимо обучать с внутренними шумами. Это существенно повысит резистентность сети к шуму в дальнейшем в процессе работы, даже если параметры воздействий были не идеально подобраны», — подчеркнула она.
В данном случае речь идет о шуме как о физическом свойстве аппаратной системы, а не о привычных алгоритмических методах программных нейросетей, применяемых для предотвращения переобучения. Новаторство подхода состоит в том, что авторы впервые системно доказали: если использовать шум при обучении, то в дальнейшем нейросеть будет работать эффективнее в реальных или усложненных условиях. Практическая польза этого исследования заключается в создании энергоэффективных аппаратных нейросетевых устройств нового образца. Улучшение их устойчивости к физическим помехам имеет решающее значение для использования в реальной жизни.
