Наблюдение за Землей из космоса осложняется облачностью, тенями от Солнца и нерегулярными пролетами спутников. Из-за этого снимки отдельных районов могут поступать с большими перерывами, что создает проблемы для традиционных программ обработки данных и стандартных систем глубокого обучения. Исследователи Технического университета Клуж-Напоки Раул-Александру Горган и Дориан Горган предложили рассмотреть для таких задач жидкостные нейронные сети.
Обычные модели искусственного интеллекта лучше работают с данными, которые поступают через равные и короткие промежутки времени. В дистанционном зондировании добиться такой регулярности невозможно. Спутники на низкой околоземной орбите могут неоднократно не видеть нужную территорию из-за облаков, а между подходящими пролетами иногда проходит больше месяца.
За этот период на поверхности планеты могут произойти заметные изменения. Поля продолжают расти, а внезапные наводнения, извержения вулканов и лесные пожары способны полностью изменить ландшафт. Сверточные нейронные сети и визуальные трансформеры хорошо обрабатывают последовательные данные, но хуже справляются с большими пропусками и событиями, произошедшими между двумя снимками.
В обзорной работе, посвященной 61 исследованию за период с 2018 по 2026 год, рассматриваются разные способы решения проблемы. Одни методы дополняют традиционные модели компьютерного зрения графовыми алгоритмами и динамическими областями анализа. Другой подход связан с жидкостными нейронными сетями, созданными по аналогии с компактной нервной системой микроскопического червя C. elegans, у которого всего 302 нейрона.
Такие сети используют обыкновенные дифференциальные уравнения, благодаря чему могут учитывать непрерывное течение времени даже при отсутствии части данных. Если спутник несколько раз не получил снимок фермерского хозяйства из-за облаков, система способна математически учесть этот промежуток. Кроме того, подобные модели потенциально требуют меньше вычислительных ресурсов и в будущем могут работать непосредственно на маломощных бортовых компьютерах спутников.
Технология пока находится на ранней стадии развития. Среди 61 рассмотренной работы жидкостные нейронные сети применялись примерно в 16% случаев, причем многие эксперименты проводились только в одном регионе без подробной оценки затраченных вычислительных ресурсов. Авторы обзора считают, что метод должен пройти дополнительные проверки, однако новые спутники дистанционного зондирования будут регулярно предоставлять данные для дальнейшего обучения и сравнения различных подходов.