Учёные Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» разработали метрику для определения минимально допустимой точности работы нейросетевых моделей. Об этом сообщила пресс-служба вуза.
Проблема, которую решали исследователи, хорошо известна специалистам: нейросети ведут себя непредсказуемо при повторном обучении. Например, нейросеть для анализа КТ-снимков после первого обучения на одном и том же массиве данных может показать точность распознавания 90% и выше, а после второго — на несколько десятков процентов ниже.
«Эта «болезнь» нейронных сетей вызывает большие вопросы об эффективности и достоверности их применения, например, в сфере медицины или экономики: когда система может непрогнозируемо выдать практически абсолютную точность, а при повторном обучении — существенно меньше», — пояснил доцент кафедры математического обеспечения ЭВМ СПбГЭТУ «ЛЭТИ» Антон Филатов.
Выяснилось, что стандартные методы математической статистики не способны достоверно описать минимальную точность нейросетей — результаты многократного обучения на одних и тех же данных оставались непредсказуемыми. Тогда учёные пошли по другому пути: они обучили 3 широко используемые нейросети около 30 раз на одном объёме данных, собрали результаты и нашли в них закономерности. На их основе и была составлена новая метрика — числовой показатель для оценки минимальной эффективности нейросети.
Разработка находится в открытом доступе. «Теперь любой разработчик программного обеспечения, использующего нейросетевые модели, может проверить, какова минимальная эффективность его продукта», — отметил Филатов. По его словам, метрика применима во всех областях, где используется искусственный интеллект: от медицины и маркетинга до банковского дела и промышленного производства.
